データを解釈する

チャットボットのパフォーマンスを監視する

設計したチャットボットが仮定どおりに動作するかどうかを確認します。次の項目を識別できます。

• 合計セッション数とエンゲージメントセッション数の間に大きな差異はありますか?
• エンドユーザーは会話に戻りますか?
• CSATを使用して、エンドユーザーからフィードバックを得ます。
• 多くのユーザーがエージェントのサポートを要求しますか、それともエージェントが会話を引き継ぐ必要がありますか?

合計セッション数とエンゲージメントセッション数に差異があるかどうかを特定する

セッション タブ> セッションの概要 セクションで、セッションの合計数と従事セッションの数を確認できます。

エンゲージメントセッションは、エンドユーザーが最初のメッセージを送信した後、チャットボットとの会話を継続したことを示します。したがって、セッションは関与することが望ましいです。

多数のセッションが関与していないことに気付いた場合は、次の 1 つ以上を意味している可能性があります。

• エンドユーザーは、返信を受け取った後、チャットボットと話すことに興味を失います。チャットボットからの最初のメッセージをより魅力的にする方法を特定します。エンドユーザーがチャットボットに応答する方法を知っているかどうかを検討し、チャットボットに送信できるメッセージのオプションまたは例を提供します。チャットボットで何ができるかを説明する。
• エンドユーザーの代わりに、別のチャットボットがチャットボットにメッセージを送信しています。これが当てはまるかどうかを確認するには、**[ユーザー]**タブに移動し、疑わしいユーザーIDをクリックします。次に、セッション ID をクリックして、会話内のすべてのメッセージを表示します。
• チャットボットは、エンドユーザーのメッセージに返信する方法を認識しません。その理由は、チャットボットが最初のメッセージの意図を識別して正しく返信できないことが考えられます。エンドユーザーの最初のメッセージがチャットボットのトレーニングの一部であるかどうかを確認します。これらのメッセージをキーワード(ルールベースのチャットボット)またはトレーニングフレーズ(AIチャットボット)として追加します。

リピートしたエンドユーザーの数を特定する

チャットボットの種類によっては、エンドユーザーに戻ってチャットボットと新しい会話をしてもらいたい場合があります。

例: 小売チャットボットがある場合、エンドユーザーがエクスペリエンスを気に入ったことを示すため、多数のエンドユーザーがリピーターになることが望ましいです。ただし、最初のサポートを行うチャットボットがある場合、多数のリピーターエンドユーザーは、チャットボットに初めて連絡したときにクエリが解決されなかったことを示しています。

リピーターの数を確認するには、[ユーザー] タブに移動します。

リピーターのセッション数を確認します。エンド ユーザーのセッション数が多い場合は、[セッション] タブに移動します。エンド ユーザーのセッション ID をクリックして、会話内のすべてのメッセージを表示し、直面した課題を特定します。

顧客満足度スコアを使用する

顧客満足度 (CSAT) スコアを使用して、チャットボットとの会話を終えた後のエンドユーザーの満足度を確認します。

CSAT情報を表示するには、チャットボットでCSATが設定されている必要があります。CSATエレメントのドキュメントを参照してください。

CSATを設定したら、何人のエンドユーザーが満足しているか、または不満を持っているかを確認できます。CSATを使用すると、エンドユーザーがコメントを残すことができるため、エンドユーザーが直面しているフラストレーションや満足しているものを特定するのに役立ちます。

CSAT 情報を表示するには、顧客の Voice タブに移動します。

エージェントの支援を要求するダイアログはいくつありますか?

エンド ユーザーは、次の 1 つ以上のケースでエージェントにリダイレクトされることがあります。

• チャットボットの支援は設計上制限されています。例: チャットボットは、初期サポートを提供するためだけに設計されています。
• チャットボットは、エンドユーザーが何を望んでいるかを理解できません。
• チャットボットがエンドユーザーのクエリを解決できなかったため、エージェントが会話を引き継ぐ必要がありました。
• エンド ユーザーがエージェントへの転送を要求しました。

ダイアログと意図 タブ> ダイアログと意図の分析情報 > ダイアログの分析情報 セクションに移動します。エージェントに移動、アクション、またはエージェントの引き継ぎのいずれかになったダイアログを確認します。これらのダイアログがエージェントの支援を必要とするように設計されていない場合は、ダイアログまたはチャットボットを再設計する必要があることを示します。

チャットボットを改善する

会話が効果的でないかどうかを特定し、修正方法を学びます。

• エンド ユーザーが会話を開始し、ダイアログに入る方法。
• インテントに割り当てられていないメッセージはありますか?
• チャットボットが処理できないメッセージの種類は何ですか?

ダイアログエントリ

ダイアログと意図 タブ> トップ ユーザー 開始メッセージ セクションで、エンド ユーザーが会話エントリ ポイントとして送信する最も一般的なメッセージを特定します。

これらのメッセージが [未認識のユーザー メッセージ](/answers/analytics-new#未理解のユーザー メッセージ-改善-チャットボット) と [未処理のユーザー メッセージ](/answers/analytics-new#未処理-ユーザー メッセージ-改善-チャットボット) セクションに存在するかどうかを確認します。これらのセクションに終了ユーザーの開始メッセージが表示される場合は、これらのエラーを修正します。

不明なユーザーメッセージ

ダイアログと意図 タブ >メッセージユーザー認識されない リストを使用して、チャットボットが意図を識別できない終了ユーザーメッセージを識別します。

必要に応じて、これらのメッセージをトレーニングデータセットに追加したり、メッセージの新しいインテントを作成したりすることもできます。

この一覧に、ダイアログと意図 タブ> 上位ユーザー開始メッセージ セクションにも存在するメッセージが含まれている場合は、開始意図のトレーニング データセットに関連するメッセージを含める必要がある場合があります。

未処理のユーザー メッセージ

[ダイアログと意図] タブ> 未処理ユーザー メッセージ セクションで、チャットボットが処理できなかったユーザーメッセージを確認します。このリストには、エンドユーザーがチャットボットへの応答方法がわからない、または正しく応答していない場所の概要が表示されます。

チャットボットがエンドユーザーの応答のバリアントを理解できるように、キーワードに同義語を追加する必要がある場合があります。

チャットボットをトレーニングする

会話のデータを分析したら、調査結果を使用してチャットボットをトレーニングします。

• インテントに欠落しているフレーズを追加します。
• 必要に応じて、会話デザインを改善するために、必要に応じてインテントを追加します。
• 同義語を追加を必要に応じてキーワードに追加します。
• ユーザー応答エレメントを更新して、エンドユーザー応答に不足しているオプションを含めます。例: 関連するキーワードを追加します。