解析学

紹介

ここでは、チャットボットのパフォーマンスに関する情報と、チャットボットの統計データをどこで取得できるかについて説明します。

Answers Analyticsは、さまざまな種類の情報を簡単に評価できるように、4つの異なるタブで構成されています。

• 概要 – 他のすべてのタブからの情報を結合し、メッセージとセッションの数の概要をすばやく表示します
• セッション分析 – 詳細なセッション情報を表示します
• 会話分析 – エンドユーザーとチャットボットの間で交換されたメッセージを分析します
• ユーザー分析 – CSATの結果(利用可能な場合)を含む、チャットボット通信のエンドユーザーデータを表示します

Answers パッケージに応じて、アカウントで次のAnalyticsダッシュボードを使用できます。

ダッシュボード	Start/スターター パッケージ	Grow/エンタープライズ パッケージ	規模 パッケージ
概要	はい	はい	はい
セッション分析	はい	はい	はい
会話型分析	いいえ	はい*	はい
ユーザー分析	はい	はい	はい
* インテント分析は含まれていません

概要

[概要] ページには、次の情報が表示されます。

• セッションの概要

合計セッション数とエンゲージメントセッション数の差、ユーザーあたりの平均セッション数を表示し、チャットボットユーザー数とエンゲージメントユーザー数を明確に表現します

• セッション タイムライン グラフ

合計セッション数、ユーザーあたりの平均セッション数、および時間の経過に伴うユーザー数の概要をグラフィカルに表示するため、ピークを特定し、成長を追跡し、リソースを適切に計画できます。

• メッセージの概要

;交換された受信メッセージと送信メッセージの数を確認し、「エンゲージメント セッション」を簡単に切り替えて、エンゲージメント セッションの受信メッセージと送信メッセージの数を確認し、会話の継続時間を確認します

• 各チャットボットごとのメッセージとセッションに関する情報

どのチャットボットが最もパフォーマンスが高いか、つまりセッション数が最も多いかを確認します。

また、ユーザー数とセッション数をすばやく比較して、どのチャットボットがユーザーをより惹きつけているかを確認できます(つまり、会話型デザインはおそらく他のチャットボットよりも優れています)。

すべてのチャットボットのセッションの概要を表示するか、特定のチャットボットのセッションの概要を表示するかを選択できます。

チャットボットを 1 つ選択するには、すべてのチャットボット ドロップダウン リストを使用して、目的のチャットボットを選択します。

さらに、特定の期間の情報を表示するように選択することもできます。過去 30 日間*** は事前に選択された日付範囲ですが、リストから他のオプションから選択することもできます。

指定された日付範囲のいずれかが必要でない場合は、Select rangeを使用して希望する日付を入力します(ここでは、時間範囲を広げて数か月を含めることができます)。

概要 ページには、選択した内容の更新された分析が表示されます。

概要ウィジェットには、合計セッション数と従事セッション数に分けられたセッション情報が表示されます。

セッション数(合計セッション数とエンゲージメント数)については、次の情報を確認できます。

• 合計セッション数
• ユーザーあたりの平均セッション数 – セッションの合計数をユーザーの総数で割った値
• 総ユーザー数

セッション数とユーザーの合計数の違いを確認して、チャットボットに最初のメッセージを送信した後にユーザーが離脱するかどうかを確認します。ユーザー/セッションの合計数と従事しているユーザー/セッションの差を最小限に抑えるこれは、エンドユーザーがチャットボットとの会話に参加することを望んでいることを意味します。差が大きいほど、チャットボットのエンゲージメントは低下します。エンゲージメントを向上させるには、conversational analyticsと、会話中に発生する可能性のある不具合を確認します。

セッション タイムライン グラフ は、特定の期間におけるセッションのパフォーマンスの概要をグラフィカルに示します。

セッションは、次の 3 つのタブ オプションに分かれています。

• 合計セッション数
• ユーザーあたりの平均セッション数
• 合計ユーザー数

グラフィカルな概要を使用して、会話のピーク時間を確認します。グラフ上の任意の場所にマウスを置いて、その特定の時点の情報を取得します。このグラフでは、ユーザーのエンゲージメントのピーク時間を確認でき、プロモーション活動のアクティビティ計画に役立ちます。ウィジェットには、エンゲージメントセッションの同じ種類の情報も表示されるため、チャットボットとより多く話す期間ユーザーエンゲージメントに適している期間を比較できます。

メッセージ ウィジェットと ユーザーウィジェットには、すべてのセッション (デフォルト) または従事セッションの情報を表示するオプションがあります。

ここに表示されるチャットボット情報は、すべてのチャットボットリストで行った選択によって異なります。

このウィジェットは、会話のバランス (受信メッセージと送信メッセージが互いに近接している) と、チャットボット 会話 に戻ったユーザーの数を確認するのに役立ちます。もちろん、これはお持ちのチャットボットの種類によって異なります。プロモーションや小売を扱うチャットボットがある場合は、リピーターを表示する必要があります。チャットボットが顧客の問題を処理する場合、ユーザーが頻繁に戻ってくることはおそらく望ましくありません。

チャットボットごとのセッションとメッセージウィジェットには、次の情報が表示されます。

• チャットボット名
• 合計セッション数 – 開始されたセッションの数
• 合計ユーザー数 – チャットボットとのセッションを開始した個別のユーザーの数
• 合計メッセージ数 - チャットボットとエンド ユーザーの間で交換されたすべてのメッセージ
• 受信 メッセージの数 - エンド ユーザーによって送信されたメッセージの数
• 送信メッセージの数 - チャットボットによって送信されたメッセージの数

合計メッセージ数は、受信メッセージと送信メッセージの合計です。

チャットボットのパフォーマンス、セッション数が最も多いチャットボット、ユーザー数が最も多いチャットボット、会話が発生する場所(メッセージ数が最も多いチャットボット)を比較します。これらの代替手段に影響を与える可能性のあるものの詳細については、会話分析を詳しく調べてください。

セッション分析

セッション分析では、セッションがどのように実行されたかに関する情報の内訳が表示されます。

以下を表示するさまざまなウィジェットを使用します。

• セッションの概要

合計セッション数とエンゲージメントセッション数の簡単な概要、つまり、チャットボットがエンドユーザーを会話に引き付けているかどうかを示します

• セッション タイムライン グラフ

一定期間のセッション数を表示し、セッションのピークを確認できます

• セッションの有効期限の理由

[エンゲージメントドセッション]に切り替えて、1メッセージセッションが終了する理由とエンゲージメントセッションが終了する理由に違いがあるかどうかを確認します。有効期限の理由がチャットボット用に計画したものかどうか

• セッション期間

セッション時間、平均セッション時間、インタラクション時間を表示します。対話時間が短く、平均セッション時間が長い場合は、チャットボットが何を尋ねるかについてエンドユーザーが混乱する可能性があるという事実を考慮してください**。

• セッションのドリルダウン

各ユーザー セッションの詳細なドリルダウン、セッションの継続時間、交換されたメッセージの数、およびセッションの有効期限の理由を示します。任意の列で並べ替えて、異なる優先度で表示される情報を確認します

• API 呼び出し

1 つのチャットボット内のすべての API 呼び出しの概要。呼び出しが期待値を返すかどうか、および呼び出しの実行状況 (ミリ秒単位の実行時間) を明確に把握できます。

最初のグラフは、セッションの合計数と関与したセッション数を示しています。

• 合計セッション数

総セッション数と

ユーザーあたりの平均セッション数(合計セッション数をユーザー数で割った値)

• 従事セッション

合計エンゲージメントセッション数 と

ユーザーあたりの平均エンゲージメントセッション

この概要には、合計セッション数と従事セッション数の差異がすぐに表示されます。理想的には、それらの間の数の差が小さく、ユーザーが開始するすべてのセッションが最初のメッセージの後も実際に続行されることを意味します。

[概要]タブと同様に、[セッションの概要]ウィジェットの後には、選択した期間のセッションを示すタイムライングラフが表示されます。

表示されるタイムラインは、日付範囲ドロップダウンリストで選択した内容によって異なります。[従事中のセッション] トグルを使用して、ビューを [従事中のセッション] に切り替えます (既定ではオフになっています)。エンゲージメントセッションを見て、ユーザーがチャットボットにもっと関与する期間を確認します。これにより、特定のプロモーションをスケジュールするタイミングを把握し、ユーザーのアクティビティの改善を期待できます。また、カスタマーエクスペリエンスに関するサポートをエージェントに提供する場合は、この情報を使用して、ここに表示される繁忙期を計画できます。

[セッション分析] ページの次のウィジェットには、セッションに関するより詳細な情報が表示されます。セッションの有効期限の理由については、チャットボットセッションがどのように終了するかを次のカテゴリに分類して確認できます。

• 期限切れのセッション – ユーザーがチャットボットへの返信を停止したことを意味します
• エージェントの乗っ取り – チャットボットがユーザーの問題を解決できなかったため、エージェントは会話をフォローして引き継ぎます
• エージェントに移動要求 – エンドユーザーがエージェントとの対話を要求し、エージェントにルーティングされました
• セッションを閉じるアクション – 会話が セッションを閉じる エレメントに到達し、終了します

これらの4種類のセッションは、常にセッションの総数になります–これらは、チャットボットとの各会話で考えられる終了シナリオです。お持ちのチャットボットの種類によっては、いくつかの有効期限の理由が他の理由よりも一般的であると予想する必要があります。ただし、たとえば、エージェントの引き継ぎが高すぎることに気付いた場合は、より多くのシナリオをカバーするためにインテントを追加できます(さらにチャットボットをトレーニングします)。

セッション期間ウィジェットを使用すると、さまざまなセッション情報を確認できます。

• セッション時間 – エンゲージメントの有無にかかわらず、すべてのセッションについて計算されます。
• エンゲージメントドセッションの継続時間 – エンゲージメントセッションの継続時間
• インタラクション時間 – ユーザーがチャットボットとの会話に実際に費やした時間

セッションの継続時間情報を使用して、セッションの継続時間を確認します。インタラクション時間が短く、エンゲージメントセッションの継続時間が長い場合は、エンドユーザーが自分に何を期待されているのかを理解していない可能性があります。認識されないインテントセクションを確認して、不一致の可能性がある場所を確認できます。

ここで選択したタブに応じて、各タブにはセッションの有効期限の内訳も表示されます。

• 期限切れのセッション – ユーザーがチャットボットへの返信を停止したことを意味します
• エージェントの乗っ取り – チャットボットがユーザーの問題を解決できなかったため、エージェントは会話をフォローして引き継ぎます
• エージェントに移動要求 – エンドユーザーがエージェントとの対話を要求し、エージェントにルーティングされました
• セッションの終了アクション – 会話がセッションの終了エレメントに到達し、終了します

セッションドリルダウンウィジェットは、各セッションの詳細を確認するのに便利です。各セッションについて、次の情報が表示されます。

• 一意のセッション ID - セッションの一意の ID。フォーマット: UUID4。例: bbd86e7a-47a6-4fba-8d67-1c8cfeb62b22。ID はエンド ユーザーとは無関係です。例: エンド ユーザーがチャットボットと 2 つのチャット セッションを開始すると、セッションごとに 1 つずつ、2 つの一意の ID が生成されます。
• ユーザー ID - チャットボットがデプロイされているチャネルによって異なります。例: 電話番号
• Start 時刻 – エンド ユーザーが最初のメッセージを送信した時刻
• 受信メッセージの数 – ユーザーが送信したメッセージ
• 送信メッセージの数 – チャットボットによって送信されたメッセージ
• 期間
• セッションの有効期限の理由 – セッションを終了できる 4 つの方法のうちの 1 つ

セッションのドリルダウンにより、各ユーザーセッションがどのように見えるかをよりよく把握できます。詳細を確認したい列でテーブルを並べ替え、ユーザーによる通常の受信メッセージの数、交換されたメッセージの数に応じて会話がどのくらい続くかなどを確認します。

ページあたりの行数(10、25、50、100)の値を変更して、ページに表示するアイテムの数を選択します。

API 呼び出しウィジェットは、セッションで実行された URL エンドポイントを表示します。

チャットボット自体のAPIコールの設定に応じて、エンドポイント URL には、 originalUrl (URLに解決された属性がない)または resolvedUrl (URLに解決された属性がある)のいずれかが表示されます。

API 呼び出し自体の詳細については、いずれかの URL エンドポイントをクリックしてください。 各 URL エンドポイントについて、呼び出された回数を確認し、次の点を確認できます。

• 応答コード – 要求が持つことができるすべての利用可能な応答
• カウント – 応答コードがトリガーされた回数。いずれかの呼び出しが成功しなかったかどうか (およびそれらがトリガーする応答コードの種類) を確認するのに便利です
• 平均時間 – ミリ秒単位

セッション分析で解決済み URL を表示していない URL エンドポイントを選択した場合、それをクリックすると、そのエンドポイントのすべての解決済み URL が表示されます。 解決済みの URL ごとに、次の情報を確認できます。

• 応答コード – どの http 要求が正常に完了しなかったかを確認するのに役立ちます
• 応答時間 – リクエストの完了にかかった時間 (ミリ秒単位)
• タイムスタンプ – 正確な実行時間

戻る を使用して、メインの Analytics ウィンドウに戻ります。

会話型分析

会話型分析では、次の情報を確認できます。

• メッセージの総数 エンゲージメントド セッションの一部のみのメッセージとの比較

うまくいけば、チャットボットが最初の応答として送信するメッセージがユーザーを引き付けないことを意味するため、2つの違いは大きくありません

• 全セッションの平均メッセージ数とエンゲージメントセッションの平均メッセージ数

一般的に交換されるメッセージの数を確認し、設計されたシナリオと比較して、数値が相関しているかどうかを確認します

• 合計/平均メッセージのタイムライングラフ

選択した期間に交換されたメッセージの頻度を追跡します

• ダイアログとインテントによる会話の内訳

最も頻繁にトリガーされるダイアログ、開始ダイアログ(または終了)の頻度、メッセージが最も頻繁にトリガーされるインテント、およびそれが発生したセッションの数

• 認識されない意図メッセージと未処理のメッセージの内訳

このウィジェットは、チャットボットが会話で失敗した場所を示すため、注意深く見てください(エンドユーザーメッセージを正しいインテントに解決したり、正しく処理したりすることはできません)。これらのメッセージを既存の意図に追加するか、意図が存在しない場合は、認識されない項目を処理するための新しい意図を実装できます。

• ユーザー開始メッセージの内訳

エンドユーザーが会話をどのように開始したいかについての洞察を提供します。この表のメッセージは、認識されないインテントまたは未処理のメッセージのリストには表示されないことに注意してください

表示対象として選択したもの(すべてのチャットボットまたは単一のチャットボット)にかかわらず、円形のグラフには、Inbound(エンドユーザーが送信)の数とOutbound(チャットボットが送信)の数の違いが色違いで表示されます。

交換されたメッセージの合計数と、それがセッションとどのように相関しているか、およびセッションの平均を確認できます。

これに続いて、タイムライン グラフ ウィジェットが 2 つのタブに分かれて一定期間のメッセージを表示します。

• 合計メッセージ数 (受信および送信)
• セッションあたりの平均メッセージ数 (ここでも受信と送信)

会話分析には、選択したチャットボットのダイアログと意図の分析も含まれます。

この情報は 2 つのタブに表示されます。

• ダイアログ、および
• 意図

[ダイアログ]タブでは、チャットボットのさまざまなダイアログのパフォーマンス、エンドユーザーが最初にアクセスするダイアログ、ユーザーを混乱させるダイアログ(エージェントのヘルプが必要など)の概要を確認できます。情報は、次のカテゴリに分類されます。

• ダイアログ 名前
• # of times triggered – エンドユーザーが入力した回数
• ユーザー – このダイアログに入った個別のユーザーの数
• セッション – トリガーされた個別のセッションの数
• Start % - チャットボットとの会話を開始するときに、ユーザーが最初にダイアログにアクセスする頻度の割合
• 終了 %- エンド ユーザーが最後にダイアログを表示した回数の割合。その後に、考えられるセッションの有効期限の理由の内訳が続きます
• 期限切れのセッション- ユーザーがメッセージの送信を停止しました
• エージェントの乗っ取り- チャットボットがユーザーの問題を解決できなかったため、エージェントが会話をフォローして引き継ぎます
• エージェント アクションに移動- エンド ユーザーがエージェントとの通信を要求し、エージェントにルーティングされました
• セッションを閉じる- 会話は、セッションを閉じるために設計されたポイントで自然に終了しました

インテントに関しては、チャットボットのインテントごとに以下を確認できます。

• インテント 名前
• # 認識回数 – チャットボットはエンドユーザーの発話を認識し、ユーザーを正しい意図に転送しました
• ユーザー – 個別のユーザーの数
• セッション – 意図が認識されたセッションの数
• Start – 最初に認識された意図が何回あったか

インテントウィジェットは、これらのインテントに基づいてダイアログに関連する最も認識されているインテントを通知します。意図が認識された回数と、その意図に基づくダイアログがトリガーされた回数を比較して、違いがあるかどうかを確認できます。違いは、そのダイアログが基づいている意図だけでなく、そのダイアログに入る他の方法があることを意味します。

ダイアログとインテントの繰り返しを確認したら、認識されない意図メッセージと未処理メッセージをチェックすることで、チャットボットの動作を引き続き分析できます。

このウィジェットには、チャットボットが認識しなかったエンドユーザーが送信した認識されない意図メッセージがすべて表示されます。チャットボットは、チャットボット内のインテントを割り当てることができませんでした。2番目のタブには、未処理のメッセージ、つまりエンドユーザーが送信したが、チャットボットが応答として期待したものに対応していないメッセージが表示されます。

この情報は、エンドユーザーが送信するメッセージの種類と、エンドユーザーとインテントの間にギャップがある場所に関する洞察が得られるため、チャットボットの追加トレーニングに役立ちます。

• メッセージ – 認識されないユーザー入力
• Dialog – 発生したダイアログの名前 (ダイアログ内で発生しなかった場合、これは空になります)
• ダイアログエレメント – ダイアログ内で発生した場合、これはそれが発生したダイアログです
• カウント – この特定のメッセージが受信された回数
• セッション数 – これが発生したセッションの数
• ユーザー数 – メッセージを送信したユーザーの個別の数

このテーブルから取得するメッセージとその繰り返しの一覧は、[チャットボットをトレーニングする] (./how-to#-use-analytics-to-make-your-チャットボット-smarter) を使用して、パフォーマンスをさらに向上させる (将来このようなメッセージを認識する) ための便利なツールです。

一方、未処理のメッセージは、チャットボットが期待できるオプションとして特定のメッセージを含めなかった可能性がある場所を見つけるのに役立ちます。たとえば、ユーザーは、回答が「いいえ」になると予想されたときに「いいえ」と応答します。 このようなすべてのメッセージについて、次の情報を確認できます。

• メッセージ – メッセージの内容
• ダイアログ – 発生したダイアログの名前
• ダイアログ要素 – 受信メッセージを認識しなかったエレメント (ユーザー応答 または ユーザー応答の保存)
• カウント – この特定のメッセージが受信された回数
• セッション数 – これが発生したセッションの数
• ユーザー数 – メッセージを送信したユーザーの個別の数

これらのメッセージを定期的にチェックすると、チャットボットの設計時にいくつかのシナリオを見逃したかどうかを特定するのに役立ちます (多くのユーザーは、チャットボットが予期しない、または処理できないメッセージを送信します)。

最後の会話ウィジェットは、エンドユーザーがチャットボットとの会話を開始する方法を示すウィジェットです。 ユーザー開始メッセージは発生順にソートされ、最も一般的なメッセージがリストの最初に表示されます。ここに表示されるメッセージごとに、次の情報を確認できます。

• メッセージの割合 – すべてのチャットボット通信に対するこの開始メッセージの割合
• # of messages – パーセンテージが変換されるメッセージの数

このウィジェットは、チャットボットと最も一般的にチャットするペルソナを特定するのに役立ちます。受信メッセージを調べて、チャットボットと通常会話するユーザーのタイプを確認します。

ユーザー分析

ユーザー分析セクションでは、エンドユーザーの行動を深く掘り下げます。この章は、次のセクションに分かれています。

• ユーザーの概要

合計ユーザー数、新規ユーザー数、リピーター数の概要と、そのうちのエンゲージメントの高いユーザー数の概要

• ユーザー概要タイムライングラフ

一定期間の総ユーザー数、新規ユーザー数、リピーター数の増減を追う

• ユーザーの詳細

各ユーザーがチャットボットとチャットする方法について、より多くの洞察を得る

• CSATの内訳:回答数/回答量別

エンドユーザーがアンケートに回答する意欲と、チャットボットとのチャット体験全体に満足しているか、または不満を持っているかを確認します

• 調査

エンドユーザーがチャットボットについてどう思っているか、エクスペリエンス全体にどれだけ満足しているか、または不満を持っているかだけでなく、彼らが残したコメントによって彼らの意見が何であるかを学びます

ユーザーの概要セクションを使用して、チャットボットと対話したエンドユーザーの数の概要、具体的には、チャットボットとの会話に関与したエンドユーザーの数を取得します(チャットを開始してから、チャットボットに少なくとも1つのメッセージを送信しました)。

これらのユーザーごとに、初めてチャットボットと対話したユーザーの数、または以前にチャットボットと話してから別のチャットに戻ったユーザーの数を確認できます。

ユーザーの概要タイムライングラフでは、エンドユーザーとチャットボットの間のやり取りを追跡できます。ピーク時間と、ユーザーが会話に戻るかどうか(特に熱心なユーザーとして)をグラフに次の線で示しているかどうかを確認します。

• 合計ユーザー数
• リピーター
• 新規ユーザー

グラフ線上の任意の場所にマウスを置くと、その時点での特定の情報を確認できます。

タイムライングラフの下で、次のようなユーザーの詳細を確認できます。

• ユーザー ID – チャットボットが展開されているチャネルによって異なります。例: 電話番号
• セッション – ユーザーがチャットボットで行ったセッションの合計数
• 受信メッセージ – エンド ユーザーが送信したメッセージの数
• ユーザーステータス - ユーザーがチャットボットと対話するのは初めてか、以前にチャットボットとチャットしたか

特定のユーザーについて知りたい場合は、そのユーザーIDをクリックしてユーザードリルダウンを表示します。これにより、そのユーザーの分析ビューが開き、ページの上部にセッションに関する詳細が表示されます。

• 合計セッション数 – ユーザーが開始したセッションの数
• 受信メッセージ – このユーザーがチャットボットに送信したメッセージの合計数
• 平均セッション時間 - 会話が続いた平均時間はどれくらいでしたか?
• 初回表示 – ユーザーが送信した最初のメッセージの最初の時刻
• 最終表示時間 – ユーザーがチャットボットと最後にチャットした時刻、ユーザーの最後のメッセージの時刻

チャットボットセッションでのエンドユーザーの動作の詳細については、各セッションの詳細を確認できます。

• 一意のセッション ID – セッションの一意の ID。フォーマット: UUID4。例: bbd86e7a-47a6-4fba-8d67-1c8cfeb62b22。ID はエンド ユーザーとは無関係です。例: エンド ユーザーがチャットボットと 2 つのチャット セッションを開始すると、セッションごとに 1 つずつ、2 つの一意の ID が生成されます。
• Start時間
• 受信メッセージの数
• 送信メッセージの数
• 期間
• セッションの有効期限の理由

この情報により、会話の継続時間、会話の終了方法(期限切れのセッションは適切ですが、エージェントのヘルプの要求はそうではない可能性があります)、およびユーザーがチャットボットとチャットする通常の時間を知ることができます。 さまざまなユーザー分析を比較して、エンドユーザーの行動について詳しく知ることができます。

会話を表示するには、その 一意のセッション ID をクリックします。

チャットボットとユーザーの間で交換されたすべてのメッセージをスクロールして、右側の会話の概要を確認できます。

右上隅の X ボタンのウィンドウを閉じ、[戻る] をクリックして [ユーザー分析] タブに戻ります。

ユーザー分析では、CSAT統計も表示されます(ここで値を取得するには、チャットボットでCSATエレメントを構成する必要があります)。

CSATウィジェットには、次の情報が表示されます。

• ユーザーの応答 – Happy または Not happy のいずれか
• 回答の内訳 – 回答したユーザーの数 (コメントの有無にかかわらず) と回答しなかったユーザーの数

CSATウィジェットの後には、各CSAT回答の詳細を確認するアンケート情報が表示されます。

• ユーザー ID – チャットボットが展開されているチャネルによって異なります。例: 電話番号
• 一意のセッション ID – セッションの一意の ID。フォーマット: UUID4。例: bbd86e7a-47a6-4fba-8d67-1c8cfeb62b22。ID はエンド ユーザーとは無関係です。例: エンド ユーザーがチャットボットと 2 つのチャット セッションを開始すると、セッションごとに 1 つずつ、2 つの一意の ID が生成されます。
• スコア – 幸せか幸せでないか
• コメント – ユーザーがCSATスコアを含むコメントを残した場合、ここに表示されます
• 調査済み – ユーザーの回答の日時

この情報を使用して、チャットボットの設計を改善します。ユーザーには会話を幸せに終わらせたいと考えており、多くの満足していない応答を受け取り始めたら、それらに付随するコメントをチェックして、ユーザーがどこで行き詰まっているか、チャットボットと対話するときに直面する最も一般的な問題を確認してください。

列を昇順または降順に並べることで、情報を並べ替えることができます (列の横にある矢印を使用)。

チャットボットがうまく機能しているかどうかをすばやく特定する

新しいチャットボットを展開することは偉業であり、もちろん、設計したものが仮定どおりに機能するかどうかを知りたいと思うでしょう。ここでは、その方法に関する簡単な概要と、これらがカバーされているトピックを紹介します。

• 合計セッション数とエンゲージメントセッション数の間に大きな差異はありますか?
• ユーザーは会話に戻りますか?
• CSATを使用してエンドユーザーからフィードバックを得る
• 多くのユーザーがエージェントのヘルプを要求したり、エージェントが会話を引き継ぐ必要がありますか?

合計セッション数とエンゲージメントセッション数の差異

これは、最初に確認できる最も目に見えるものです。概要タブに移動すると、最初に表示される情報はセッションとユーザーの合計数です。ほとんどのセッション/ユーザーが関与していることが望ましいのは、ユーザーが最初のメッセージを送信して会話を開始した後もチャットボットとのチャットを続けることを意味するためです。

たとえば、開始されたすべてのセッションの半分しか関与していないことに気付いた場合、これは、エンドユーザーが応答を受け取った後、チャットボットとの会話に興味を失ったことを意味します。最初のチャットボットメッセージをより魅力的にする方法を考えてください。ユーザーが自分に何が期待されているかを知っているかどうかを検討し、最初にチャットボットで何ができるかを説明し、チャットボットに送信できるメッセージのオプション(または例)を提供します。

セッションに不一致を引き起こす可能性のあるもう1つのことは、ユーザーの代わりに、反対側にメッセージを送信するチャットボットがある場合です。これが当てはまるかどうかを確認するには、ユーザー分析に移動し、疑わしいユーザーIDをクリックして、会話全体を調べることができます(セッションIDはクリック可能で、会話内のすべてのメッセージを表示します)。

また、ユーザーの開始メッセージがチャットボットトレーニングの一部であるかどうか、つまりチャットボットがユーザーに返信する方法を知っているかどうかを確認します。チャットボットが最初のメッセージの背後にある意図を理解して適切に返信できない場合、ユーザーが会話から脱落する可能性があるためです。

何人の人が戻ってくるか

使用しているチャットボットの種類に応じて、エンドユーザーが戻るか、戻らないかのいずれかになる場合があります。どちらの場合も、チャットボットに戻ったエンドユーザーの数に関する情報は、チャットボットを再設計または再トレーニングする必要があるかどうかを判断するのに役立ちます。

例：

• エンドユーザーが製品を購入できるチャットボットがある場合は、エンドユーザーに戻ってチャットボットと新しい会話をしてもらいたい場合があります。この場合、リピーターの数が多いのは良いことです。
• FAQ チャットボットまたはテクニカル サポートを提供するチャットボットがある場合は、エンド ユーザーを戻ってほしくない場合があります。この場合、リピーターの数が多いのは良くありません。

ユーザーをリピートさせたい場合 (小売チャットボットを提供し、リピーターがエクスペリエンスを気に入っていることを示す場合)、リピーターの数が多いほど、ユーザーはチャットボットとエクスペリエンス全体をよりよく考えます。

ただし、ユーザーがチャットボットに初めて接触したときにクエリを解決したい場合は、多数のリピーターが望ましくありません。ユーザー分析を使用して、ユーザーが直面している問題の詳細を調べることができます。ユーザー分析でセッション数を確認し、複数のセッションを持つユーザーについては、分析をより深く理解して、直面した課題を確認できます。

顧客満足度スコアを使用する

CSAT(顧客満足度)スコアを使用して、エンドユーザーがチャットボットとのチャットを終えた後の満足度を確認します。

分析のCSAT部分で情報を表示するには、チャットボットで設定する必要があります。チャットボットエクスペリエンスの一部としてまだ追加していない場合は、方法を確認してください。

設定したら、何人のユーザーが満足していないかを確認できます。CSATではユーザーがコメントを残すこともできるため、ユーザーが直面しているフラストレーションについて役立つ場合があります。CSATは、悲観的なシナリオでのみアクセスするのではなく、ユーザーを満足させるものを見つけるのにも役立ちます。

基本的に、顧客アンケートへの回答は、ユーザーがアンケートに回答するのに十分な関心を持っている(そして役に立ちたいと思っている)ことを意味するため、肯定的と見なされるべきです。

エージェントの支援を要求するダイアログはいくつありますか?

この情報は、会話分析で調べることができます。考えられるシナリオは 2 つあります。

ユーザーは、チャットボットの支援が十分でなくなった場合(チャットボットがそのように動作するように設計した場合)、またはチャットボットがユーザーのクエリを解決できなくなったためにエージェントが会話を引き継ぐ必要がある場合に、エージェントのヘルプを要求できます。

conversational analytics の ダイアログ を確認し、どのダイアログが エージェントに移動 アクションまたは エージェントの引き継ぎ になるかを確認します。会話型デザインがエージェントの支援を必要としないダイアログ セッションがこれらの列に表示される場合、これはパフォーマンスを向上させるために再設計する必要があることを明確に示しています。

Analytics を使用してチャットボットをよりスマートにする

会話で誤解が生じる可能性のある場所を特定する方法と、その修正方法の詳細をご覧ください。この記事では、次の点について説明します。

• ユーザーが会話を開始する方法
• インテントに割り当てることができないメッセージはありますか?
• チャットボットが処理できないメッセージの種類は何ですか?
• ダイアログエントリ

ダイアログエントリ

チャットボットを継続的に改善したい場合は、会話分析を時々チェックすることをお勧めします。そこで利用可能な情報は、新しいデータでチャットボットをトレーニングするのに役立ちます。

Start では、エンド ユーザーが ユーザー開始メッセージ の会話エントリ ポイントとして送信する最も一般的なメッセージを確認します。

これらのメッセージを 認識されないインテント タブと 未処理のメッセージ タブのメッセージと比較し、これらのリストに表示されないことを確認します。

これら 2 つのリストに表示される開始メッセージが見つかった場合は、次の手順を読み進めてください。

認識されないインテント

認識されないインテント・メッセージ・リストをチャットボットの新しいトレーニングの場として使用します。チャットボットがインテントに解決できない最も一般的なメッセージを確認します。

このリストにも表示されるユーザー開始メッセージがある場合は、より多くのフレーズ (ユーザーが会話の開始者として送信するフレーズを含む) を使用して開始意図をトレーニングする必要があることを意味します。

また、このリストには、意図的なフレーズとして、または会話の可能な意図として予期していなかったメッセージが見つかる可能性もあります。このようなメッセージは、会話設計の改善に使用したり、正しいインテントに追加したり、必要に応じて新しいインテントを作成したりします。

未処理のメッセージ

改善が必要なインテントがわかったら、チャットボットがダイアログ内で処理できなかったユーザーメッセージを確認します。

これにより、ユーザーがチャットボットに適切に応答する方法を知らない(何をする必要があるかを誤解している)場所の概要を明確に把握できます。さらに、これは、チャットボットがエンドユーザーの返信のバリエーションを理解するのに役立つシノニムを追加するかどうかを決定するのに役立ちます。

チャットボットをトレーニングする

会話のデータを分析したら、調査結果を使用してチャットボットをトレーニングします。

• 不足しているフレーズをインテントに追加する
• 必要に応じて、不足していることに気付いた場所にインテントを追加します(会話型デザインを改善します)
• 必要に応じてキーワードを同義語で更新し、
• ユーザー応答の処理を、見落とされた値を反映するように更新しました