定義済みダッシュボード
これらのレポートを使用して、チャットボットのパフォーマンスをさまざまな視点から詳細に把握できます。これにより、最適化作業に再び焦点を当てる領域を特定できます。
セッション
チャットボットセッションに関する主要業績評価指標を取得する
セッションの封じ込め率が低いか、早期に離脱している場合は、カスタマージャーニーの特定の部分ではなく、チャットボットでより基本的な何かがオフになっていることを示している可能性があります
セッションとは、チャットボットとエンドユーザーの間の最初から最後までの会話全体を指します。ユーザーはいつでもチャットボットを再起動または戻ることができますが、セッションは常に 1 つのチャットに制限され、開始またはタイムアウトによってセッションが閉じられると終了します。
合計セッション数は、チャットがタイムアウトしたか、ダイアログが行われずに放棄されたかに関係なく、エンドユーザーによって開始されたオープンされたチャットセッションの数です。値は整数の合計です。
従事セッションは、エンドユーザーがセッションを開始し、チャットボットに少なくとも1つのメッセージを送信したセッションの合計数です。値は整数です。理想的には、この数はできるだけ合計セッション数に近づける必要があります。
エンゲージメント セッション レート は、エンド ユーザーがセッションを開始し、チャットボットに最低 1 つのメッセージを送信したレートです。この値は、合計セッション数に対する関与セッションの割合です。
ユーザーあたりの平均セッション数は、個々のエンドユーザーがチャットを開始したすべての合計セッションの平均数です。値は、ユーザーあたりの平均セッション数を小数点以下 (1.0) までです。
ユーザーあたりの平均エンゲージメントセッションは、個々のエンドユーザーがセッションを開始し、チャットボットに最低1つのメッセージを送信したセッションの平均数です。この値は、ユーザーあたりのエンゲージメントセッションの平均数を小数点以下 (1.0) までです。
封じ込め率は、エンドユーザーが解決せずにセッションを閉じることなくセッションが閉じられる率です。サポート エージェントに渡されるセッションは、包含セッションと見なされます。この値は、合計セッション数に対する包含セッションの割合です。
時間の経過に伴うセッションは、チャットボットの対話が最も活発な時期を特定できる時間の経過に伴うセッション数を表示します。これを使用して、必要に応じて追加の人的サポートを計画するタイミングを決定できます。最初のグラフは合計セッション数、2 番目のグラフは従事セッション数です。グラフ内の任意のポイントにカーソルを合わせると、詳細が表示されます。レポートの上部にあるフィルターを使用して、時間表示を変更します。
セッションの終了は、ユーザーの応答がないためにチャットが期限切れになっている場合など、セッションがどのように終了しているかを示します。このチャートを使用して、チャットボットが目的を果たしているかどうかを特定します。
- 期限切れのセッション - ユーザーがチャットボットへの返信を停止し、返信時間が経過しました
- エージェントの乗っ取り - チャットボットはリクエストを処理できず、会話は Conversations に引き渡されました
- エージェントへ- ユーザーがさらなるサポートを要求したか、人間に転送された
- セッションを閉じる- 会話がセッションを閉じるエレメントに到達し、チャットが終了します
期間には、セッションが終了するまでの平均セッション時間が表示されます。期間が長く短い場合は、カスタマージャーニーが効果的でないことを示している可能性があります。期間は 00:00:00 形式です。
- セッション期間 - すべてのセッション
- 従事セッション時間 - 従事者のみ
- インタラクション時間- ユーザーがチャットボットとの会話に費やす時間
セッションの終了は、常にセッションの総数になります – これらは、チャットボットとの会話ごとに考えられる終了シナリオです。お持ちのチャットボットの種類によっては、いくつかの有効期限の理由が他の理由よりも一般的であると予想する必要があります。ただし、たとえば、エージェントの引き継ぎが高すぎることに気付いた場合は、より多くのシナリオをカバーするためにインテントを追加できます(さらにチャットボットをトレーニングします)。
セッションの詳細は、チャットボットセッションの詳細を提供します。メトリック ヘッダーを使用して、必要に応じてテーブルを並べ替えます。
- セッション ID - セッションの一意の識別子
- ユーザー ID - エンド ユーザーの識別子。ID の形式はチャネルによって異なります。例: WhatsApp の場合、ユーザー ID は電話番号です
- セッション終了理由- セッションが終了した理由。例: Close_session、有効期限
- Start date - 終了ユーザーが最初のメッセージを送信した日付
- 時刻 - エンド ユーザーが最初のメッセージを送信した時刻
- 従事セッション - エンド ユーザーがセッションを開始し、セッション中に少なくとも 1 つのメッセージを送信したかどうか。
- ユーザー メッセージ - セッション中にエンド ユーザーによって送信されたメッセージの合計数
- チャットボットメッセージ- セッション中にチャットボットによって送信されたメッセージの合計数
- 期間 - セッションが継続した時間
セッションにドリルダウンするには、その セッション ID をクリックします。セッションのトランスクリプトが新しいウィンドウで開きます。チャットボットとエンドユーザーの間で交換されるすべてのメッセージを表示できます。この情報を使用して、チャットボットを改善します。例: エンド ユーザーが苦労しているダイアログ、チャットボットが理解できなかった終了ユーザー メッセージ、および期待どおりに実行されていないセッションの部分を特定できます。
会話の概要が右側に表示されます。ユーザー ID をクリックすると、ユーザーに関する情報を表示できます。必要に応じて、チャットボットへのリンクをクリックして変更を加えることもできます。
APIは、チャットボットで使用されるAPI エレメントを通過するすべてのAPI通話の概要を提供します。ここでは、呼び出しが期待どおりに実行され、値が返されているかどうか、および実行時間をミリ秒単位で識別できます。これらを表示するには、個々のチャットボットでレポートをフィルタリングする必要があります。
チャットボット自体の API 呼び出しの構成に応じて、エンドポイント URL には originalUrl (URL に解決された属性がない) または resolvedUrl (URL に解決された属性がある) が表示されます。
API 呼び出し自体の詳細については、いずれかの URL エンドポイントをクリックしてください。各 URL エンドポイントについて、呼び出された回数とその他の詳細を確認できます。
- 応答コード - 要求で指定できるすべての応答
- Count - 応答コードがトリガーされた回数。いずれかの呼び出しが成功しなかったかどうか (およびそれらがトリガーする応答コードの種類) を確認するのに便利です
- 平均時間- ミリ秒単位
セッション 分析で解決された URL が表示されないURLエンドポイントを選択した場合は、それをクリックすると、そのエンドポイントのすべての解決済み URL が表示されます。解決済みの URL ごとに、次の情報を確認できます。
- 応答コード - どのHHTPリクエストが正常に完了していないかを確認するのに役立ちます
- 応答時間 - 要求の完了にかかった時間 (ミリ秒単位)
- タイムスタンプ- 正確な実行時間
メッセージ
チャットボットとユーザーの両方のチャットボットメッセージに関する主要業績評価指標を取得する
ユーザーがすぐに離脱していないか、または必要な解決策が得られていないか、タイプ間でメッセージの合計を比較して確認します。エンゲージメント数が少ない場合、またはチャットボットがユーザーよりも多くのメッセージを送信している場合、これはチャットボットが可能な限り最高のサポートを提供していないことを示している可能性があります。
メッセージはチャットボットまたはユーザーによってのみ送信されますが、Answersはユーザーがチャットに関与しているかどうかを判断し、すべてのセッションでメッセージ交換を平均することができます。
合計メッセージ数は、ユーザーがチャットに関与したかどうかにかかわらず、交換されたメッセージの合計数です。この数は、チャットボットが効率的に機能しているかどうかを示すために、関与したメッセージの数にできるだけ近づける必要があります。この数値がエンゲージメント メッセージの合計数よりもはるかに大きい場合は、ユーザーが解決せずに離脱していることを示している可能性があります。値は整数の合計です。
セッションあたりの平均メッセージ数は、ユーザーがチャットに関与しているかどうかに関係なく、すべてのセッションで交換されたメッセージの平均合計数です。この数値は、チャットボットが効率的に機能しているかどうかを示すために、従事セッションあたりの平均メッセージ数にできるだけ近づける必要があります。値は、小数点以下 (1.0) までの平均数です。
エンゲージ メッセージ は、エンゲージ セッションの一部として交換されたメッセージの合計数です。値は整数です。
従事セッションとは、エンドユーザーがセッションを開始し、チャットボットに最低1つのメッセージを送信するセッションです。
従事セッションあたりの平均メッセージ数は、従事セッション中に交換されたメッセージの平均合計数です。値は、小数点以下 (1.0) までの平均数です。
ユーザーメッセージの合計数は、ユーザーから受信したメッセージの合計数、つまり受信⬅メッセージの合計数です。値は整数の合計です。
チャットボットメッセージの合計数は、ユーザーに送信されたチャットボットメッセージの合計数、つまり送信➡メッセージの合計数です。値は整数の合計です。
時間の経過に伴うメッセージは、時間の経過に伴う交換されたメッセージの数を表示し、チャットボットの対話とメッセージレベルが最もアクティブな時期を特定できます。最初のグラフは合計セッション数、2 番目のグラフは従事セッション数です。グラフ内の任意のポイントにカーソルを合わせると、詳細が表示されます。レポートの上部にあるフィルターを使用して、時間表示を変更します。
エンゲージしたメッセージの数と平均は、チャットボットとエンドユーザーの両方のエンゲージメントメッセージの合計の経時的な概要を提供するため、どちらの側がどの時点でピークに達しているかを特定できます。
ユーザー
ユーザーに関する主要業績評価指標を取得する
チャットボットに支援を求めて戻ってくる人の数、解決策を見つけた人の数、実際にチャットボットを利用している人の数を把握します。チャットボットの目的(特定のタスクを支援するチャットボットなど)によっては、リピーターが多いことは、ユーザーのクエリを支援するのに効率的であることを示している可能性があります
ユーザーは、チャットの反対側にいるユーザー、支援や質問のためにチャットボットに来ているユーザーです。ユーザーは新規ユーザーまたはリピーターになることができ、彼らの行動はチャットボットと対話して目的の解決策に到達することです。もちろん、これはチャットボットの有効性とデザインの品質に依存します。
合計ユーザー数は、チャットボットとの会話を開始した追跡対象ユーザーの総数です。これは、エンゲージメントの有無にかかわらず、すべてのセッションの合計数と、新規またはリピーターかどうかに関係なく、ユーザーの総数です。値は整数の合計です。
新規ユーザーは、チャットを開始した新規ユーザーまたはユニークユーザーの合計数です。これは、ユーザーのUUIDを追跡し、チャットボットレコードに一致するものがあるかどうかを確認することで機能します。一致するものが見つからない場合、ユーザーは新しいユーザーと見なされます。値は整数の合計です。
リピーターは、新しいチャットを開始したリピーターの合計数です。これは、ユーザーのUUIDを追跡し、チャットボットレコードに一致するものがあるかどうかを確認することで機能します。一致が見つかった場合、ユーザーは戻りユーザーと見なされます。値は整数の合計です。
ユーザー維持率は、チャットを放棄したりタイムアウトしたりすることなく、チャットの解決または終了に成功したと見なされるものに到達したユーザーの割合を反映しています。低いリテンション率は、チャットボットが何らかの最適化を使用できることを示す高い指標です。
従事しているユーザーは、セッションを開始し、チャットボットに少なくとも1つのメッセージを送信したエンドユーザーの合計数です。
値は整数です。
理想的には、この数値は [合計ユーザー数] の値に近い必要があります。
ユーザーエンゲージメント率は、チャットボットに関与するエンドユーザーの割合を反映しています。チャット エンゲージメントは、エンド ユーザーがチャットを開始し、チャットボットに少なくとも 1 つのメッセージを送信したときに発生します。
新規ユーザーとリピーターすべてのセッションとエンゲージドセッションについて、新規ユーザーユーザー数とリピーター数を比較します。チャットボットの目的によっては、サポートを要求するリピーターの数が多い場合は、効果的な解決策を見つけられていないことを示している可能性があります。
時間経過したユーザー数は、チャットを開始したユーザーの数を時間とともに表示し、新規ユーザーとリピーターの間でチャットボットの対話とメッセージレベルが最もアクティブになるタイミングを特定できます。グラフ内の任意のポイントにカーソルを合わせると、詳細が表示されます。レポートの上部にあるフィルターを使用して、時間表示を変更します。
ユーザーの詳細を使用すると、ユーザーをより詳細に調べることができます。メトリック ヘッダーを使用して、必要に応じて表示を並べ替えます。
- ユーザー ID - エンド ユーザーの識別子。ID の形式はチャネルによって異なります。例: WhatsApp の場合、ユーザー ID は電話番号です
- セッション - ユーザーがチャットボットと行ったセッションの合計数
- 受信メッセージ - ユーザーがチャットボットに送信したメッセージの合計数
- ユーザーステータス - ユーザーが新規か復帰ユーザーか
個々のユーザーの詳細を確認するには、ユーザー ID をクリックすると、セッションの詳細も表示されます。
- 合計セッション数 - ユーザーが参加したセッションの数
- 受信メッセージ- このユーザーがチャットボットに送信したメッセージの合計数
- 初回表示 - ユーザーがチャットボットと初めてチャットした時刻(ユーザーの最初のメッセージの時刻)
- 最後に表示された時刻- ユーザーが最後にアクティブにチャットした時刻 (ユーザーの最後のメッセージの時刻)
- 平均セッション時間 - このユーザーとチャットボットの間で会話が続いた平均時間
- CSATスコア - チャットの最後に残されたスコアです。このためには、チャットにCSATエレメントが存在する必要があります
セッション ID をクリックして、会話レコードを表示します。チャットボットとユーザーの間で交換されたすべてのメッセージをスクロールして、右側の会話の概要を確認できます。
ダイアログとインテント
使用されたダイアログとトリガーされたインテントに関する主要業績評価指標を取得する
カスタマージャーニーのどの部分が他の部分よりもパフォーマンスが高いかを理解することで、顧客についてよりよく理解し、チャットボットとのやり取りの好みのルートを知ることができます。これは、ユーザーとの対話に関してより効果的であることが証明されているロジックの部分に従うことにより、最適化の取り組みの大きな推進力になる可能性があります
ダイアログは、ユーザーのアクションと応答に応じてルーティングされるカスタマージャーニーの具体的な段階です。インテントも同様に機能しますが、機械学習と意図認識に基づくAIチャットボットと連携します。
ダイアログとインテントの詳細については、チャットボットの構成要素に関するセクションをお読みください。
上位のダイアログと意図には、最もトリガーされている上位 10 個のダイアログと意図が、合計数とともに表示されます。デフォルトのダイアログとウェルカムインテントが一番上に表示される可能性が高く、次にユーザーを最も頻繁に誘導する場所が続きます。詳しく見る必要がある場合は、必要に応じてフィルターを使用してください。
また、これらの分析を使用して、上位のダイアログと意図の間の相関関係を確認することもできます。2つの違いが大きいということは、ユーザーが基づいている意図以外の方法でダイアログにアクセスしていることを意味します。これに沿って、認識されないインテントと未処理のメッセージ分析で数値を確認できます。
上位の開始ダイアログと終了ダイアログは、エンド ユーザーとのチャットを開始する最も一般的な 10 の場所です。新しいセッションは既定のダイアログで開始される可能性が高くなりますが、リピーターや構成された設定がスポットの中間顧客体験につながっている場合は、別の場所で開始することもできます。終了ダイアログはセッションが終了する場所であり、その理由は次のいずれかになります。
- 期限切れのセッション - ユーザーがチャットボットへの返信を停止し、返信時間が経過しました
- エージェントの乗っ取り - チャットボットはリクエストを処理できず、会話は Conversations に引き渡されました
- エージェントへ- ユーザーがさらなるサポートを要求したか、人間に転送された
- セッションを閉じる- 会話がセッションを閉じるエレメントに到達し、チャットが終了します
上位ユーザー開始メッセージは、チャットを開始したユーザーから受信する最も一般的に使用される上位10件のメッセージを記録します。最初のグラフではすべてのセッションの合計が記録され、2 番目のグラフではエンゲージメントされたセッションにのみ分離されます。これらを使用して、キーワードのシノニム検出とインテントが存在しない場合に追加します。これらの値は、以降のレポートでは認識されない入力として表示されないことに注意してください。
Unknown カテゴリは、テキストを含まないメッセージを示します。例: メッセージには画像またはポストバックが含まれています。
ダイアログの分析情報では、ダイアログをはるかに詳細なレベルで詳細に調べることができます。メトリック ヘッダーを使用して、必要に応じて表示を並べ替えます。
- トリガーされた回数 - ユーザーがダイアログを入力した回数
- ユーザー- このダイアログに入ったユーザーの総数
- セッション - ダイアログが存在し、トリガーされたセッションの数
- Start % - チャット開始時に最初のダイアログとなる頻度の割合
- 終了 %- セッションが終了する前に最後のダイアログが何回あったかの割合
- 期限切れのセッション- ユーザーがセッションを期限切れにしたダイアログの数
- セッションを閉じる- セッションを閉じるために設計されたポイントで会話が自然に終了した回数
- エージェントアクションに移動- ユーザーがエージェントとの対話を要求した回数
- エージェントの乗っ取り - エージェントがチャットボットから会話を引き継ぎました
セッション数、ユーザー数、ダイアログがトリガーされた回数は、エンドユーザーがチャットボットとの会話中にこのダイアログを数回入力することを選択する可能性があるため、異なることに注意してください。
インテントインサイトでは、より詳細なレベルでインテントを詳細に調べることができます。メトリック ヘッダーを使用して、必要に応じて表示を並べ替えます。
- 認識回数 - チャットボットがユーザーの発話を認識し、ユーザーを正しい意図に転送した回数
- ユーザー - 意図にルーティングされたユーザーの合計数
- セッション - 意図が認識されたセッションの合計数
- Start - 意図が最初のものであった合計シェア率
未処理のメッセージ は、保存ユーザー応答エレメントの種類が一致しなかったか、キーワードがユーザー応答から一致しなかったために検証に合格しなかったメッセージです。
- メッセージ- チャットボットで問題が発生している特定のメッセージ
- Dialog - 発生したダイアログの名前
- 要素の種類 - 受信メッセージを認識しなかったエレメント (ユーザー応答 または ユーザー応答の保存)
- メッセージ数 - この特定のメッセージが受信された回数
- セッション数 - これが発生したセッションの数
- ユーザー数 - メッセージを送信したユーザーの合計数
これらの分析を使用して、ユーザーとチャットボットが正しい応答を提供する際に問題が発生している可能性のある構成の一部を微調整します。これは、スラングなどの非公式な言語が使用されているものから、属性タイプが正しく設定されていないものまで、何でもかまいません。
理解できないメッセージは、チャットボットが認識しない、つまりチャットボットがそれらをどの意図にも割り当てることができなかった、ユーザーが送信している認識されない意図メッセージをすべて追跡します。これらの分析情報は、ユーザーの行動と予想される応答の種類、およびチャットボット構成の既存のギャップに関する明確な洞察を提供するため、チャットボットのトレーニングに関する最適化の取り組みにおいて重要です。
- メッセージ- チャットボットで問題が発生している特定のメッセージ
- Dialog - 発生したダイアログの名前
- 要素の種類 - 受信メッセージを認識しなかったエレメント (ユーザー応答 または ユーザー応答の保存)
- メッセージ数 - この特定のメッセージが受信された回数
- セッション数 - これが発生したセッションの数
- ユーザー数 - メッセージを送信したユーザーの合計数
開始メッセージは、認識されないインテントや未処理のメッセージの下には表示されないことに注意してください。
お客様のVoice
CSATエレメントから顧客満足度に関する主要業績評価指標を取得
他の事前定義されたダッシュボードから情報を取得して主要な指標を見つけるだけでなく、顧客満足度のフィードバックを使用して、ユーザー自身から直接データを収集します。ユーザーがCSAT調査に参加できるようにすることは、チャットボットを通じて提供するサービスのレベルを知るための最短ルートです
Answersが顧客満足度の統計を収集できるようにするには、可能な限りCSATチャネルエレメントを使用してユーザーから情報を収集する必要があります。これは自動的には行われないため、顧客体験の最後に必ず追加してください。
スコア は、すべての申請の合計平均スコアと、フィルター処理された日付範囲の変更率です。スコアは通常、チャットを終了するために必要な熱心なユーザーによってのみ送信されます。
応答率は、顧客体験の CSAT ステージ (CSAT エレメントを含むダイアログ) に到達し、応答を送信したユーザーの合計割合です。スコアが低く、応答率が高い場合、これはチャットボットが何らかの最適化を使用できることを示すはるかに強力な指標です。
平均評価は、提出されたすべてのスコアで受け取った平均スコアです。スコアはCSATエレメントに対して異なる方法で設定できるため、複数のチャットボットが異なるスコアリングロジックを使用している場合、必ずしも正確なスコアが反映されない可能性があることに注意してください。
スコアと応答量分析は、ユーザーがチャットボットを使用して受けたサービスに満足しているかどうかを示します。ハッピー/ノンハッピーのロジックは、それらが提供するスコアに基づいており、Answersはスコアを検討する際に標準的なロジックに従います。詳しくは、CSAT エレメントをご覧ください。応答タイプの比較を使用すると、コメントを残して有用なフィードバックを提供しているユーザーとそうでないユーザーを確認できます。
満足度の詳細では、より詳細なレベルでフィードバックをさらに詳しく調べることができます。メトリック ヘッダーを使用して、必要に応じて表示を並べ替えます。
- セッション ID - セッションの汎用一意識別子 (UUID)
- ユーザー ID - エンド ユーザーの識別子。ID の形式はチャネルによって異なります。例: WhatsApp の場合、ユーザー ID は電話番号です
- コメント - スコアの提出時に残されたコメント。This is empty is noneです
- 日付 & 時刻 - フィードバックが送信された日時です。
- スコア - 提出された数値スコアに基づく幸せ/不満足
- 評価- は提出された数値スコアです
この情報を使用して、チャットボットがしばらく実行および対話した後、チャットボットを改善します。否定的なフィードバックとコメントは、チャットボットに欠けている可能性のあるサポートのレベルを修正するための迅速な勝利です。