AI分析

早期アクセス

タスクを作成して実行し、AI アシスタントの有効性をテストし、過去のユーザー操作を分析します。その結果をガイドとして使用して、AI アシスタントの問題を特定し、改善します。

タスクの種類

次のタスクを実行できます。

• 評価: 一連の質問でアシスタントをテストし、期待どおりに応答するかどうかを確認します。
• Analyzeトラフィック:Analyze選択した期間のユーザーメッセージを終了して、ユーザーの関心とアシスタントのパフォーマンスに関する洞察を得ます。

プロセスの概要

1. タスクを作成して実行します。
2. タスクのstatusを確認します。
3. タスクが完了したら、結果を download と view します。
4. AIアシスタントをアップデートするを使用します。

AI アシスタントを評価する

前提 条件

エンドユーザーがアシスタントに尋ねる可能性のある一連のサンプル質問を含む.csvファイルを準備します。

例: 自動車に関する FAQ に回答する AI アシスタントの場合、次の質問を追加できます。

*どのような車種がありますか?

*新車・中古車は販売していますか?

*古い車を下取りに出すことはできますか?

*どのような資金調達オプションを提供していますか?

また、.csv ファイルのサンプルをダウンロードして、ファイルを作成するためのベースとして使用することもできます。

タスクを実行する

1. AI ハブ > AI 分析 に移動します。

2. [AI アシスタントの選択] フィールドで、テストするアシスタントを選択します。

3. [タスクの種類の選択] セクション> [評価]** タブで、一連の質問を含む .csv ファイルをアップロードします。

   

4. タスク名 フィールドに、タスクを識別できるように名前を入力します。

   例: 車に関するテストに関するFAQ。

5. [タスクの実行] を選択します。

タスクのステータスを確認できます。タスクが完了したら、結果をダウンロードおよび表示し、必要に応じてAIアシスタントの更新を行うことができます。

トラフィックAnalyze

Analyze、選択した期間内にエンドユーザーから AI アシスタントに送信されたすべてのメッセージを調べ、アシスタントのパフォーマンスに関する分析情報を提供します。

タスクを実行する

1. AI ハブ > AI 分析 に移動します。

2. [AI アシスタントの選択] フィールドで、分析するアシスタントを選択します。

3. トラフィックを分析する期間を選択します。

4. タスク名 フィールドに、タスクを識別できるように名前を入力します。

   例: FAQ アシスタントのトラフィック。

5. [タスクの実行] を選択します。

タスクのステータスを確認できます。タスクが完了したら、結果をダウンロードおよび表示し、必要に応じてAIアシスタントの更新を行うことができます。

タスクのステータスを表示する

タスク セクションですべてのタスクを表示できます。

このセクションには、各タイプの最新のタスクが最大 20 個表示されます。

地位	形容
完了	タスクが完了し、結果を ダウンロード する準備が整いました。
失敗	タスクは失敗しました。ステータスの横にある [情報] アイコンにカーソルを合わせると、タスクが失敗した理由を特定できます。 例: 交通量Analyzeタスクの場合、分析する交通量データはありませんでした。
進行中で	タスクは進行中です。

タスクの結果を表示する

タスクの結果をダウンロードして表示します。

タスクの結果をダウンロードする

タスクの結果は、.csv ファイルに生成されます。ファイルを表示するには、タスク セクションに移動し、タスクのファイルをダウンロードします。

結果ファイルの内容

このファイルには、次の情報が含まれています。

ファイル内のフィールド	形容
イベント・タイムスタンプ	終了ユーザーのメッセージのタイムスタンプ。 このフィールドは、エンドユーザーから寄せられた質問を評価する場合にのみ表示されます。
session_id	チャットボット セッションの識別子。 このフィールドは、エンドユーザーから寄せられた質問を評価する場合にのみ表示されます。
質問	タスクの評価: テキスト ファイル内の質問。 Analyze タスク: エンド ユーザーによって尋ねられる質問。
答える	AI アシスタントによって生成された応答。
original_contexts	これらは、ユーザーの質問に基づいて取得されたドキュメントの関連部分(チャンク)です。 コンテキストには、チャンクが取得されたドキュメントの名前も含まれます。 コンテキストを使用して、アシスタントが特定の方法で応答した理由を理解します。
reranked_contexts	reranker を有効にした場合、応答を生成するために reranked_context のみが LLM に送信されます。 非常に短いメッセージの場合、再ランク付けは必要ありません。このようなメッセージの場合、reranked_contexts は使用できません。
話題	AI アシスタントは、 質問に基づいてトピックを決定します。この属性により、特定のトピックや製品に関心を持つエンドユーザーの数を把握できます。
is_question_answered	AI アシスタントが質問に回答したかどうかを示します。 TRUE - チャットボットが質問に回答しました。 FALSE - チャットボットは質問に回答できませんでした。その理由は、次のいずれかです。 - ソースドキュメントに回答が含まれていません。 - AIアシスタントは、その質問はアシスタントには関係がないと結論付けました。例: アシスタントは車に関する質問に答えるためのものですが、質問は携帯電話に関するものです。この場合、 回答 フィールドは 「申し訳ありませんが、その質問ではお手伝いできません」です。私は車のチャットボットです。 N/A - アシスタントに送信されたメッセージに質問が含まれていません。例: メッセージは Hi です。
is_answer_in_context	回答が取得されたコンテキストに基づいていることを示します。

タスクの結果に基づいてアシスタントを更新する

タスクの結果は、開始して問題を示すのに役立つガイドです。問題の背後にある理由を調査して特定することが重要です。

その後、アシスタントを更新して、問題が解決したかどうかを確認できます。

発行	解決
アシスタントは質問に回答しましたが、回答はコンテキストにありません。	アシスタントは、プロンプトに表示される情報に基づいて正しく応答した可能性があります。答えが間違っている場合は、ドキュメントを確認してください。
アシスタントが不適切な声のトーンを使用している。	プロンプトを確認し、必要に応じて更新します。
アシスタントが正しい言語で応答しない。	プロンプトを確認し、必要に応じて更新します。
アシスタントの応答が途切れる。	出力トークンの数を確認します。
助手は幻覚を見る。	アシスタントが関連するコンテキストを欠落している可能性があります。ドキュメントを確認してください。
アシスタントは、その範囲に含まれない質問に回答します。	プロンプトを確認し、必要に応じて更新します。