テスト ケースを作成する
早期アクセステストグループの作成後、テストケースを追加して、エージェントの予想される動作を定義します。各テスト ケースは、エンド ユーザーと AI エージェントの間の 1 つの会話またはやり取りです。
テストケースは、次の方法で追加できます。
- 手動: 会話を段階的に構成し、各ユーザー メッセージと予想されるエージェントの応答を定義します。
- 保存された会話: AI エージェント ビルダーの プレビュー で手動テスト中に保存した会話を再利用可能なテスト ケースに変換します。
テスト ケースを手動で作成する
会話を手動で構成して、テスト ケースを作成します。
- テスト グループ ページで、テスト ケースの追加 を選択します。
- 右側のパネルで、エンド ユーザー メッセージの例を入力し、チェックマークを選択します。
- 次の 1 つ以上を実行して、予想されるエージェント応答を定義します。
- 予期されるエージェントメッセージを入力します。AI エージェントの応答 を選択し、チェックマークを選択します。
- 予想されるツールまたはサブエージェントの呼び出しを選択します。ツールコールを選択し、リストからツールまたはエージェントを選択します。
- 交換の追加を続行して会話フロー全体を定義するか、テスト ケースを 1 つの交換のみのままにします。
- 複数の連続したエージェント応答を追加しないでください。
- (オプション)会話内のメッセージ、ツール、またはサブエージェントごとに、次の操作を実行できます。
- メッセージを変更するか、別のツールまたはサブエージェントを選択する: 鉛筆アイコンを選択します。
- メッセージ、ツール、またはサブエージェントを削除する: 削除アイコンを選択します。
- 現在のメッセージ、ツール、またはサブエージェントの下に新しいメッセージ、ツール、またはサブエージェントを追加する: プラス記号 (+) を選択し、必要なオプションを選択します。
- テスト ケースが完了したら、 [保存] を選択します。
保存した会話から追加する
手動テスト中に保存した会話を AI エージェント ビルダーのプレビューで使用します。
- テスト グループ ページで、メニュー アイコン (3 つのドット) を選択します。
- [保存した会話を追加] を選択します。
- 追加する会話を選択し、[追加] を選択します。
選択した各会話は、個別のテスト ケースとしてテスト グループに追加されます。
次のステップ
- テストを実行する: テスト グループでテスト ケースを実行して、エージェントの動作を検証します。
テストケースの推奨事項
以下をカバーする包括的なテストケースを作成します。
- 予想されるすべてのユーザー体験 - 通常のエージェントの使用を表す成功したシナリオと標準的なインタラクション。
- 非標準入力 - エージェントの回復力をテストするためのエンドユーザーからの異常または予期しない入力。
- ネガティブなシナリオ - エージェントがエラーを適切に処理することを確認するための API エラーまたは欠落データ。
- エラー処理状況 - 会話中に何か問題が発生した場合のエージェントの対応方法。
これらのテスト ケースは、次の目的で使用します。
- 合格基準: AI エージェント システムが定義どおりに機能することを示します。
- パフォーマンス ベンチマーク: エージェントの応答の品質と効率を経時的に測定します。
- 回帰テスト: 更新によって既存のエージェントの機能や動作が損なわれないようにします。