自然言語処理

自然言語処理(NLP)は、人工知能(AI)の一部です。NLPは人間の言語を解釈し、構造化されていないエンドユーザーメッセージをチャットボットが理解できる構造化形式に変換します。NLPは、トークン化などの手法を使用してこれを行います。

NLPは、AIチャットボットのユーザー応答エレメントでのみ使用できます。

トークン化

トークン化はNLPの機能です。トークン化は、ユーザー入力を個別の情報に分割します。トークン化には、次のものが含まれます。

• 単語の自動修正
• 単語のオートコンプリート
• ストップワードの削除
• シノニムのマッチング

オートコレクト

エンド ユーザーのメッセージにスペル ミスが含まれている場合、Answers はこれらのエラーを修正します。

例: エンド ユーザーのメッセージに誤ったスペル 'emali' が含まれています。Answers は入力を 'email' に自動修正します。

オートコンプリート

エンド ユーザーのメッセージに不完全な単語が含まれている場合、Answers はこれらの単語を補完します。

例: 終了ユーザーのメッセージに不完全な単語 'emai' が含まれています。Answers は 'email' への入力を自動補完します。

ストップワードの削除

チャットボットは、エンド ユーザーのメッセージを処理するときに、重要でない特定の単語を除外 (停止) します。このフィルタリングにより、チャットボットの精度が向上し、正しい意図が識別されます。

Answers に組み込まれているストップ リストには、次の言語のストップ ワードが含まれています。Answersがサポートする他の言語には、ストップワードはありません。

言語	ストップワード
英語	a、an、and、are、be、do、have、i、in、is、me、of、that、the、to、you
スペイン語	a、al、como、con、de、del、el、en、es、eso、ha、la、las、le、lo、los、mas、me、mi、nos、o、para、pero、por、que、se、si、son、su、sus、un、una、y、yo
クロアチア語	a, ali, cu, da, do, i, ili, iz, je, k, ka, ka, kako, li, me, mi, mogu, na, nego, ni, niti, no, o, od, pa, po, s, sa, sam, se, su, te, to, u, uz, vec, za
アラビア語	أن, عن, كيفية, يوجد, اود, إلى, في, أنت, هو, مع, هي, شو, هم, على, كيف, ما, أنا, هذا, هل, أو, لو, أستطيع, سمحت, التي, بدي, إذا, و, ذلك, أعلم, فقط, به, بها, بهذا, عليها, عليه, بعض, اريد, لكن, هنا
ポルトガル語	チャットボットは、エンドユーザーのメッセージ内のストップワードを識別するときにアクセント記号を削除します.a、ante、aos、apos、as、ate、com、contra、da、das、de、desde、dos、e、ela、elas、ele、eles、em、entre、essa、essas、esse、esses、esta、estas、este、estes、eu、isso、isto、lhe、lhes、lo、me、na、nas、no、nos、nos、nossa、 nossas、nosso、nossos、num、numa、numas、nuns、o、os、para、perante、por、que、sao、se、sem、seu、seus、すすり泣き、sobre、sua、suas、te、teu、teus、tras、tu、tua、tuas、um、uma、umas、uns、voce、voces、vos

シノニムのマッチング

エンド・ユーザー・メッセージには、意図のトレーニング・データセットにある単語が必ずしも含まれているとは限りません。代わりに、メッセージにはトレーニング データセット内の単語の同義語が含まれる場合があります。Answers は、組み込みのシノニム セットを使用して、エンド ユーザーのメッセージを正しい意図と照合します。

シノニムのマッチングは、英語にのみ適用されます。

例: 手荷物意図のトレーニング データセットには "手荷物" という単語が含まれていますが、"荷物" という単語は含まれていません。

エンドユーザーが「荷物許容量について知りたい」というメッセージを送信すると、チャットボットは組み込みの同義語リストを使用して、「荷物」が「手荷物」の同義語であることを識別します。チャットボットは、エンドユーザーのメッセージを「手荷物許容量について知りたい」というトレーニングフレーズと照合し、メッセージを手荷物の意図と照合します。

トークン化の例

エンドユーザーは「emaliについて知りたい」というメッセージを送信します。

チャットボットは、次のようにテキストをトークン化します。

• エンド ユーザーのメッセージを個別の単語に分割します。
• ストップワード「I」を削除します。
• 「emali」という単語を「email」に自動修正します。

したがって、トークン化されたテキストは「want」、「know」、「about」、「email」です。

自然言語処理のしくみ

NLPは、AIチャットボットのユーザー応答エレメントでのみ使用できます。

エンドユーザーがメッセージを送信すると、チャットボットは最初にユーザー応答エレメントのキーワードを処理します。エンドユーザーのメッセージとキーワードが一致する場合、チャットボットは関連するアクションを実行します。一致しない場合、チャットボットはNLPを使用します。

1. チャットボットはテキストをトークン化します。
2. チャットボットは、トークン化されたテキストとインテントを比較します。
3. 意図と一致する場合、チャットボットはその意図に関連付けられているダイアログにフローを誘導します。

例: Infobip 製品に関する情報を提供するチャットボットについて考えてみます。

製品ごとに、ダイアログがあります。各ダイアログには意図が関連付けられています。例: 電子メール製品の場合、電子メールの意図を持つ電子メールダイアログがあります。

製品ダイアログでは、ユーザー応答エレメントはキーワードを使用してフローを関連するダイアログに分岐します。

NLPが有効になっていない場合

エンド ユーザーはメッセージ 'emali' を送信します。メッセージにスペルミスが含まれているため、チャットボットはユーザー入力をキーワード「email」と一致させることができません。そのため、チャットボットはフローをメールダイアログにルーティングしません。

NLPが有効な場合

製品 ダイアログの ユーザー応答 エレメントでは、NLP が有効になっています。

エンドユーザーは「emaliについて知りたい」というメッセージを送信します。

チャットボットは、最初にユーザー応答エレメントのキーワードを処理します。チャットボットは、エンドユーザーのメッセージをどのキーワードとも一致させることができません。そのため、チャットボットはNLPを使用します。チャットボットは次のことを行います。

1. トークン化の一環として、チャットボットは「emali」という単語を「email」に自動修正します。
2. チャットボットは、トークン化されたテキストを電子メールの意図と照合します。
3. フローを [電子メール] ダイアログにルーティングします。

同様に、エンドユーザーが「emaiについて知りたい」というメッセージを送信すると、Answersは「emai」という単語を「email」にオートコンプリートし、トークン化されたテキストをEmail意図のトレーニングデータセットと照合します。

自然言語処理を有効にする

NLP は、ユーザー応答 エレメントに対してのみ有効にできます。インテント エンジンを有効にしてユーザー応答を処理 を選択します。

ユーザー応答 エレメントは、NLP が有効になっていることを示します。

自然言語処理のテスト

シミュレーターを使用して、AI チャットボットで NLP がどの程度うまく機能するかをテストします。

• チャットボットのトレーニングに使用した単語の同義語を使用し、チャットボットが意図をどの程度認識しているかを確認します。例: 「手荷物」という単語を使用してチャットボットをトレーニングする場合は、シミュレーターで「荷物」という単語を使用します。Synonym matchingセクションの例を参照してください。
• トレーニングフレーズで不完全な単語または単語のスペルが正しくないを入力して、チャットボットがこれらのエラーをどのように修正するかを確認します。NLPの仕組みセクションを参照してください。