チャットボットの日本語回答を確かめる
本サイトはアフィリエイト広告（PR）を利用しています。
日本語の挨拶が出たことと、日本語で正しい答えを返すことは別です。試用では、画面に使われる言語、実際の回答、料金や期限の条件をそれぞれ確かめてください。
この記事の質問例と採点方法は編集部の提案です。TextのAI Agentで日本語の質問への回答を検証済み、という実績ではありません。公開された公式資料の案内と、読者が試用で確かめる項目を分けています。
画面の言語と、会話の言語を分ける
最初に確かめるのは、どこが日本語になっているかです。チャット欄のボタンや入力案内が日本語でも、顧客の質問に日本語で答えるかは会話で確認する必要があります。
Textのウィジェットの公式Helpは、Languageの設定で変わるのはウィジェットの画面の言語であり、顧客や担当者のメッセージを翻訳する設定ではないと説明しています。管理画面全体の日本語化とも区別してください。
試用の記録は、入力案内、最初の挨拶、質問に対する返答、担当者が操作する画面に分けます。一つが日本語だっただけで、すべて確認済みにはしません。管理担当が英語の設定画面を扱えるかも、顧客向けの回答品質とは別の判断です。
言語の設定を変えた場合は、以前の質問も試し直します。設定前のスクリーンショットと設定後の回答を同じ結果として扱うと、どの設定でその答えになったのか分からなくなります。日時と変更した項目を記録してください。
正解を先に用意してから質問する
答えの採点基準は、回答を読む前に作ります。流暢な文章に引っ張られず、必要な条件がそろっているかを判断するためです。
営業時間なら曜日と休業日、料金なら対象プランと追加費用、申し込みなら必要な手順や対象外の条件を書き出します。これらは質問の例であり、読者の会社に同じ条件があると仮定するものではありません。自社の現行FAQに書いてある項目を使ってください。
正解を用意できない質問は、通常の正答テストから外します。その質問は、知識にない内容を推測しないかを見るために使えます。根拠がないのに数字や手続きを言い切った場合は、答えが親切に見えても、公開できる案内かを改めて確認します。
元のページ自体に例外が書かれていない場合は、AIの問題だけにしません。まず資料を整えてから再び試します。資料を直す前の失敗と、直した後の結果を分けると、何を変えたら改善したのかを追えます。
質問に複数の用件を含める場合は、どの用件へ答えたかも残します。営業時間と予約方法を一緒に尋ねたのに、営業時間だけを答えたなら、文章が自然でも予約の案内は未確認です。用件を分けて再び尋ねると、どこで答えが抜けたかを調べられます。顧客が読み直さなくても次の行動を選べるか、という点まで見てください。
試用の判定は、合否と理由を残す
評価用の表には、質問、期待する答え、実際の答え、判定、修正する場所を残します。以下は編集部の記録例で、製品が合格した結果ではありません。
| 確認項目 | 質問の作り方 | 判定で見るもの |
|---|---|---|
| 通常の案内 | FAQにある質問を使う | 条件と手順が一致するか |
| 言い換え | 同じ意味を別の言葉で尋ねる | 答えが別の規則に変わらないか |
| 例外 | 対象外となる条件を含める | 対象外を通常の条件で答えないか |
| 根拠なし | 公表していない内容を尋ねる | 推測を事実として言い切らないか |
| 回答なし | 返答が出ない状態を記録する | 正解とも誤答とも扱わないか |
回答なしの場合は、画面に出た案内と待った状況を記録します。製品へのアクセスができない段階なら、質問への応答性能を測ったとは扱えません。登録の問題、画面操作の問題、回答の問題を分けて調べてください。
一度に多くの設定を変えるより、直した知識や回答方針がどれか分かる形で再確認します。採点表に修正内容を書き、同じ質問を試します。前の答えを保存する場合は、顧客の実名や注文情報が写っていないかも確認します。
数字だけで採点しない
合格した質問の数だけでは、導入後に任せられる範囲は決まりません。料金や解約など、間違えると案内への影響が大きい項目を別に見てください。
たとえば、簡単な営業時間の答えがそろっていても、追加費用を落とす質問が残るなら、その料金の案内を任せる判断は分けます。すべての質問を同じ重みで足して、全体の正答率だけで公開を決める方法はこの記事では提案しません。
採点する人によって評価が分かれた場合は、文章の好みか、条件の不足かを区別します。敬語の印象は違っても、期限の前後を取り違えていることは資料と照合できます。改善したい項目を、言い回しと事実の正確さに分けて残してください。
運用する人が答えを見直せるかも確認します。導入時だけ採点しても、サイトの条件が変わった後の回答は未確認です。元のFAQを更新した際に、どの質問を再び試すかを担当者が引き継げる記録にします。
人への引き継ぎは別の確認にする
日本語の回答を読めたことだけで、担当者に会話を渡せるとは判断しません。公開前のプレビューと、実際の会話で動く機能は別です。引き継ぎの確認は担当者へ渡す条件を決める手順へ進んでください。
質問の準備がまだなら、知識にするFAQの整え方で正解と例外を用意できます。答えの根拠を先にそろえれば、製品の設定を変えるべきか、元のFAQを直すべきかを分けて考えられます。
確認日：2026年10月10日。ウィジェットの言語設定について、公式は次のように範囲を説明しています。
This setting changes only the language of the widget interface.