結論から言うと、AIチャットボットの開発は、回答範囲と正答例を決め、資料整備、検索、回答生成、権限・有人移管の試験へ進めます。チャット画面が動いた段階では、公開の判断はできません。
社内文書を参照するRAG型を例に、工程ごとの成果物と確認事項を説明します。登録FAQやシナリオを組み合わせる場合も、評価問題を先に用意する進め方が有効です。
工程1：回答する質問と評価問題を決める
対象部署と回答の責任者を決める
初期版では「情報システムの利用案内」などに対象を絞ります。規程の解釈や個別の承認判断まで含めるかは、業務責任者が判断します。
回答方針を三つに分けて定義します。
- 回答する：正式なマニュアルで裏付けられる手順。
- 聞き返す：端末や利用者区分など、必要条件が足りない質問。
- 移管する：例外申請、個別障害、資料に根拠がない相談。
例えば「接続できない」だけでは、ネットワークか業務アプリか判別できません。最初に環境を聞く会話を用意し、何でも一度で回答させないようにします。
実際の問い合わせから試験を作る
過去の問い合わせを匿名化し、正答、必要な根拠、許容しない回答を用意します。表記ゆれや省略、複数の条件を含む質問も入れます。
資料にない質問と権限外の質問を必ず含めます。評価用の一部は調整に使わず残し、修正後にも未知の質問で性能を確認できるようにします。
工程2：文書を検索可能な形に整える
正本と旧版を整理する
同じ手順の旧版が混ざると、検索自体は成功しても間違った案内につながります。正式な資料と管理者を決め、適用開始日や利用対象を記録します。
文書ごとの付帯情報を整理します。
- 出典：文書名、参照URL、版、更新日。
- 適用条件：対象部署、サービス、地域、利用者区分。
- 権限：誰が本文と回答を閲覧できるか。
PDFの表や画像は、読取り結果を目視で確認します。表の列見出しと条件が離れると、金額や申請条件を別の行へ結び付ける原因になります。
分割した文書の意味を保つ
RAGでは検索しやすい単位へ文書を分けます。文字数だけで切らず、見出し、条件、例外、手順が一緒に解釈できるかを確認します。
MicrosoftのRAG解説では、検索方式と索引の設計を扱っています。型番などの完全一致と意味の近さを、質問に応じて使い分けます。
工程3：検索と回答生成を分けて作る
まず正しい資料が見つかるか試す
回答文を調整する前に、評価問題に対して必要な資料が検索されるかを確認します。該当資料が出なければ、モデルへの指示だけを変えても解決しません。
検索不良の原因を切り分けます。
- 資料不足：正式な回答根拠が登録されていない。
- 検索不一致：略称や言い換えを拾えていない。
- 分割不良：検索箇所に条件や例外が含まれていない。
検索の結果と順位を記録し、改善前後を同じ問題で比較します。必要以上に多くの資料を渡すと、無関係な条件が回答へ混ざることもあります。
根拠を示し、不足時には回答を止める
生成処理には、確認できた情報で回答し、条件不足なら聞き返す方針を与えます。回答には参照文書を示し、利用者が原文を確認できるようにします。
リンクが付いているだけでは正答の証明になりません。回答の各条件が参照箇所と一致するか、人が確認できる評価記録を残します。
MicrosoftのRAG評価も、検索品質と回答の根拠整合性を分けています。原因ごとに直すことで、改善が再現しやすくなります。
工程4：権限と有人対応を含めて公開判定する
利用者ごとに検索対象を制御する
ログインの有無だけでなく、文書を読む権限を検索時に適用します。生成後に注意文を出す方式では、モデルに渡した機密情報を適切に守れません。
Azure AI Searchのアクセス制御は、ユーザーやグループに応じた検索結果の制御を説明しています。採用基盤に合う方式を実装します。
権限試験では、正常な利用以外の状態を確認します。
- 別部署：参照できない文書の本文や要約が出ないか。
- 異動・退職：権限変更が検索と会話履歴に反映されるか。
- 共有端末：前の利用者の会話やキャッシュが残らないか。
有人移管と更新後の再試験を確かめる
回答不能や利用者の希望時に、人へつなぐ導線を用意します。会話、聞き取った条件、未解決の内容を渡し、受付完了を表示します。
公開前には、担当者が不在の場合や受付システムの障害も試します。転送したつもりで相談が消える状態を防ぐため、受付番号や代替窓口を確認できるようにします。
限定公開の結果を基に対象を広げます。文書・モデル・検索設定を変更した際は、同じ評価問題で再試験し、悪化したら前の設定へ戻せるようにします。
まとめ
チャットボット開発は、評価問題、資料、検索、回答、窓口運用を順につなげます。各工程の結果を記録し、何が原因で答えられないかを分けて改善しましょう。
会社紹介
株式会社riplaでは、お客様の事業・ユーザー・業務に最適化したオーダーメイド型システムを、構想策定・要件定義から開発・改善まで一気通貫で支援。事業会社でIT・DXを経験したプロフェッショナルによる高い要件定義力・システム設計力を活かし、事業成果の最大化に伴走します。
また、当社独自の開発テンプレート「Boxシリーズ」による標準機能の高速開発と、AI駆動開発の独自フレームワーク「GoDD」による独自機能のAI実装を組み合わせることで、低コスト・短期間で開発を実現いたします。
もし、システム開発やプロダクト開発に関するご要望がございましたら、お気軽にお問い合わせください。
・サービス概要資料のURLはこちら >>>
・お問合せページのURLはこちら >>>
・お役立ち資料のURLはこちら >>>
株式会社ripla 代表取締役CEOとして、システムパッケージ活用、システム開発、データ分析、生成AI活用、SaaS開発、アプリ開発、EC構築など、幅広い領域で企業のDX推進と事業成長を支援している。事業会社でIT・DXを経験したプロフェッショナルが集う株式会社riplaにおいて、お客様の事業・ユーザー・業務に最適化したオーダーメイド型システムを構想策定・要件定義から開発・改善まで一気通貫で支援し、単なるシステム納品にとどまらず、クライアントと同じ目線で事業成果の最大化に向けた伴走支援を行う。早稲田大学卒業後、ラクスル株式会社、LINEヤフー株式会社にて事業開発やDX推進などに従事した後、株式会社riplaを創業。