社内文書を参照して回答するRAGを導入したものの、「必要な情報が出てこない」「古い規程を案内する」「回答から適用条件が抜ける」。こうした問題に直面しても、どこを直せばよいか分からず、調整を開発会社に任せきりにしている組織はないでしょうか。
RAGは、質問に関係する情報を検索し、その情報を使って生成AIが回答する仕組みです。回答品質には、AIモデルだけでなく、元の文書、取り込み処理、検索方法が関係します。
検索ログを改善に使うには、質問や回答を保存するだけでは足りません。どの文書が検索され、どの版が回答に使われ、何が不足していたのかを追える記録と、それを文書管理へ戻す運用を組み合わせます。添付資料の論点を踏まえ、実務で運用できる指標と改善手順を整理します。RAG接続後の検索ログを活用したデータ品質KPIと継続改善の実務設計.pdf
検索ログで捉えるのは「回答の点数」より改善箇所
例えば、「出張費の申請期限は?」という質問に誤った回答が返った場合、少なくとも次の原因が考えられます。
| 確認された状況 | 主な改善対象 |
|---|---|
| 正式な申請期限が文書化されていない | 業務部門による情報整備 |
| 最新規程はあるが検索対象に取り込まれていない | 連携・取り込み処理 |
| 最新版が検索対象にあるのに旧版が上位に出る | 版の管理・検索条件 |
| 正しい箇所を取得したが例外条件を回答から落とした | 文書の分割・回答生成 |
同じ「誤回答」でも、直す担当者と作業は異なります。
また、検索結果がないからといって、直ちに文書不足とは判断できません。質問の表現が曖昧だったり、利用者の権限によって対象文書が除外されていたりする場合もあります。権限に従った正常な除外と、検索の不具合を区別することが出発点です。
改善を追跡できる検索ログの記録項目
ログは、一つの質問から回答までを共通の識別番号で結びます。最低限、次の情報を追える構成にします。
| 記録する情報 | 改善に使う目的 |
|---|---|
| 質問ID、日時、会話の関連ID | 問題が起きたやり取りを特定する |
| 質問文と必要な会話の文脈 | 質問の意図や言い換えを確認する |
| 検索候補の文書ID、版、順位、スコア | 何が検索され、何が埋もれたか調べる |
| AIへ渡した文書断片と回答中の引用先 | 検索結果と実際の回答根拠を区別する |
| 文書の施行日、有効期限、取り込み日時 | 旧版の混入と更新遅延を分ける |
| 検索設定、インデックス、モデル等の版 | 変更前後の比較条件をそろえる |
| 利用者の評価、再質問、担当者の判定 | 不満の兆候と確認済みの問題を分ける |
検索された候補と、最終的にAIへ渡した情報は一致するとは限りません。途中の絞り込みで必要な根拠が落ちる可能性があるため、両方を区別して記録します。
文書IDだけを保存しても、原文が上書きされると当時の回答を検証できません。必要な範囲で版を保存するなど、回答時点の根拠を復元できる仕組みも用意します。
データ品質KPIは、分母と改善先をセットで決める
以下は、本記事で提案する運用指標です。業界共通の標準値ではなく、自組織の業務と評価体制に合わせて定義します。
| 指標 | 計算方法・対象 | 指標から着手する改善 |
|---|---|---|
| 有効根拠未取得率 | 回答対象の質問を点検し、有効な根拠を取得できなかった件数÷点検件数 | 文書不足、取り込み漏れ、検索漏れを調査 |
| 旧版参照率 | 文書を参照した回答のうち、質問時点に適用すべきでない旧版を使った回答の割合 | 版の整理、適用日による絞り込み |
| 必須条件欠落率 | 条件付きの回答を点検し、対象者・例外・承認条件などが欠落した割合 | 条件を含む文書構造や回答方法の修正 |
| 更新反映時間 | 承認済み情報の公開から、検索で取得できることを確認するまでの時間 | 連携処理と取り込み監視の改善 |
| 修正後再発率 | 修正済み事例の再評価で、同じ不具合が再発した割合 | 修正内容と確認方法の再検討 |
| 改善期限内完了率 | 対応期限を迎えた案件のうち、再評価まで完了した案件の割合 | 担当・優先順位・作業量の見直し |
有効根拠未取得率では、対象外の質問や、権限上回答できない質問を別に扱います。低い検索スコアだけで自動判定する場合は、「低スコア率」など別の名前で記録し、人が確認した結果と混同しないようにします。
旧版参照率も、古い文書をすべて不良としません。「昨年度の規程」を尋ねる質問には、過去の版が適切な根拠になります。更新日だけではなく、質問が対象とする時点と文書の適用期間を照合します。
更新反映時間は、平均値に加えて遅延が大きい事例を確認します。失敗した取り込みを集計から除くと、見かけ上の数値が改善してしまうため、未反映件数も併記します。
検索・回答の評価指標を、原因調査に使い分ける
データ品質KPIを補うものとして、検索や回答そのものを評価する指標があります。
RagasのContext Precisionは、関連する文書断片を検索結果の上位に並べられているかを評価します。Context Recallは、必要な根拠をどれだけ取得できたかを評価するもので、比較する正解回答や参照情報が必要です。検索ログだけから、取り逃した情報の全体を確定できるわけではありません。docs.ragas.io
Faithfulnessは、回答中の主張が取得した情報で裏付けられるかを測ります。ただし、古い規程に忠実な回答でも、この評価は高くなり得ます。元の文書が現在も有効かどうかは、別に確認しなければなりません。docs.ragas.io
「0.9以上なら安全」といった一律の基準は置かず、実際の業務質問を人が評価し、許容できる誤りと許容できない誤りを整理します。評価に使うAIや採点方法を変えたときも、同じ質問群で評価し直し、過去の数値と単純比較しないようにします。
具体例:旧版の参照と条件の欠落を分けて直す
例えば、製造業の社内RAGで「設備点検を省略できる条件は?」と質問したとします。
ログを確認すると、旧版の手順書と現行版が検索され、AIには旧版の該当箇所だけが渡されていました。この場合は、現行版を優先するための版管理や検索条件を見直します。
一方、現行版の正しい箇所が渡されているのに、「責任者の承認が必要」という条件だけが回答から抜けていた場合、修正箇所は異なります。本文と条件が別の断片に分かれていないかを確認し、関連する節をまとめて渡す方法などを比較します。
変更後は、元の質問に加えて「承認なしでも省略できるか」「旧型設備にも適用できるか」といった質問で再確認します。これは改善手順の例であり、特定の構成による効果を保証するものではありません。
ログから改善案件を起こし、再評価で完了させる
継続改善では、低評価の回答をそのまま一覧にするより、同じ原因の事例をまとめる方が対応しやすくなります。「旅費規程の旧版参照」「設備別の適用条件不足」など、直す文書や処理が分かる単位で整理します。
改善案件には、対象の質問ID、文書ID、確認した原因、担当者、期限、修正後の確認方法を記録します。文書の内容は業務部門、取り込みや検索処理はシステム担当というように、作業に応じて担当を決めます。小規模な組織では兼任でも構いませんが、内容の正しさを誰が確認するかは明確にします。
運用の一例として、取り込み失敗や急増した異常は日々確認し、週次で改善案件を整理します。月次では部門別・文書種別の傾向を見て、文書管理そのものの見直しにつなげます。重大な誤案内は定例会を待たずに扱います。
完了条件は、修正の実施だけでなく、再検索と回答確認まで含めます。承認済みの失敗事例は評価用データに追加し、従来から使っている固定の質問群と併せて確認します。これにより、新しい問題への対応と、既存機能への悪影響を同時に点検できます。
なお、クリックや高評価は有用な手掛かりですが、正解の証明にはなりません。未クリックの文書を誤りと決めつけたり、利用者の反応だけで自動学習へ回したりせず、内容を確認して使います。
検索ログにも、情報管理の設計を組み込む
質問文や回答には、顧客情報、従業員情報、未公開の業務情報が含まれる可能性があります。通常の集計に使う情報と、詳細調査で開く原文を分け、閲覧権限と保存期間を設定します。
例えばLangSmithの公式ドキュメントでは、入力・出力を記録しない設定や、送信前に機微な情報をマスキングする方法が案内されています。外部の評価サービスを使う場合は、検索文書や回答のどの範囲を送るかも確認します。docs.langchain.com
すべての回答を詳細に採点する必要はありません。全体傾向は軽量な記録で把握し、詳細評価は無作為に選んだ事例と、重大性の高い事例を組み合わせます。低評価だけを調べて全体品質を判断すると、集計が偏る点にも注意します。

まとめ
RAG導入後の検索ログは、文書整備とシステム改善の両方に使える情報です。
まず、質問・検索結果・回答根拠を結び、文書の不足、旧版の参照、更新遅延、条件の欠落を区別します。そのうえで、分母が明確な指標を設け、改善案件に担当者と期限を付け、再評価まで追跡します。
自組織で繰り返し発生している不具合から着手すれば、ログを「保存する記録」から「次に直すものを決める材料」へ変えられます。
コメント