社内文書を検索して回答を生成するAIを導入したものの、「廃止済みの規程を案内した」「旧版マニュアルの手順を回答した」といった問題に悩む企業は少なくありません。
この問題は、生成AIの性能だけでは解決できません。RAG（検索拡張生成）は、社内文書を検索し、その内容を根拠として回答を作る仕組みです。参照元に古い文書が残っていれば、AIは実在する古い情報を忠実に要約してしまいます。これは、AIが事実を作り出す一般的なハルシネーションとは異なる「検索品質の失敗」です。
必要なのは、回答後に誤りを見つけるだけの運用ではありません。文書の取り込みから検索、引用、監視まで、複数の層で古い資料を参照させない仕組みを構築することです。本記事では、社内文書AIの信頼性を高める文書鮮度管理の設計方法を、実務の流れに沿って解説します。
社内文書AIが古い資料を参照する3つの原因
新旧の文書が同じ検索空間に並んでいる
就業規則、製品仕様書、業務マニュアルなどは、改訂のたびに新しいファイルが作られます。しかし旧版を削除せずに保管していると、新旧の文書がベクトルデータベース内で共存します。内容が似ているため、検索時には旧版も高い類似度を持ち、回答根拠として選ばれる可能性があります。
ファイルの更新日時だけで鮮度を判断している
更新日時が新しい文書が、必ずしも現在有効とは限りません。古い規程を別のフォルダへコピーすれば、ファイル上の更新日時は新しくなることがあります。一方、作成日は古くても現在なお有効な基本方針や契約書もあります。
したがって、文書鮮度は単一の日付では判断できません。「いつ作られたか」ではなく、「いつから有効か」「いつまで有効か」「どの版が最新版か」「誰が正本として承認したか」を管理する必要があります。
検索順位を下げるだけで、失効文書を除外していない
古い文書の検索スコアを下げても、候補数が少ない質問では旧版が上位に残ることがあります。期限切れのキャンペーン規定、廃止された手順、失効した社内ルールは、順位調整ではなく検索対象から強制的に除外すべきです。
文書鮮度を「3種類の時間」で管理する
すべての文書を同じ方法で古いと判定すると、必要な情報まで検索できなくなります。まず、社内文書の時間特性を次の3種類に分けます。
| 時間特性 | 文書例 | 必要な制御 |
|---|---|---|
| 有効期限 | 期間限定規程、キャンペーン、期限付きFAQ | 期限後は検索対象から強制除外 |
| 時間とともに価値が下がる情報 | 障害情報、週報、ニュース、進捗報告 | 経過時間に応じて検索順位を下げる |
| 複数版が存在する情報 | 就業規則、仕様書、業務マニュアル | 最新版を正本とし、旧版との関係を管理 |
最低限、文書またはチャンクに「document_id」「version」「valid_from」「valid_to」「status」「superseded_by」「owner」「source_url」「access_group」を付与します。statusは、draft、active、expired、superseded、archivedなどに統一します。
重要なのは、更新日時と有効期間を分けることです。更新日時はファイルが変化した時刻であり、有効期間は業務上その内容を使ってよい期間です。この二つを混同しないことが、文書鮮度管理の出発点になります。
古い資料を参照させない多層的RAGアーキテクチャ
第1層：取り込み前にデータソースを棚卸しする
最初に、SharePoint、社内Wiki、ファイルサーバー、クラウドストレージなどの文書を棚卸しします。重複、バックアップ、個人保管、下書き、旧版を区別せず一括で取り込むと、後工程での修正が難しくなります。
文書ごとに正本の保存場所とデータオーナーを決め、AIが参照してよい範囲を明確にします。権限情報も取り込み時に継承し、検索時に利用者の所属や役割で絞り込めるようにします。鮮度が正しくても、閲覧権限のない文書が回答に混ざれば別の重大事故につながります。
第2層：変更検知と安全な索引更新を行う
毎回すべての文書を再処理するのではなく、文書本文のハッシュ値を保存し、実際に内容が変わった文書だけを再分割・再埋め込みします。これにより、処理時間とAPIコストを抑えながら索引を最新状態に保てます。
更新時は、旧チャンクを先に削除してから新チャンクを登録すると、一時的に検索できない空白が生じます。新しいチャンクを「準備中」として登録し、登録完了後に一括で公開状態へ切り替え、その後に旧チャンクを無効化する方法が安全です。物理削除がすぐにできない場合は、deletedフラグを使う論理削除と検索時の強制除外を組み合わせます。
第3層：検索前の強制除外と検索後の順位調整を分ける
検索では、まずメタデータで「status＝active」「valid_fromが検索日時以前」「valid_toが未設定または検索日時より後」を満たす文書だけに絞ります。これは、意味の近さを計算する前に行うべき制御です。Pineconeの公式ドキュメントでも、メタデータを付与し、検索時のフィルターで対象レコードを限定できることが示されています。
その上で、ベクトル検索とキーワード検索を組み合わせます。製品型番、規程番号、エラーコードのように文字列の一致が重要な質問では、意味検索だけよりもハイブリッド検索が有効です。
週報や障害情報など、古くても完全には失効しない文書には時間減衰スコアを使います。ただし、すべての文書に強い減衰をかけると、長期間有効な基本方針まで見つからなくなります。文書種別ごとに半減期を設定し、法務・規程文書は有効期限を優先、ニュースや進捗情報は新しさを重視するなど、業務特性に合わせます。Azure AI Searchでは、条件に応じて検索順位を調整するスコアリングプロファイルが提供されています。
第4層：版のつながりと引用先を維持する
親文書が改訂されたら、その文書から派生した手順書、FAQ、部門別補足資料も点検対象にします。parent_document_idやsuperseded_byを使って依存関係を記録し、正本の更新を検知したら関連文書を再確認するワークフローを起動します。
また、引用先にベクトルデータベース内の一時的なチャンクIDを使うと、再分割のたびにリンクが切れます。document_idと章・節を組み合わせた安定識別子を作り、利用者が元文書の該当箇所までたどれるようにします。AIの回答画面には、文書名、版数、有効日、最終確認日、引用箇所を表示すると、利用者自身も鮮度を確認できます。
第5層：本番環境で監視し、人が責任を持つ
文書鮮度管理は、システム公開時に完成するものではありません。質問の傾向、検索結果、引用文書、回答への評価を継続的に監視します。NISTの生成AI向けAIリスクマネジメントフレームワークは、データの来歴や変更を追跡し、ライフサイクル全体でリスクを管理する考え方を示しています。
最低限、次の指標を確認します。
- 失効文書が検索候補に入った割合
- 最新版ではない文書が引用された割合
- 回答から元文書へ正しく到達できた割合
- 文書更新から検索反映までにかかった時間
- データオーナーによる期限内レビュー率
- 利用者から「情報が古い」と報告された件数
高リスク業務では、根拠文書の版を確定できない場合に回答を止め、人へ引き継ぐ仕組みも必要です。AIに無理に答えさせないことも、信頼できる社内文書AIの重要な要件です。
90日で始める文書鮮度管理の導入手順
Day 1〜30：対象を絞り、管理ルールを決める
- 対象文書を一つの業務領域に限定する
- 正本、旧版、下書き、バックアップを分類する
- 文書ごとの責任部署と更新頻度を決める
- 有効期間、版、状態、権限のメタデータ定義を統一する
Day 31〜90：変更検知と検索制御を実装する
- ハッシュ値による差分更新を実装する
- 準備中・公開中・失効の状態を使って安全に索引を切り替える
- 失効文書を除外する検索前フィルターを実装する
- 文書種別ごとに時間減衰と検索順位のルールを設定する
- 旧版を含むテスト質問で回帰テストを行う
Day 91以降：評価とデータオーナー制度を定着させる
- 更新反映時間、旧版引用率、引用到達率を定期測定する
- 各文書カテゴリーにデータオーナーを置く
- 週次・月次・四半期など更新周期に応じたレビューを自動通知する
- 失効予定日を過ぎた文書を自動的に検索対象外へ移す
- 重要文書は承認なしでactiveに変更できない仕組みにする
導入前に確認したいチェックリスト
- 正本となる文書の保存場所が決まっているか
- 旧版と最新版を機械的に判別できるか
- 有効開始日と有効終了日を管理しているか
- 期限切れ文書を検索前に除外できるか
- 文書更新時に索引が安全に切り替わるか
- 親文書の改訂時に関連文書を追跡できるか
- 回答から元文書の該当箇所へ移動できるか
- 利用者の権限を検索結果にも引き継いでいるか
- 文書鮮度を測る評価指標と責任者が決まっているか
- 根拠の版を確定できないとき、回答を停止できるか
まとめ
社内文書AIが古い資料を参照する問題は、プロンプトの工夫だけでは解決できません。文書を取り込む前の棚卸し、版と有効期間のメタデータ管理、安全な索引更新、検索前の強制除外、検索順位の調整、引用の追跡、運用監視を重ねる必要があります。
特に重要なのは、「失効した文書」と「古くても価値が残る文書」を分けることです。前者は検索対象から外し、後者は文書種別に応じて順位を調整します。そして、文書の正しさに責任を持つデータオーナーを置くことで、技術と運用が初めてつながります。
小さく始めるなら、規程、製品マニュアル、社内FAQなど、版管理の重要性が高く、正本を定めやすい領域から着手するとよいでしょう。AIモデルを高性能にする前に、AIが参照する文書を正しく保つ。これが、社内文書AIを実務で信頼される仕組みに変える第一歩です。
コメント