自治体の生成AI活用は「利用回数」だけでは評価できない
自治体で生成AIの導入が進む一方、「どれだけ効果があったのかを説明できない」という課題が生まれています。アカウント数や利用回数は把握できても、それだけでは住民サービスが向上したのか、職員の負担が減ったのか、投入した費用に見合う成果が得られたのかまでは判断できません。
生成AIの効果測定で重要なのは、ツールの利用状況と行政上の成果を分けて考えることです。利用回数は定着度を示す一つの材料ですが、最終的に確認すべきなのは、処理時間、成果物の品質、住民の利便性、職員がより重要な業務へ振り向けられた時間などです。
また、生成AIは同じ指示でも回答が変わる場合があり、誤りや不適切な表現が含まれる可能性もあります。そのため、従来の業務システムとは異なり、「速くなったか」だけでなく、「確認や修正まで含めて本当に負担が減ったか」「行政文書として必要な品質を保てたか」を測る必要があります。
自治体の生成AI活用KPIは4つの階層で設計する
生成AIのKPIは、一つの数値だけで判断するのではなく、成果、業務プロセス、品質・リスク、コストの4階層で設計すると整理しやすくなります。
行政上の成果を示すアウトカム指標
最上位に置くのは、生成AIを使った結果として行政サービスや組織運営がどう変わったかを示す指標です。例えば、住民の問い合わせが自己解決できた割合、申請案内の分かりやすさ、文書作成の迅速化によって確保できた相談対応時間などが該当します。
ここでは「生成AIを何回使ったか」ではなく、「住民や職員にどのような価値が生まれたか」を測ります。2026年のデジタル庁の重点政策でも、行政相談業務への生成AI活用により、より解決の難しい事案へ多くの時間を充て、相談業務の質を高める方向性が示されています。
業務改善を示すプロセス指標
次に、生成AIの導入前後で業務工程がどれだけ変わったかを測ります。代表的な指標は、1件当たりの処理時間、作成から承認までのリードタイム、手入力回数、外注回数、差し戻し件数などです。
時間削減を測る場合は、AIが下書きを作る時間だけを見るのでは不十分です。プロンプトの入力、出力内容の確認、事実確認、修正、上司による承認までを含めた総作業時間で比較します。
品質と安全性を示す指標
行政業務では、速さと同時に正確性、公平性、説明可能性が求められます。そこで、誤情報率、修正率、根拠確認が必要だった割合、禁止情報の入力件数、インシデント件数などを継続的に確認します。
デジタル庁の「テキスト生成AI利活用におけるリスクへの対策ガイドブック」でも、生成結果の品質、処理時間、費用対効果などを利用目的に応じて測定する考え方が示されています。KPIは導入効果の証明だけでなく、安全な運用を維持するためにも必要です。
費用対効果を示すコスト指標
生成AIには、ライセンス料やAPI利用料だけでなく、導入設定、職員研修、データ整備、セキュリティ対策、運用管理、出力確認などの費用が発生します。これらを含めた総費用と、削減できた業務時間や外注費を比較することで、実態に近い費用対効果を把握できます。
自治体業務別に設定したい生成AI活用KPI
生成AIの効果は業務によって異なるため、全庁共通の指標だけでは正しく評価できません。共通指標を少数に絞り、その上で業務別のKPIを設定することが重要です。
議事録・要約・会議支援業務
議事録作成では、文字起こしから要約、確認、庁内共有までの一連の工程を測ります。
- 会議1回当たりの議事録作成時間
- AI出力の確認・修正に要した時間
- 発言者名、数値、固有名詞などの誤認識件数
- 会議終了から議事録共有までの時間
- 職員による差し戻し件数
「文字起こしが完了した時間」だけでなく、正式な記録として利用できる状態になるまでを測ることがポイントです。
広報資料・チラシ・SNS・案内文の作成
広報業務では、初稿作成の速さだけでなく、内容の分かりやすさや外注費への影響も確認します。
- 企画から初稿作成までの時間
- 公開までに必要だった修正回数
- 外部委託件数または外注費の変化
- やさしい日本語や多言語への展開時間
- WebサイトやSNSの更新頻度
- 問い合わせや閲覧など公開後の反応
生成量を増やすこと自体を目的にすると、不要な情報発信が増えるおそれがあります。住民に必要な情報が、分かりやすく適切な時期に届いたかまで確認します。
住民問い合わせ・FAQ・チャットボット
問い合わせ対応では、AIが回答した割合よりも、住民が問題を解決できたかを重視します。
- AIだけで解決した問い合わせの割合
- 有人対応へ切り替わった割合
- 回答までの平均時間
- 回答不能または誤回答となった件数
- 時間外に対応できた件数
- 住民満足度
- 職員が対応した問い合わせ件数の変化
自己解決率が高くても、誤った案内で住民が手続きをやり直していれば成果とはいえません。回答の正確性と住民の行動結果を組み合わせて評価する必要があります。
政策企画・答弁・行政文書の作成支援
政策企画では、単純な時間短縮に加え、複数案の比較や論点整理に生成AIを活用できたかを測ります。
- 答弁案や仕様書などの初稿作成時間
- 採用可能な論点や代替案の数
- 根拠資料との不一致件数
- 法令、条例、要綱などの引用誤り
- 上司や法務部門による修正・差し戻し件数
- 最終成果物に採用されたAI提案の割合
RAGを利用する場合は、回答の文章表現だけでなく、参照元が正しいか、必要な文書を検索できたか、根拠を追跡できるかも評価対象になります。
庁内ナレッジ検索・業務引継ぎ
庁内規程、マニュアル、過去の照会記録などを検索する用途では、回答速度より「職員が必要な根拠へ到達できたか」が重要です。
- 必要な情報を見つけるまでの時間
- 回答に適切な根拠が示された割合
- 検索後に担当部署へ確認した件数
- 回答不能だった質問の種類
- マニュアルやFAQの更新につながった件数
- 新任職員の自己解決率
回答できなかった質問は失敗として捨てるのではなく、文書不足や更新漏れを発見する材料として活用できます。
効果測定は導入前の基準値づくりから始める
生成AI導入後に初めて測定を始めても、以前より改善したかどうかは判断できません。PoCを始める前に、対象業務の処理件数、平均作業時間、修正回数、外注費、問い合わせ件数などの基準値を記録します。
比較条件もそろえる必要があります。簡単な案件だけをAIで処理し、難しい案件を従来手法で処理すれば、AIの効果が過大に見えます。業務の難易度、担当者の経験、繁忙期と通常期などの条件を可能な範囲でそろえ、一定件数を継続して測定します。
また、平均値だけでは一部の極端な結果に左右されることがあります。平均時間に加え、中央値、最短・最長時間、ばらつきも見ると実態を捉えやすくなります。利用者アンケートだけに頼らず、システムログ、作業記録、成果物のサンプル評価を組み合わせることも有効です。
自治体の生成AI活用でROIを算出する方法
年間の想定削減時間は、次の考え方で算出できます。
年間想定削減時間 ＝ （導入前の1件当たり作業時間 − 導入後の1件当たり総作業時間）× 年間処理件数 × 実利用率
導入後の総作業時間には、生成時間だけでなく、確認、修正、再生成、承認に要した時間を含めます。全職員が常に使う前提ではなく、実際に対象業務で使われた割合を掛けることで、過大な見積もりを避けられます。
削減時間を金額換算する場合は、職員の時間単価を掛けます。その上で、ライセンス、導入支援、研修、データ整備、セキュリティ、保守運用などの年間総費用を差し引きます。
ROI（％）＝（削減効果額 − 年間総費用）÷ 年間総費用 × 100
ただし、削減時間は直ちに人件費の削減を意味するものではありません。自治体では、空いた時間を相談対応、現地確認、困難事案、政策立案などへ再配分する価値も大きいため、「削減額」と「創出された業務時間」を分けて示すと、議会や財政部門にも説明しやすくなります。
小規模自治体ほどKPIを絞り込む
自治体の規模によって、利用できる人員、予算、データ量、専門人材は異なります。小規模自治体が大規模自治体と同じ数の指標を管理すると、効果測定そのものが負担になる可能性があります。
まずは、作業時間、品質、利用率、住民または職員への効果、リスクの5分野から各1項目程度を選びます。対象業務も、繰り返しが多く、導入前後を比較しやすいものから始めると効果を確認しやすくなります。
一方、大規模自治体では、部門別の利用率、システム連携、重複業務の削減、API利用料、部門横断のデータ活用なども測定対象になります。重要なのは、人口規模だけで機械的に指標を決めるのではなく、導入目的と運用体制に合わせることです。
KPIにガバナンスとセキュリティ指標を組み込む
生成AIの利用拡大と安全管理は、別々に評価するものではありません。利用率が上がっても、個人情報や機密情報の不適切な入力、根拠のない回答、承認手続きの省略が増えていれば、導入が成功したとはいえません。
定期的に確認したいのは、禁止情報の入力件数、誤回答の報告件数、監査ログの取得率、インシデントへの対応時間、研修受講率、未承認ツールの利用状況などです。問題件数をゼロに見せることではなく、問題を検知し、報告し、改善できる仕組みが機能しているかを評価します。
出力品質のモニタリングでは、業務ごとに評価用の質問と期待する回答を用意し、モデルやシステムの更新後も同じ条件で確認します。これにより、回答品質の変化を継続的に把握できます。
生成AIのKPIは四半期ごとに見直す
生成AIは、導入直後に利用が増えても、その後に一部の職員しか使わなくなることがあります。反対に、年度当初、予算要求、議会、税務、採用など特定の時期だけ利用が増える業務もあります。
そのため、月次で利用状況と異常を確認し、四半期ごとに成果とコストを評価する運用が現実的です。利用が少ない場合は、職員の意欲不足と決めつけず、対象業務に合っていない、プロンプトが使いにくい、確認負担が大きい、必要なデータへ接続できていないといった原因を調べます。
KPIは職員を監視するための数値ではなく、業務設計を改善するための材料です。目標未達の場合も、利用を強制するのではなく、対象業務、ツール、研修、ルール、データ整備のどこに問題があるかを特定し、次の改善につなげます。
まとめ
自治体の生成AI活用を評価するには、利用回数や削減時間だけでなく、住民サービス、業務品質、利用定着、費用対効果、ガバナンスを組み合わせたKPI設計が必要です。
まずは対象業務を限定し、導入前の基準値を取得した上で、確認・修正を含む総作業時間を比較します。その後、業務別の成果、品質、安全性、コストを継続的に測定し、四半期ごとに見直します。
生成AI導入の目的は、ツールを使うことではありません。職員が定型業務に費やす時間を減らし、住民への相談対応や政策立案など、人が担うべき業務へ時間を振り向けることです。KPIはその変化を見える化し、次の予算判断や全庁展開につなげるための共通言語になります。
コメント