社内AIの正答率を50%→80%へ｜生成AIの精度を左右する「ナレッジ構造化」の実践

※この記事について
本記事は、株式会社Thingsが製造業の企画・技術・DX担当者向けに配信しているメルマガの配信内容を、ブログ用に再構成したものです。Thingsでは、白書や各種調査などの一次情報を、製造業の現場目線で読み解く解説を、毎回無料でお届けしています。(メルマガご登録はこちらから）

はじめに

「全社でAIチャットボットを導入したが、結局は簡単な質問にしか答えられず、複雑な対応は人間がカバーしている。むしろAIの世話で業務が増えた気がする」生成AIを社内導入した多くの企業が、このような同じ壁に突き当たっています。
その原因は、AIの「脳」であるモデルの性能不足だと考えられがちです。しかし実際の主因は別にあります。AIが読み込むナレッジ（社内データ）の質と、精度を評価する仕組みの欠如です。裏を返せば、モデルを変えなくても、データを整備し、評価を仕組み化するだけで精度は大きく改善します。

本記事では、社内問い合わせ用AIの正答率を約50%から80%へ引き上げた企業事例をもとに、①評価基準の設計、②ベンチマークによるPDCA、③ナレッジの構造化という3ステップを解説し、製造業のナレッジ管理へ落とし込む実践手順まで整理します。

なぜ社内AIは「正答率50%の壁」にぶつかるのか

結論から言えば、精度が伸びない多くのケースはモデルではなくデータ側に原因があります。 Slack上で動く社内問い合わせAIを導入したある企業（以下、A社）でも、IT領域の質問に対する正答率は当初50%前後にとどまっていました。AIが正しい回答を生成できないため、結局ヘルプデスク担当者のリソースが割かれ、本来注力すべき付加価値の高い業務に集中できないという皮肉な状況に陥っていたのです。
A社が「悪い回答」を分析した結果、原因は次の5つに集約されました。

5つのうち4つは「どのデータを・どう整えて・どう検索させるか」というデータマネジメントの問題です。次の一手は、モデル選定に投資する前に、まず自社ナレッジの質と評価の仕組みを見直すことです。

【ステップ1】「評価基準」を1軸に絞る

評価軸は多いほど良いわけではなく、「絶対に妥協できない1軸」に絞るほど改善サイクルは速く回ります。
改善の前に、まず「何をもって“合格”とするか」を定義する必要があります。A社が掲げた合格の絶対条件は、「AIの回答だけで、ユーザーが問題を自己解決できること」でした。
学びになるのは、最初の評価設計が失敗したという事実です。A社は当初、3つの軸に点数を付けて合計点で合否を決める方式を試しました。

合格回答を逆引きで分析すると、ユーザーの自己解決に直結していたのは常に「正確性」の高い回答でした。どれだけ網羅的でわかりやすくても、正確性が低ければ意味がないのです。この気づきから、評価基準は「正確性のみ・5段階・3点以上で合格」というシンプルな形に集約されました。

ここから得られる教訓は3つです。

• 評価軸は多いほど良いわけではない。多面的な評価は軸同士が補完し合い、本当に重要な弱点を見逃す危険がある
• 「絶対に妥協できない軸」を1つに絞るほど、施策の効果を即座に判定できる
• 業務利用のAIでは、「読みやすいが間違っている回答」は「そっけないが正しい回答」より有害

さらにA社は、人によるダブルチェックのブレをなくすため、合格の判断基準を明文化しました（例：案内すべき正しい申請方法・連絡先が明確に伝わっている／トラブルシューティングでは一般的な対応手順が網羅されている）。評価基準を言語化することで、AI評価だけでなく評価者間のばらつきも解消できます。

【ステップ2】100件のテストケースでPDCAを高速化

「なんとなく良くなった気がする」では改善はできません。自社の実問い合わせから網羅的なテストセットを作ることで、施策の効果が数字で見えるようになります。
A社は、改善前後で精度を比較できる「物差し」として、次の手順でベンチマークを構築しました。

1. 直近1ヶ月の問い合わせから「操作質問」に該当するものを抽出
2. PC操作・アカウント管理・SaaS利用・内製システムなど、全カテゴリを網羅するようにピックアップ
3. 約100件のベンチマークセットを構築

そして施策を打つたびに、次の5項目を記録して比較しました。

次の一手は、自社の代表的な問い合わせ100件をベンチマーク化すること。 これがあって初めて、施策の良し悪しを数字で語れるようになります。

【ステップ3】「悪い回答を直す」のではなく「良い回答を横展開する」

A社のアプローチで最も実践的なのは、ネガティブ分析（悪い回答の原因究明）とポジティブ分析（良い回答の傾向分析）を両方行い、特にポジティブ分析から決定打を得た点です。

とりわけ重要なのが共通点③の「Q&A形式の一問一答より、体系的に構造化されたナレッジの方が高精度」という発見です。これはRAG（検索拡張生成＝AIが社内ナレッジを検索して回答を組み立てる仕組み）の挙動を踏まえると、理由がはっきりします。

• Q&A形式は「文脈」が切れている：一問一答のページは、その質問への答えだけで完結しています。そのため質問文が想定と少しずれるとうまくヒットせず、前提条件や例外・関連手順ともつながりません。AIは断片を1枚拾うだけで、周辺情報を補って推論することができません。
• 構造化ナレッジは「関連」でつながっている：章立てされ、前提→手順→原因→対処→関連項目という順序で整理されたドキュメントなら、AIは複数のセクションをまたいで情報を拾い、組み合わせて回答できます。これが良い回答の共通点②で挙げた「AIが論理的推論で複数情報を組み合わせて回答できる」状態です。

つまり精度を左右するのは情報の量だけではなく、情報同士のつながり方（構造）だということです。「Q&A形式は人間には便利だが、AIには情報が断片的すぎて理解しにくい」この発見は、多くの企業のナレッジ整備方針を根本から見直す価値があります。
これらの気づきをもとに、A社は良い回答が出ている領域のナレッジ構造をテンプレート化し、他のナレッジもそれに沿って書き直しました。ここでのポイントは、個々の回答を1件ずつ手直ししたのではなく、良いナレッジが持っていた書き方の型そのものを標準化し、母集団ごと底上げしたことです。悪い回答を1件ずつ潰すより、良い型に沿って書き直す方が、少ない工数で広い範囲の精度が一気に上がります。ステップ3の教訓「悪いものを直すより、良いものを横展開する」の実体は、この型の標準化にあります。

実務に落とすと、AIが情報を拾いやすい構造化ナレッジは、たとえば次のような要素で整理できます。

次の一手は、まず自社で「良い回答が出ている領域」を1つ特定し、そのナレッジの型を言語化すること。 それを標準テンプレートとして他ナレッジへ広げるのが、最短で全体の精度を底上げする道筋です。

80%達成までに打った2つの施策

上記の分析をもとに、A社が実際に打った施策は次の2つです。
施策1：学習対象の「断捨離」 社内ナレッジ基盤（Confluence）を丸ごと学習させるのではなく、学習対象のスペースを精査して削減。たとえば「PCのアプリが起動しない」という問い合わせに対し、改善前はアンインストール／再インストール手順を案内できませんでしたが、学習対象を整理した後は適切な手順を提示できるようになりました。ノイズが減ることで、AIは「本当に見るべき情報」に集中できるようになったのです。
施策2：「良い書き方テンプレート」によるナレッジ修正 ポジティブ分析で見つけた良いナレッジの構造をテンプレート化し、それに沿って関連ナレッジを書き直し。
結果、50%前後だった正答率は80%に向上し、ユーザーからも体験改善の声が寄せられたといいます。AI導入の成否は、システムやモデルの選定よりも「自社のナレッジをいかにクリーンに、かつ構造化して維持できるか」という、極めて本質的なデータマネジメントにかかっています。これがA社の事例が示す核心です。

製造業のナレッジ管理に置き換えると

この知見は、設計・品質・生産技術のナレッジを大量に抱える製造業にこそ当てはまります。実践への落とし込みで重要なのは次の4点です。

• 構造化して保持する：設計ナレッジ・不具合事例・トラブルシューティング手順は、Q&A的な断片ではなく、章立てされた構造データとして保持する
• 意図的に除外する：古い設計基準や廃番製品の特殊対応などは、AIの学習対象から意図的に除外する（ノイズの排除）
• 測る仕組みを持つ：精度を測る仕組みがなければ改善は始まらない。自社の代表的な技術問い合わせ100件をベンチマーク化することから始める
• 良い型を横展開する：悪い事例の改善より、優秀な技術者が書いたナレッジを「テンプレート化して横展開」する方が早く効果が出る

こうして構造化した社内ナレッジを、生成AIの回答の根拠として使う仕組みがRAG（検索拡張生成）です。RAG導入のポイントは別記事『社内RAGとは？』で解説しています。
ここで多くの製造現場が直面するのが、「AIに仕事をさせるために、人間がデータ整理に追われる」という矛盾です。たとえば過去の不具合報告書や設計変更履歴をAIが読める形にしようとすると、設計者が本来の設計業務を止めて、散在するファイルを探し、書式を揃え、どの製品・部品・工程に紐づくのかをタグ付けするといった転記作業に時間を取られます。生産性を上げるために導入したはずのAIが、かえって手作業を増やしているわけです。
この矛盾は、ナレッジ整備を「AI導入時の一度きりのプロジェクト」や「専任担当者の仕事」として切り出す限り、必ず再発します。一度きれいに整理しても、その後の新製品開発や設計変更のたびに、新しいナレッジが別々の場所・別々の書式で生まれ、放っておけばまた散在していくからです。専任担当を置いても現場の更新スピードには追いつけず、情報はすぐに陳腐化します。ステップ1〜3で見た「学習対象の精査」も「テンプレートの横展開」も、一過性で終われば数ヶ月後には元通りになりかねません。不具合の知見が蓄積されず使い捨てになる問題は、FMEAの現場でも起きています。原因と仕組み化の方法は『FMEAの形骸化はなぜ起きるのか』で解説しています。

解消の鍵は、属人的な努力でも一度きりの整理でもなく、日々の業務フローそのものに構造化を組み込む「仕組み化」です。具体的には、設計者が普段どおり設計・変更・レビューを行うだけで、その成果物が生まれた時点で、製品・部品・不具合・対策といった意味のあるつながりを持った構造データとして、一元的に蓄積・更新されていく状態を指します。ナレッジ整備を後工程の別作業としてではなく日常業務の副産物と捉えること。これが、A社のような改善を一過性で終わらせず、クリーンなデータ基盤として積み上げ続けるための条件です。

よくある質問（FAQ）

Q.生成AIの回答の正確性を上げるには？

A．モデルを乗り換えるより、AIが参照するナレッジの質と構造を整えるほうが効果が大きくなります。本記事の事例では、評価基準を1軸に絞り、テストケースで測り、良い回答の型を横展開することで、正答率を50%から80%に引き上げました。

Q.AIの正答率はどう測ればよいですか？

A．実際によく来る質問とその正解を100件ほど用意し、毎回同じセットで採点します。採点の基準を人によって変えないことが、改善の効果を比べる前提です。

Q.RAGを入れれば正確になりますか？

A．RAGは社内文書を参照させる仕組みで、参照する文書が古い・重複している・構造がないといった状態では、精度は上がりません。文書の整備と対で進める必要があります。

Q.ナレッジ整備は誰がやるべきですか？

A．専任担当を置くだけでは、現場の更新スピードに追いつけません。設計者が普段の業務をするだけで構造化されたナレッジがたまっていくように、業務の流れに組み込むのが現実的です。

まとめ

社内AIが「50%の壁」を超えられない主因は、モデルではなくナレッジの質と評価の仕組みの欠如にあります。A社の事例が示したのは、①評価基準を「正確性」1軸に絞る、②100件のベンチマークでPDCAを回す、③良い回答を生む構造化ナレッジをテンプレート化して横展開する、という地道な3ステップでした。
製造業においても、設計・品質・トラブルシューティングのナレッジを断片ではなく構造データとして維持し、古い情報を意図的に除外し、良い型を横展開できる「仕組み」を持てるかどうかが、AI活用の成否を分けます。属人的な努力に頼らず、業務フローの中でデータが自然に構造化される基盤づくりから始めてみてください。

メルマガのご案内

本記事のような 製造業＆AI関連のニュースやトレンドの解説や、白書・調査データの現場目線での読み解きを、株式会社Thingsは製造業の担当者向けにメルマガとして定期配信しています。
過去の記事はこちら▼

【情報通信白書2026】製造業の生成AI活用はなぜ「効かない」のか

Thingsのメルマガは、このような方におすすめです。

• 製造業のDX・生成AI活用を推進する立場にある
• 白書や業界調査を「自社の現場ではどう読むべきか」まで落とし込んで知りたい
• ものづくりの現場に効くナレッジ活用・技術文書管理のトレンドを追いたい

下記フォームから無料でご登録できます。ご登録いただくと、次回以降のトレンド解説を含む最新コンテンツをいち早くお届けします。

発行元（株式会社Things）について

本メルマガを配信する株式会社Thingsは、製造業向けの製品知識管理プラットフォーム PRISM を開発しています。
「自社のナレッジを、生成AIが読める形にする」という本記事のテーマは、私たちが日々向き合っている課題そのものです。だからこそ、こうしたトレンドを現場目線で解説しています。
PRISMの詳細にご関心のある方は下記フォームよりサービス資料をダウンロードできますので、あわせてご覧ください。