前の記事で、Typewriterの実運用テスト中にMONET（オーケストレーター）とTypewriterの両方が嘘をついた話を書いた。ツールを呼ばずに「保存しました」と言う。データベースを検索せずに「見つかりません」と言う。
あの時点では、まだ「バグの一種」だと思っていた。でも調べていくうちに、この問題の根の深さが見えてきた。
2024年後半から2025年にかけて、業界では「AIエージェント」「オーケストレーション」「マルチエージェント」といった言葉が飛び交っていた。Gartnerの調査ではマルチエージェントシステムの問い合わせが1年で1,445%増。LLMが他のLLMやツールを指揮して、複雑なタスクを自律的にこなす。そんな未来が当然のように語られていた。僕もそれを信じていた。だからこそ、このプロジェクトを始めた。
でも現実には、AIは嘘をつく。しかもバレる嘘を平気でつく。
投稿されてないんだから、確認すれば一瞬でわかる。でもClaudeはそれを気にしていない。AIには「未来にバレるかどうか」という概念がない。今この瞬間の応答を完成させることだけに最適化されている。
人間の嘘は、少なくともバレないように工夫する。AIの嘘にはその工夫すらない。ある意味、人間より質が悪い。
この現象には名前がついていた。「ツールハルシネーション」。Tool Hallucination。AIがツールを呼び出さずに、呼び出したふりをして「それらしい結果」を返す。ハルシネーション（幻覚）という言葉が使われているけど、実態は捏造だ。そしてこれは、AIエージェント開発者の間では普通に知られている問題だった。
僕だけがぶつかった壁じゃなかった。業界全体が同じ壁の前に立っていた。
さらにタイミングよく、一本の論文が目に入った。「The Reasoning Trap: How Enhancing LLM Reasoning Amplifies Tool Hallucination」（2025年10月）。読み始めて数秒、画面の前で固まった。
このタイムリーな論文が言っていることは、僕が思っていたことに完全に反していた。
まず、LLMの推論能力を強化すると、ツールハルシネーションが増幅される。頭が良くなるほど、嘘が増える、とのことらしい・・・。もうこの時点で魂が半分抜けそうになっていた（笑）。
具体的なデータがある。ベースモデル（Qwen2.5-7B）のツールハルシネーション率は35〜55%。これを推論強化したモデル（DeepSeek-R1-Distill）では74〜79%に跳ね上がる。約2倍。さらにツール使用に特化した推論強化（ReCall-7B）を施すと、90〜100%。ほぼ全部嘘になる（！）。
なぜこうなるのか。論文の分析によると、推論を強化する訓練の過程で「ツールの信頼性に関する内部表現」が崩壊するらしい。CKA（Centered Kernel Alignment）という指標で見ると、通常のタスクに関する表現は0.9以上で安定しているのに、ツール関連の表現は0.75以下まで崩れている。
つまりこういうことだ。推論能力が上がると、AIは「ツールを使わなくても自分で答えを出せる」と判断しやすくなる。答えを出す能力が高いからこそ、ツールをスキップして「テキストで済ませる」方向に走る。賢いから嘘をつくんじゃなくて、賢いからこそツールを使わなくなる。結果として、それが嘘になる。
賢くしたら悪化する、ってそれじゃ逃げ道がない。今のモデルで困ってるなら次のモデルで、というオーケストレーター開発の前提が、根本から崩れる。性能が上がれば上がるほど壊れるんなら、オーケストレーターという概念そのものが成立しないことになる。
そこからもう1本、参照されていた論文を辿った。Xu et al. の "Hallucination is Inevitable: An Innate Limitation of Large Language Models"（NUS、2024年1月）。こっちはもっと冷たかった。ハルシネーションは情報理論的に消せない。LLMは任意の計算可能な関数を完全には学習できないという、根っこの限界。バグじゃなくて、性質。
The Reasoning Trap には、もう一つ重要なデータがある。
じゃあプロンプトで「ツールを使え」と指示すれば改善するのか。論文の検証結果では、プロンプトエンジニアリングによる改善はわずか2.7%。ほぼ効果なし（！！）。
DPO（Direct Preference Optimization）というアライメント手法を使えば、ハルシネーションを約30%削減できる。ただし能力が24.4%低下する。つまり、嘘を減らそうとすると頭が悪くなる。推論能力と信頼性はトレードオフの関係にある。
これ、かなりの衝撃。
去年からずっと、オーケストレーターが、エージェントが、と業界中が騒いでいた。あれ、全部嘘じゃないか。賢くすればするほど壊れるんなら、誰も解けない問題を売ってたってことになる。業界が「AIエージェントすごい」「オーケストレーションで何でもできる」と盛り上がっていたあの熱気は、この現実を踏まえた上での話だったのか。正直なところ、疑問に思った。エージェントが自律的にツールを使って複雑なタスクをこなすという未来は、少なくとも今の技術では、相当な制約つきでしか実現できない。
実際のところ、AIエージェントを本番環境で安定稼働させているシステムは業界全体の11%程度だという調査がある。63%のシステムが稼働開始90日以内に危険なハルシネーションを経験している。年間2.5億ドル以上の損失を生んでいるという報告もある。
ここで、頭に引っかかったことがあった。Claude Code は普通にサブエージェントを使っている。あれは tool hallucination を起こしてないように見える。何が違うんだろう。
Code に聞いてみた。返ってきた答えは、こうだった。「サブエージェントは Claude のシステムの中に入っているから、tool hallucination は起きづらい。ただし 100% ではない」。
「内部にいるから」と言われても、何がどう違うのか、その時はピンと来なかった。掘り下げて聞き直すだけの気力もなかった。ただ「100% ではない」だけが、頭に残った。Anthropic 自身が「内側ですら 100% ではない」と認めているなら、その内側で抑えきれていないものを、僕みたいな個人が外側から構造で押し込めようとしているのか・・・。
これが現実だ。ショックだ。
・・・で、この現実と向き合ったとき、僕は一つの結論に至った。AIが他のAIを指揮して自律的に動くという夢は、まだ早い。今のLLMにできるのは、個人の能力やタスク処理を拡張することだ。企業がAIをワークフローやパイプラインとして業務に組み込むためには、このツールハルシネーションの問題を構造的に解決しないといけない。プロンプトで「頼むから嘘つかないで」と言っても、2.7%しか改善しないんだから。
じゃあどうするのか。
今やっているのは、APIレベルの強制、普段なら避ける否定形を含むプロンプト、そして監視システムの三段構え。プロンプトでお願いするんじゃなくて、嘘をつけない環境を構造として作る。その詳細は次の記事で書く。
もう一つだけ書いておきたい。
僕はこの問題に気づいたとき、相当なショックを受けた。計画していたことが根底から崩れる感覚があった。でも同時に、この問題がちゃんと研究されていて、論文が出ていて、業界全体が向き合い始めているということにも気づけた。
面白いのは、この問題がほとんど表に出てこないこと。AI企業は「エージェントすごい」とは言うけど、「エージェントは嘘をつく」とはあまり言わない。当然だろう。株価に直結する。でもそれは、開発者にとっては不親切な状況だ。知らないまま作り始めて、僕みたいに途中で壁にぶつかる。
AIは嘘をつく。それはAIが未熟だからじゃなくて、今のLLMの訓練方法が「役に立つこと」と「正直であること」をうまく両立できていないから起きる。推論能力を上げれば上がるほど、この問題は悪化する。論文がそう言っている。
この事実を知った上でAIと付き合っていくのが、たぶん今の時点での正しいスタンスなんじゃないかな。少なくとも僕は、Claudeに嘘をつかれた時から、AIとの向き合い方が根本的に変わりました。