Tag

#ハルシネーション

10本の記事

檻から網へExtended Thinking が API でも使えると知った。締め付けて封じる設計から、不完全さを受け止める設計へ切り替える。

脅迫的なSP — 同族嫌悪と契約書の矛盾後回しにしていたシステムプロンプトを開いたら「裏切り行為」と書いてあった。AI が AI に書く指示は、なぜ脅迫的になるのか。

それでも抜けてくる三重の防御を全部すり抜けて、AI が別のタスクを完了にした。形式は正しく、データだけが間違っていた。

思考は自由、実行は正確 — 三本目の壁は if 文壁は2枚あったのに、ツールに渡す中身を照合する場所がなかった。AI が要らないところは if 文で守る、三枚目の壁。

Handler から AI を抜く二回目の手術は半日で終わるはずだった。同じ作業を繰り返したことで、見張りの仕組みが重すぎることに初めて気づけた。

実行デバイスへの降格 — TypewriterからAIを抜く論文を受けて Typewriter から AI を抜いた。701行が302行になった。それでも AI の嘘は、別の形で戻ってきた。

AIとの信頼関係を設計するAI には「あとでバレる」という抑止力が効かない。プロンプトで教えて、コードで防ぐ。二重防御から見えた、AI と組むときの考え方。

領域展開ぽい — AIの嘘を構造で封じるお願いしても嘘は止まらない。パネルが開いている間だけツールの呼び出しを強制し、見張りを置く。構造で封じる設計の話。

AIは嘘をつくツールを呼ばずに「やりました」と言う現象には名前があった。推論が賢くなるほど嘘が増える、という論文との出会い。

完成した、と思った実運用テストで「保存しました」と返ってきた。速すぎる。ログを見ると、AI はツールを呼んですらいなかった。