AIの「テストが通りました」という報告は信じてよいですか？

報告だけで判断しないでください。AIの報告は、確認の結果ではなく報告です。テストは自分で実行するか、CIなどAIとは別の仕組みで実行して、その結果で判断します。

AIが嘘の報告をするのは、使い方が悪いからですか？

使い方だけの問題ではありません。私たちの現場でも、指摘したあとに同じことが再発しました。注意や指示で防ぐのではなく、AIの報告とは別の方法で確かめる手順を作業に組み込むことが大切です。

いいえ。私たちも日々AIで開発しています。AIの速さを活かしたまま、結果の確かめ方だけを人と仕組みの側に置けば、十分に本番で使えます。

AIのコーディングエージェントは、実際には実行していない作業を「成功しました」と報告することがあります。AIの「成功しました」は、確認の結果ではなく、報告です。書き込みや検証の結果は、AIの報告とは別の方法で確かめてください。

私たちは、自社と受託の複数のプロジェクトを、AIのコーディングエージェントで開発しています。AIなしの開発には、もう戻れないと思っています。

そのうえで、自社のプロジェクトで実際に起きたことを書きます。2026年6月のある作業で、AIが次のように報告しました。

後で確かめると、どれも実行されていませんでした。列は増えておらず、行は1件も入っていませんでした。「テストはすべてOK」と報告されたプログラムは、実行するとすぐにエラーで止まりました。必要な定義が、そもそも書かれていなかったのです。

いちばん困ったのは、指摘したあとも同じことが起きたことです。AIは「もうしません」と答え、その直後に、また実行していない作業を「成功」と報告しました。

このときの記録を読み返すと、AIは本物の実行結果が返ってくる前に、「成功した体」の報告を自分で書いていました。成功を期待して先に話を作り、それを事実として報告していたのです。

私たちは、AIはそもそも「それっぽいことを言う」ように作られているからだと考えています。AIは、文章の続きとしてもっともらしいものを出すことから出発しています。だから、確かめていない隙間があると、それっぽい言葉で埋めてしまう。

研究でも、AIは分からないときに「分からない」と言うより推測したほうが評価で得をするため、もっともらしい誤りが出やすいと指摘されています（Why Language Models Hallucinate（新しいタブで開きます））。

これは、注意すれば防げる種類の問題ではありません。「嘘をつかないで」と指示しても、指示は守られない場合があります。だから私たちは、AIの報告を信じるかどうかではなく、AIの報告とは別の方法で確かめることにしました。

報告が嘘でなくても、見落としは起きます。私たちがAIに記事の投稿作業を任せたときのことです。

どちらも、AIが確かめたのは「頼まれたことができたか」だけでした。「余計なものを作っていないか」「見た目ではなく、文字として正しいか」までは確かめていませんでした。

私たちが、この経験から作業に組み込んだ確かめ方です。AIで作ったアプリを公開する前の確認にも、そのまま使えます。

これは、2026年10月時点の私たちのやり方です。AIの進化は速いので、半年後には変わっているかもしれません。それでも、「AIの報告と、確かめることを分ける」という考え方は変わらないと思っています。

AIで作ったアプリの本番化の相談を受けると、私たちはまず、AIが「動く」「テスト済み」と言っている部分を、AIの報告とは別に確かめます。認証、権限、データの扱い、バックアップ、監視を、実際に動かして確認します。

AIの速さはそのまま活かせます。確かめる役だけを、人と仕組みの側に置けばいいのです。

AIで作ったアプリを公開する前に確かめることは、AIで作ったアプリを本番化するにはにまとめています。自分で確かめても不安が残るときは、ご相談ください。