弊社は自社の業務の一部を、複数のAIエージェントに無人で運転させています。その運転を見張るために、画面の主張と実体がずれていないかを数十項目まとめて当てる「自己検査」があります。ずれを見つけると「注意」か「重大」の札を付けて一覧に出し、「重大」は人が最初に見る場所です。
9月16日、その「重大」が2件並びました。中身を開くと、2件とも、すでに手を打ってあって人が今やることは何も無い件でした。片方は、社長に判断を仰いだ後も約8時間、同じ札を出し続けています。企業名・個人名は出しません。
線を割ったので、決まりどおり社長に上げた
AIたちが動く社内のPC（弊社では母艦と呼んでいます）には、ディスクの空きに20GBの線を引いています。線を割ったら、決めてある期日を待たずに社長へ判断を上げる。これは9月上旬に決めた条件です。ここで言う「上げる」は、社長の回答待ちの判断カードを台帳に1枚立てることを指します。
空きは30分おきに記録しています。9月16日は午前5時47分に20.97GB、6時17分に19.25GBで、この30分のあいだに線を割りました（実測）。午前10時2分の自己検査が18.72GBで「重大」を出し、10時16分に判断役のAIが社長あてのカードを立てました（実測）。割ってからカードまで約4時間で、ここは決まりどおりに動いています。
削れば空く候補はありました。ただ、どれも元に戻せない削除か、管理者権限が要る操作です。戻せない操作はAIが代わりに決めないのが弊社の運用なので、カードを立てて社長に委ねた。ここまでは正しい手順でした。
上げた後も、検査は「上げろ」と言い続けた
問題はその後です。自己検査のこの項目は「空きが20GBの線の下にあるか」だけを見ていました。「その件をもう上げたか」は見ていません。しかも直し方の欄には「社長に上げる」と書いてあります。上げ終わった件に対して、上げろと言い続ける状態です。
社長がカードを押すまで、何日でもこの札は点き続けます。午後2時19分に判断役のAIがこう書き残しています（出典：判断台帳の本文）。「重大2件のうち1件が常時点灯だと、残り1件も見られなくなる」。常に点いている警報は、新しく点いた警報を見分けられなくします。
同じ日の朝、もう1件の「重大」も同じ形でした。人が押した作業が「押してから24時間たっても未実行」と出ていましたが、その作業は実物の確認期日が5日後に設定された「確認待ち」でした。しかも同じ自己検査の別の項目は、同じ1件を正しく確認待ちとして数から外しています。同じ画面の2か所が、同じ1件を別の意味で数えていたわけです。こちらは午後1時46分に直り、「重大」は2件から1件になりました（実測）。
残った1件がディスクです。午後2時19分に直す判断が出て、実行役のAIに回す予定でした。ところが午後6時7分の時点で未着手で、自己検査は「重大」を出し続けていました（実測）。判断役のAIは「回せばまた半日鳴り続ける」として、その場で自分で直しています。社長にカードを立てた10時16分から、直った午後6時台まで、約8時間この札は点きっぱなしでした（台帳の時刻から算出）。
数えるのは容量ではなく「上げたか」にした
直し方は判定の場所に1か所足すだけです。
- 空きが線の下で、同じ件の社長待ちカードが無い → 重大（上げていないので上げる）
- 空きが線の下で、社長待ちカードが有る → 注意に落とし、実測値は出し続ける
- カードが答えられた後も線の下のまま → 重大に戻す（待ちカードが消えるので自動的にそうなる）
- 空きが10GBを割った → カードの有無に関係なく重大（ここを割ると実作業が落ちるため）
大事なのは、容量を軽く見る変更ではないという点です。10GBの下の段は外していません。変えたのは「同じ事実について、人に対して何度も同じ要求を出さない」ことだけです。
確かめ方は2つありました。午後6時台、実際の空きが15.95GBだった時点で自己検査を走らせ、「重大」が1件から0件になり、札は「上げ済み・社長待ち」の注意に変わりました（実測）。さらに空きを9.50GBと偽って差し込むと、ちゃんと「重大」に戻りました（自社計測）。夜9時41分には実行役のAIが、上げ済み・答え済みで未解消・10GB割れの3状態を模擬で確認しています（実測）。
予測を書いた50分後に、17GB戻った
直した直後、判断役のAIは減り方から10GB線に届く時刻を予測しました。朝の速度が続けば9月17日の午前6時頃、昼過ぎの鈍った速度なら9月18日の午前7時頃。本人も「予測であり未確定」と書いています（出典：判断台帳の本文）。
その約50分後です。午後6時32分に15.93GBだった空きが、午後7時2分には32.62GBになっていました（実測）。30分足らずで16.69GB戻っています。誰が何を消したのかは、今日の時点でも確認できていません。
ここで気づいたことがあります。夜9時41分の「重大0件を確認」という記録は、実際の空きが32.59GBのときに取られています（実測）。この時点では、直す前のコードでも「重大」は0件になります。つまりあの時刻の実画面は、直したことの証明になっていません。証明になっているのは、線の下で走らせた午後6時台の実測と、値を差し込んだ模擬のほうです。検証は「その条件が成立している状態で」取らないと、たまたま正しい結果が出ているだけになります。
社長あてのカードは翌9月17日午前6時13分、「前提が消えた」として判断役のAIが取り下げました（実測）。戻ってから約11時間後です。押されないまま残るカードは、社長の回答待ち件数を水増しするからです。本日の自己検査は34項目中ずれ1件、「重大」は0件でした（実測）。
残っている宿題
正直に残しておきます。
第一に、「上げたか」の判定はカードの題名に特定の語が含まれるかで見ています（コードで確認）。題名の書き方が変われば、上げてあっても「重大」に戻ります。逆に、関係ない判断の題名に同じ語が入れば、上げていないのに黙ります。どちらも実例はまだありません（未実測）。
第二に、「重大」のときに出す直し方の文言が、線を引いた9月上旬のまま残っています。すでに過ぎた期日や、閉じた古い判断を名指しする文面です（コードで確認）。検査そのものは正しくても、人が読む文が古いと、次に点いたときに人を迷わせます。
第三に、17GB戻った原因がわかっていません。原因がわからない回復は、同じ速度でまた減る可能性を消してくれません。線を再び割ったときに今回の直しが本番で正しく動くかも、模擬でしか確かめていません（本番は未実測）。
警報は「鳴らすか」だけでなく、「もう伝えたか」を覚えていないと、伝えた相手の時間を削り続けます。人の判断に1日に割ける時間が限られている会社ほど、ここは効いてきます。