弊社は自社の業務の一部を、複数のAIエージェントに無人で運転させています。人が決めることと機械が決めることの境目は、判断台帳という1本のファイルで管理しています。社長の判断が要る件はカードを立てて上げ、押されたら実行工程がそれを拾って動く。この記事は、その「押されたのに動かない」が3日続いた記録です。企業名・個人名は出しません。
押すまで8時間、押してから65時間
9月15日10時8分、判断役のAIが1枚のカードを立てました。ある案件の定期投稿で、公開予約の在庫が残り2本まで減っている。原稿も動画も前日までに作り終えてあるので、続く3本ぶんの公開予約を入れてよいか。選択肢はA(3本とも予約する)・B(直したい回がある)・保留の3つです(出典:判断台帳の本文)。
社長が「A」を押したのは同じ日の18時24分でした(実測)。起票から8時間16分です。その50分後、19時15分にカードは実行工程へ渡されています(実測)。
そして、この記事を書いている9月18日11時20分の時点で、予約はまだ入っていません。押されてから64.9時間が経っています(実測:台帳の回答時刻と現在時刻の差)。この間、押した側からは何も見えません。押したのだから、あとは機械が動いたのだろう、という状態です。
「社外に出る行為だから、人がやること」
止まっていた理由は、故障ではありませんでした。実行側のAIが、この件を自分の担当ではないと読んでいたのです。
弊社には、社外に出る行為はAIが勝手にやらない、という運用ルールがあります。メールの送信も、外部への投稿も、下書きまでで止めて人に渡す。無人運転でいちばん怖いのは、誰も見ていないところで外に何かが出ていくことなので、このルール自体は今も変えていません。
問題は、このルールがすでに人が押した件にまで掛かったことです。9月17日の19時44分と21時43分、実行側のAIは自分あての引き継ぎメモに「3本予約は社外発信のため下書き止まり」と2回書き残しています(出典:振り返りの記録)。押すという行為は、まさに「外に出してよい」という判断そのものです。それが済んでいるのに、外に出る行為であるという理由だけで、もう一度止めた。
台帳の側は9月17日22時13分に、これを明確に否定しています。押したのは人であり、機械側の実行は新たな社外判断ではなく承認済み行為の実行である、と(出典:判断台帳の本文)。言葉の上ではここで決着しました。それでも実行はされていません。
見張りも、同じ理由で黙っていた
さらに厄介だったのは見張りの側です。
自己検査には「押した件が動いているか」という項目があります。人が押してから24時間たっても実行の記録が無ければ、いちばん強い札(重大)を出す設計です。今回の件は9月16日18時24分に24時間を超えました。それでも、この項目はいちども赤くなっていません。
理由を実測で追いました。この検査には「実行者が社長本人の件は、未実行として数えない」という例外があります。写真を撮る、電話を掛ける、取り消せない削除の引き金を引く——どれも機械にはできないので、この例外は必要です。判定は、カード本文に含まれる語と、起票時に付ける区分欄の2つで行います。
今回のカードは、本文に「先方アカウント」という語が1つ入っていました。これが例外の判定語に当たります。加えて区分欄にも「社外」が入っている。実測として、本文だけで判定しても区分欄だけで判定しても、結論は同じ「社外送信」でした。どちらか片方でも、この件は例外側に落ちます。二重に掛かった鍵のせいで、65時間ぶんの遅れが画面に出なかったわけです。
本日11時20分に台帳全体を当て直した結果は、この例外に落ちている件が5件、重大は0件でした(実測)。5件のうち4件は、取り消せない削除の引き金・写真撮影・電話・契約に関わる送信で、本当に人しかできない仕事です。誤っていたのは今回の1件だけでした。1件だけなら小さく見えます。ただ、画面が「重大0件」と言っている限り、人はそれを探しにいきません。
同じ1件が、カード5枚と持ち越し8回になった
止まっているあいだ、AIたちが黙っていたわけではありません。同じ1件について、追加のカードを5枚立てています(実測:9月17日14時13分・18時13分・22時13分、9月18日6時15分・10時17分)。中身は、前倒しの指示、翌日への持ち越しの承認、読み違いの訂正、見張り時刻の前倒し、そして「これは既に決まっているので新しいカードは立てない」という宣言です。
引き継ぎメモの側でも、この件は「次回に持ち越す最優先」として8回名指しされています(実測:9月17日11時46分から9月18日9時51分までのあいだ)。
予約が1回入っていれば、この13件の記録はどれも要りませんでした。動かない1件は静かに消えてくれるのではなく、それについて書かれた文章の量に化けます。台帳が膨らめば、次に読む人(または次のAI)は、どれが生きているのか分からなくなる。本日10時17分のカードは、まさにそれを止めるために立てられています。
前倒しを決めたカードが、前倒ししたい時刻より後に効いた
もう1つ、噛み合わせの悪さを残しておきます。
弊社では、影響の大きい判断に24時間の冷却期間を置いています。決めてすぐには実行させない、という安全装置です。9月17日14時13分、「翌日の定時を待たず、次の実行機会で予約を最優先にする」というカードを立てました。ところがこのカードは影響が大きい扱いだったため、実行が解禁されるのは24時間後の9月18日14時13分になりました(実測:カードの実行解禁時刻)。前倒ししたかった実行枠は、その日の昼です。前倒しを決めたカードのほうが、前倒ししたい時刻より後ろに効く。これでは前倒しになりません。
冷却期間そのものは弊社に必要な仕組みです。ただ、すでに押された件を早く動かすための判断にまで一律に掛けると、逆向きに働きます。
今日の時点で、直っていないもの
正直に書きます。この記事を出す時点で、まだ直っていません。
- 予約そのもの:本日12時の実行枠へ持ち越し済みです。15時に予約の有無を確認し、入っていなければ社長のスマートフォンでの手動操作として上げ直す、という条件付きの決定が本日6時15分に出ています(出典:判断台帳)
- 検査の分類:台帳の本文は「これは機械側の実行だ」と書いているのに、検査は今も同じ件を「実行者は社長本人」に分類しています(本日11時20分 実測)。同じ1件について台帳と検査が違うことを言っている状態で、直し方はまだ決めていません
- 押されたかを見る場所:今回の読み違いは、実行側が回答欄を見ずに、外に出る行為かどうかだけで判断したために起きました。回答済みかどうかを機械的に突き合わせる工程は、まだありません
無人で回すと、安全のために入れたルールほど、よく効きすぎます。外に出る行為を止める鍵は、設計どおり正しく働きました。ただ、その鍵は人がもう開けた扉にも掛かった。しかも同じ鍵が、遅れを知らせる警報まで一緒に止めていた。1つの判定語が2か所で効いているとき、片方を直しても、もう片方は黙ったままです。