弊社は自社の業務の一部を、複数のAIエージェントに無人で運転させています。機械が自分で決めてよいことは自分で決めさせ、決めた内容は1本の判断台帳に書き残す。そのかわり、決めてから実行するまでに待ち時間を置いています。社内では冷却期間と呼んでいます。取り消しにくい行為ほど長く待たせ、その間に事後報告が人の手元へ届くので、人は「やるな」と言う機会を必ず一度もらえる、という設計です。企業名・個人名は出しません。
待ち時間は3段です。取り消しにくいもの(削除・本番反映・公開・解約・送金など)が24時間、作り直しや差し替えが6時間、記録・集計・点検・調査が2時間(出典:判断台帳のコード内の定義)。どの段に落ちるかは、決裁の文面に含まれる語で機械的に決まります。人が毎回段を選ぶ運用にすると、忙しい日に全部が「急ぎ」になるからです。
この記事は、その段の決め方が壊れていた、という記録です。
「削除ではない」と書いたせいで、削除扱いになった
9月18日22時17分、判断役のAIが1件の決裁を記録しました。中身は、冷却期間の決め方そのものを直す、という社内コードの修正です。その本文には、なぜ自分の判断で決めてよいのかを説明するために、こういう趣旨の一文が入っていました。「この変更は社外・金銭・契約・物理・不可逆削除のどれにも当たらない社内コードの修正である」。
この決裁に付いた段は、いちばん長い24時間でした。実行できるのは翌9月19日22時17分以降になります(実測:台帳に記録された実行可能時刻)。
引き金を実測で特定しました。題名の側には、長い段に落とす語も中くらいの段に落とす語も1つも含まれていません。段を押し上げたのは説明文の側にあった3語です。削除・公開・変更。そして、その3語がどこに現れていたかというと、
- 「不可逆削除のどれにも当たらない」——当たらない、という否定文の中
- 「この変更は社外・金銭・契約……」——同じ否定文の中
- 「送信・投稿・公開・切替・デプロイ・削除・変更のいずれかが含まれる場合は」——この決裁自身が新しく足した、禁止語の一覧を引用した箇所
つまり、自分は削除ではないと否定した一文と、自分がこれから禁止語として登録しようとしている単語のリストが、そのまま自分への足かせになりました。文面を読んで危険度を決める仕組みは、否定文も引用も読めません。語が在るか無いかしか見ていないからです(出典:該当コードの実装)。
危ない案件ほど、調べるのが遅くなる
この不具合が最初に見つかったのは、その6時間半前の9月18日15時49分でした。ある案件で、切り替えてよいかどうかを判断するための材料を集める、という作業に段が付いたときです。
作業の中身は、社内のファイルと記録を読んで3点を埋めるだけ。外には一切出ません。題名にも「読むだけ・社外に一切出ない」と明記してありました。それでも段は24時間になりました。説明文の側に、なぜ急ぐのかを説明した語——見えてはいけないものが見える状態になっている、という趣旨の記述——が入っていたからです(実測:台帳の該当行)。
ここが、この不具合のいちばん質の悪いところです。危険な状況を丁寧に説明した決裁ほど、その危険を調べるだけの行為が遅くなる。急ぐ理由を書けば書くほど遅くなる、という逆向きの効き方をします。説明を削れば早く動ける、という抜け道まで用意してしまっている。無人で回す仕組みで、正直に書いた方が損をする形になっているのは、それ自体が事故です。
294件のうち112件が、題名ではなく説明文で段が決まっていた
1件だけの偶然かどうかを確かめるため、台帳の全行に同じ判定を当て直しました。
2026年9月19日時点で、台帳は344行、うち題名のある生きた決裁は294件です。題名だけで段を決めた場合と、題名+説明文で決めた場合を比べると、112件(全体の38.1%)で段が変わりました(自社計測)。内訳は、2時間→24時間が74件、2時間→6時間が36件、6時間→24時間が2件です(自社計測)。
この112件を積み上げると、説明文のせいで足された待ち時間は合計1,808時間になります(自社計測)。ただしこれは「実行してよくなる時刻」が後ろにずれた量であって、実際にその分だけ仕事が遅れたという意味ではありません。待ちが明ける前に人が答えたものも、待ちが明けた後もしばらく実行されなかったものもあります。遅れの実測ではなく、仕組みが課した猶予の総量として読んでください。
説明文の側で段を押し上げた語も数えました。長い段に落とした語は、削除37・公開29・消す17・消し8・取り消せ6・解約4。中くらいの段に落とした語は、変更20・差し替え8・作り直し7などです(自社計測)。上位2語がそのまま、先ほどの否定文に出てきた語だという点に注目しています。
なお、112件のうち実行行為そのものが無い決裁(事実の確定や却下)は7件だけでした(自社計測)。残りは本当に実行を待っていた仕事です。「どうせ待っても困らない案件が多い」という言い訳は、数字の側から潰れました。
直し方に、二つ目の数え方を作らない
直し方の案は2つ出ました。
却下した案は、危険が表に出ている案件だけ待ち時間を短くする、というものです。一見もっともらしく見えますが、これをやると冷却期間の決め方が2つになります。同じ数字を2か所で別々に数えると、後から見た人はどちらが正なのか分からなくなる。弊社の無人運転で繰り返し痛い目に遭っているのがこの形なので、採りませんでした。
採った案は、行為が読み取り専用だと題名で宣言されているものは、説明文を読まずに短い段に留めるというものです。説明文は問題の説明が入る場所なので、段の判定からは外す。宣言は決裁を上げた側の約束なので、嘘を書けば決裁そのものが嘘になり、抜け道としては機能しません。
ただし条件を1つ足しています。題名に「読むだけ」と書いてあっても、同じ題名に送信・投稿・公開・切替・デプロイ・削除・変更のいずれかが入っていれば、短い段には落とさず従来どおりの判定に戻す。宣言と行為が矛盾した題名を素通りさせないためです。既に積まれた過去の記録の段は書き換えません。当時その待ち時間で運用していた、という事実の方を残します。
この記事を出している時点で、まだ直っていない
正直に書きます。修正を入れる決裁は9月18日22時17分に承認済みですが、本日この記事を書いている時点で、実際のコードに新しい判定は1か所も入っていません(実測:該当ファイルを検索して0件)。理由は単純で、この決裁自身が24時間待ちだからです。実行できるのは本日22時17分以降になります。
冷却期間の決め方が壊れている、と自分で書いた決裁が、まさにその壊れた決め方によって丸一日止められている。仕組みの不具合としては教科書のような形で、しかも止まっているあいだ、同じ不具合は動き続けます。実際、この決裁の直前に記録した「文書の1行を直すだけ」の決裁にも、24時間の段が付いていました(実測)。
自分の待ち時間を自分で短くする変更を、機械の判断だけで入れてよいのか、という点は残ります。冷却期間は人が異議を出すための猶予なので、短くする変更は人の監督権を削る方向の変更です。今回は「社外に出ない・金銭が動かない・取り消せる社内コードの修正」に当たるため機械側で決めましたが、これを機械が自分で決めてよい範囲の上限として扱い、これ以上は人に上げる、という線引きを明文化しないと、次に同じ理屈で何が通るか分かりません。
宿題(この記事の時点で未解決)
- 修正の適用そのもの。本日22時17分以降の実行待ちで、実物が入ったかは未確認
- 過去112件の段を遡って直すかどうか。現時点では直さない方針だが、決めた記録が無い
- 段の判定に自動試験が無い。今回の不具合も、人が台帳を読んでいて気付いた
- 「自分の監督されやすさを下げる変更」を機械がどこまで決めてよいか、線引きは未定義
無人運転の安全装置は、置いた時点で正しく効くとは限りません。効いているように見えて、効いてほしくない向きに効いていることがある。今回のように、装置が自分自身を止めて初めて形が見える、ということもあります。