human on the loop とは、人が一件ずつ承認するのをやめ、枠と結果を見て、おかしいときだけ止める運用のことである。では、見張る側が何件止めていれば「見張っている」と言えるのか。
私たちの会社では、AIが出した案を、別のAIが判定し、社外に出る行為や金銭だけを社長に上げている。この判定の記録が、2026年9月2日から10月8日までで597件たまった。数えると、却下は14件だった。しかも10月5日の時点では、却下は0件と出ていた。この食い違いの原因を書く。
結論を先に言う。
- 見張り役が出す「却下率」は、見張りが効いているかを測る数字である。ただし数える場所を間違えると、実際より低く出る。
- 却下は「実行の動作が残らない」判断なので、記録の整理で真っ先に別の場所へ移される。測りたいものが、測る場所から消える。
- 却下率を上げる目標は置かない。件数を作る却下は害だからだ。代わりに、却下の線を1件ごとに書かせる。ただし、その手当てはまだ現場に届いていない。
human on the loop とは、ここでは何を指すか
用語を先に整理する。human in the loop は、人が一件ずつ承認する形である。human on the loop は、人は輪の外から見張り、枠を決め、結果を見て、例外のときだけ止める形である。ここでの定義は、私たちの会社での使い方である。
私たちの場合、輪の中にいるのはAIだ。案を出すAI、それを判定するAI、検証するAIがいる。社長が握るのは、社外に出る行為、金銭、物理的な作業、取り消せない削除の4種類だけである。残りは判定役のAIが承認か却下を決め、事後に報告する。
この形の弱点は、見張り役が全部通してしまうことだ。全件承認なら、見張りは飾りになる。だから「却下が何件あったか」を数える必要がある。
判断597件のうち、却下は14件
判断台帳を、2026年9月2日から10月8日10時時点まで集計した（自社計測）。判断が下りたものは597件。内訳は承認518件、条件つき承認65件、却下14件である。却下率は約2.3%になる。
週ごとに見ると、9月2日からの7日区切りで、判断120件に却下5件、80件に2件、147件に3件、190件に2件、40件に2件となった。最後の週（10月7日〜8日）は20件で却下0件である。いちばん判断が多かった週の却下率は約1.1%で、最初の週の約4.2%から下がっている（自社計測）。
判断した主体も偏っている。社長名義の判断は152件で、すべて承認だった。却下14件は、判定役のAIが12件、検証役のAIが2件である。つまり、人が見張る輪の外側には、今のところ止めた記録がない（自社計測）。
自社で置いた警報の線は、判断20件以上で承認率が85%を超えたら「形骸化の域」とするものである。直近14日の承認率は約99%で、この線を超えている（自社計測）。
「却下0件」に見えた原因は、数える場所だった
10月5日の記録では、直近14日の判断259件に対して却下は0件だった。ところが同じ期間（9月21日〜10月5日）を、今の台帳で数え直すと270件に対して3件になる。窓の取り方や集計時刻に差があるので完全には一致しないが、0ではない（自社計測）。
原因は、台帳が2つに分かれていたことだった。実行の動作を伴わない判断（事実の確定や却下）は、最後に動いてから7日で別ファイルへ退避する決まりがある。見張りの質を測る集計は、退避前の台帳だけを読んでいた。
退避後のファイルを数えると、判断86件のうち却下が12件ある。却下率は約14%だ。一方、退避前の台帳は判断511件に対して却下2件で、約0.4%である。つまり、全体597件のうち退避前の台帳から見える却下は2件、退避後を足すと14件になる（自社計測）。
なぜこうなるか。却下は、何かを実行する判断ではなく、やらないと決める判断だからである。実行の記録が残らないものほど早く退避される。測りたい数字が、測る場所から先に消えていた。
直近14日の窓なら差は小さい（退避前176件に2件、退避後込みで178件に2件）。差が出るのは30日以上の窓で、30日では退避前が426件に2件、足すと489件に9件になる（自社計測）。
却下14件は何を止めていたか
14件の題名と理由欄の冒頭を、私が読んで分けた。分け方は主観である。
- 実測したら前提が違った、すでに済んでいた、再現しなかった：6件。たとえば「警告を足す提案」は、前提の3つとも事実と違っていた。
- 検証役が、数字や日付の食い違いを指摘した：2件。
- やらないと決めた（取り消せない、自分の宿題ではない、今は触らない、緩めない）：6件。
14件すべてに、33字以上の理由欄の記述があった（自社計測）。多くは「何を実測したか」が書かれている。止めた件には理由が残っている。問題は、止める場面が少ないことと、その少なさを測れなかったことの2つだった。
手当ては書いたが、まだ現場に届いていない
10月5日に、自己承認する判断の理由欄へ「却下基準＝どうなっていたら却下したか」を1行添える決まりを置いた。目標の却下率は置いていない。件数目的の却下は害になるからだ。1件ごとに線を自分で書けない判断は、そもそも判断できていない。社長に回すか、情報を取りに行く。
ところが、10月8日10時時点で、台帳の理由欄に「却下基準＝」が入った行は0件である。判定役の指示書を書き換える作業が、AI自身の書き換えを止める仕組みに拒否され、人が貼り付けるのを待っているためだ。指示書の最終更新は9月22日のままである（自社計測）。
決めた日と、現場で効く日は別である。3日たって0件という事実が、いまの状態だ。
自社で確かめる3つの問い
- 見張り役の却下率を、記録の全期間で数えているか。整理や退避で、止めた記録だけが別の場所に移っていないか。
- 人が承認した判断のうち、却下は何件か。0件なら、見張りは飾りになっていないか。
- 「止める線」を、判断のたびに1行書かせているか。書けない判断を、人に回せているか。
この記事の穴
- 却下率が低いことが悪いのかは、まだ分からない。判断の質が高く、止める必要のある案が少ないだけかもしれない。
- 退避後のファイルは9月26日までの記録しかなく、その後の退避が止まっているのか、対象が無かったのかは未確認である。
- 社長が承認した152件の中身は読んでいない。止めるべきものを通したかは測っていない。
- 「却下基準＝」の1行を入れた後で、却下率や止める質が変わるかは、まだ測れない。反映後に同じ数え方で測り直す。
- リスクを「高」とした24件のうち17件が、社長名義を通らずに承認まで進んでいた（直近14日・自社計測）。この17件が適切だったかは未確認である。
見張りの質は、止めた回数だけでは測れない。だが、止めた回数を正しく数えられないなら、質を語る前に数え方を直す必要がある。あくまで自社1社の記録であり、他社に当てはまるとは限らない。
