WellSkate AIWellSkate AI | ブログ
アプリへ

ヒューマンインザループはチェック項目ではない — 企業のAIが本番に届くための設計

エンタープライズAIのヒューマンインザループ — 自動化されたエージェント工程と、明確な人間の承認ゲート

多くの企業のAI施策は、「自律」を目標にします。回答を早くする。チケットを減らす。「あとはエージェントに任せる」。

そのあとで、セキュリティが「外部メールは誰が承認したのか」、法務が「誤った判断の責任者は誰か」、マネージャーが「なぜ夜間にレコードが変わったのか」と聞きます。パイロットは止まります。モデルの性能不足ではありません。業務のどこに人が入るかを設計しなかったからです。

ヒューマンインザループ(HITL)は、安全のためのシールのように扱われがちです。デモのあとに足すレビューや、「重要なものは誰かが見る」という曖昧な約束です。本番では、それでは足りません。HITLは、AIと人が判断・リスク・説明責任をどう分けるかの運用モデルです。

ループのどこに人が入るかを説明できないなら、それは企業向けAIの実装ではありません。監督の仕組みが後回しになったデモです。

設計のない自律は、リスクの先送りにすぎない

完全に自律したエージェントは、資料上は効率的に見えます。しかし社内でチェックポイントのない自律は、次の3つの問題を同時に生みます。

  1. 説明責任の空白 — 結果が間違ったとき、誰が決めたのか言えない
  2. 信頼の急落 — 大きな失敗が起きるまでは信じ、そのあとは何も信じなくなる
  3. 形だけの承認 — レビューしきれない量をシステムが流し、人はほとんど確認せずに「承認」する

見た目は違いますが、原因は同じです。ループが設計されていないことです。エージェントは自由に動いてよく、あるいは人はすべてを見てくれ、と判断が必要な条件がありません。

企業が最初に必要なのは、最大の自律ではありません。制御された完了です。繰り返しの作業はエージェントが終え、判断・権限・責任が必要な場面は人が持つことです。

ヒューマンインザループが本当に意味すること

HITLは「人がモデルとチャットすること」ではありません。自動化された流れの中に、人の権限を意図して置くことです。

実務では、人は主に次の3つの場所に入ります。

役割人がすること向いている場面
Steer(舵取り)エージェント実行前にゴール、制約、文脈を与える曖昧な依頼、新しいワークフロー、文脈が多い仕事
Approve(承認)用意された判断材料を見て、取り返しのつかない次の一手を許可する外部送信、レコード更新、金銭の移動、規定の例外
Recover(引き継ぎ)確信度が低い、規定が衝突する、ツールが失敗したときに引き取る例外ケース、インシデント、矛盾する情報源

チャットボットは、人を主に入力窓口として使います。Agentic Workflow(エージェントワークフロー)は、人をチェックポイントとして使います。しかも、すでに業務が進んでいる同じ経路の上でです。

この違いは重要です。人の仕事が、モデルの出力をSlack・メール・基幹システムへ打ち直すだけなら、それはHITLではありません。手作業が増えただけです。

信頼を壊す3つの失敗パターン

1. 取り返しのつかない工程での自動実行

エージェントが下書きし、そのまま送る。チケットを閉じる。CRMを更新する。例外を承認する。顧客や監査が入るまで、誰も見ていません。

これはスピードではありません。静かな負債です。取り返しのつかない工程には、影響の大きさに見合った確認が必要です。「だいたい正しいだろう」では足りません。

2. すべてで人がボトルネックになる

下書きも、仕分けも、照会も、すべて人が待ちます。エージェントは見栄えのよい待ち行列になります。処理量は増えず、形だけ変わります。

リスクの低い工程をすべて人が確認するHITLは、ガバナンスではありません。画面付きの過度な慎重さです。

3. 文脈のない承認

マネージャーに通知が届きます。「承認しますか?」根拠なし。変更差分なし。規定の抜粋なし。確からしさの手がかりもありません。受信箱を空けるためにYesを押し、安全のためにNoを押します。

これは人の判断ではありません。形だけの手続きです。チェックポイントが機能するのは、人が判断材料を受け取れるときだけです。何が変わったか、なぜか、どの情報を使ったか、承認したら何が起きるか。

スローガンではなく、リスクでループを設計する

実務で使えるルールはシンプルです。準備は自動化し、取り返しのつかない影響には確認を置く。

ワークフローの各工程を、次の4つのモードに分けます。

  1. Auto — 割り込みなしでエージェントが完了する(影響が小さく、確信度が高く、元に戻せる、または直しやすい)
  2. Propose — エージェントが準備し、次の工程の前に人が承認する(外部連絡、基幹システムへの書き込み、規定の例外)
  3. Escalate — エージェントが止まり、文脈付きで担当者へ回す(衝突、確信度の低さ、機微な区分)
  4. Human-owned — エージェントは実行しない。依頼があったときだけ検索や下書きを手伝う(調査、解雇、法務方針、報酬の判断)

多くの会社は、この順番を逆にします。「どこまで自律できるか」から入り、「いますでに人が必要な工程はどれか」「そもそも人が不要だった工程はどれか」を後回しにします。

休暇申請がすでにマネージャーの署名を必要とするなら、エージェントは判断材料を用意し、承認に回すべきです。新しい画面を作る必要も、署名を飛ばす必要もありません。FAQ回答がすでに自分で調べられるなら、毎回の人による確認は、減らしたかったヘルプデスクをまた作ることになります。

人が残るべき場所(当面)

すべてのチェックポイントが一時的なものではありません。構造として必要なものもあります。

  • 権限 — 社外への約束や公式レコードの変更は、特定の役割だけができる
  • 責任 — 規制のある行為には、モデルのバージョン番号ではなく、責任を持つ人が必要です
  • 価値観と例外 — 規定はよくある道をカバーし、ハンドブックが想定しなかったケースは人が扱います
  • 関係性 — 人の約束であるメッセージは、人の声であるべき場合があります

企業向けAIの目標は、これらの場面を消すことではありません。その周辺の作業 — 検索、文脈集め、催促、コピー、リマインド — に熟練者の時間を使い切るのをやめることです。

よいHITL設計は、人を判断に集中させます。弱い設計は、人を早すぎる段階で外すか、確認作業の大量発生に閉じ込めます。

チェックポイントを儀式ではなく、運用にする

本番のHITLに必要なのは、規定のPDFではありません。製品としての仕組みです。

機能するチェックポイントの最低条件は次のとおりです。

  • 正しい人 — 「オンラインの誰か」ではなく、役割で振り分ける
  • 正しいタイミング — 影響が出たあとではなく、取り返しのつかない行動の前
  • 正しい判断材料 — 根拠、提案内容、リスクの印、承認 / 編集 / 却下の明確な道
  • 同じ場所 — チームがすでに使うSlack、Teams、メール、承認ツール
  • 監査 — 誰が起動し、エージェントが何を見、何を提案し、誰が決め、何が実行されたか
  • 退避手段 — ワークフローを最初からやり直さずに、エスカレーションや引き継ぎができること

「人による監督」が、サンプルのチャットを見る週次ミーティングなら、それは品質の抜き取り確認です。役に立つこともありますが、ループではありません。ループは、業務の本筋の上にあります。

実務的な配置の進め方

「どこにでもAIを入れ、監督も足す」から始めないでください。1つの成果から始め、人を意図して配置します。

  1. 完了した成果を名付ける — 「調達AI」ではなく「ベンダーへの返信を送り、ログに残す」
  2. 取り返しのつかない工程を列挙する — 社外に出る、金が動く、基幹システムが変わるもの
  3. いまの担当者を記す — すでに承認し、エスカレーションし、最終確認している人
  4. 各工程に Auto / Propose / Escalate / Human-owned を割り当てる
  5. Propose と Escalate ごとに判断材料を定義する
  6. 速さだけでなく信頼を測る — 承認までの時間、編集率、再オープン率、本番後のインシデント数
  7. 判断材料が信頼を得たあとだけ、自律を広げる — 編集率が低く、元に戻しやすい工程は Propose から Auto へ

ステップ4を飛ばすチームはデモを出します。ステップ6を飛ばすチームは、ループが助けになっているのか、飾りなのか、いつまでも分かりません。

WellSkate AIの考え方

WellSkate AIは、すでに重要な承認の上に人が残るAgentic Workflowのために作られています。人を検索係、コピー&ペースト係、リマインダー係にしないままです。

  • エージェントが準備し、人が許可する — 複数工程の仕事が計画し、文脈を集め、次のアクションを下書きし、規定や影響が人を必要とするところで止まる
  • 既存の経路上のチェックポイント — 承認とエスカレーションは、チームがすでに使う連絡手段と、いまの担当の分け方に着地する
  • 実行時の権限とポリシー — エージェントは起動したユーザーのアクセス権を引き継ぎ、機微な内容とツール利用はプロンプト以上に制限される
  • レビューに耐える監査 — 何にアクセスし、何を提案し、誰が承認し、何をしたかの記録があり、セキュリティと運用者が記憶だけで経緯を組み立てなくてもよい

ヒューマンインザループの目的は、AIを遅くすることではありません。AIを本番に出せるようにすることです。実業務に足る信頼、実リスクに足るガバナンス、熟練者が未完の自動化ではなく判断に時間を使える設計です。

前回のパイロットが、「誰がそれを承認した?」と聞かれるまで印象的だったなら、足りなかったのはより強いモデルではありません。設計されたループです。


実際の企業ワークフローに人のチェックポイントを置きたい場合は、wellskate.ai を見るか、contact@wellskate.ai までご連絡ください。