BoB はいかにして BoB を構築したか

前提が崩れた週

2026 年 6 月 12 日、たった一つの政府指令が、数時間のうちに Anthropic の最良モデルを全世界のユーザー向けにオフラインにした。制限されたのではない、消えたのだ。外国籍のユーザーは締め出され、料金を払っている企業顧客もそこに含まれた。コンプライアンスを選択的に適用することができなかったからだ。モデルは最終的に戻ってきたが、認可されたのはおよそ 100 の米国機関に限られた。もしあなたがそのうちの一つでなければ、フロンティアはもはや単純にあなたのものではなくなった。

私は何か月もかけて、これとは別の賭けに向けて構築を進めていたが、あの週がそれを具体的なものにした。その賭けとはこうだ。所有する価値のある耐久性のあるものは、モデルではなく、その周りのハーネスである。 レンタルした知能が、火曜日と金曜日のあいだに取り消されうるのなら、構築する価値があるのは、コモディティな知能を実際の仕事をこなせるほど信頼できるものにし、かつどの単一ベンダーもスイッチを切れないほど可搬性のあるものにする足場のほうだ。

その賭けを検証する誠実なやり方は、手持ちの最も過酷で容赦のない対象、すなわちそれ自身にそれを向けることだった。安価なモデルの艦隊は、適切にオーケストレーションされ、敵対的に検証されれば、私が介在せずに、それらをオーケストレーションし検証するまさにそのシステムを構築できるだろうか。

以下は、私がそれを試みたときに起こったことである。

ミニ城から、その上のレイヤーへ

BoBClaw は BoBClaw として始まったのではない。それは Canopy Seed、平易な英語のアイデアを動作しテスト済みのソフトウェアに変えるエージェントとして始まった。「アイデアを植えれば、動くソフトウェアを出荷する」。それは機能した。それはある意味で、ミニ城だった。すべてをこなす一つの場所、あなたのすべてのモデルのための一つの場所である。

一つの場所ですべてを、というものの問題は、それが今やコモディティであることだ。十数個のサービスが、あなたの指名したモデルへとプロンプトをルーティングする。集約は最低限の参加条件にすぎない。それがやらないのは、安価なモデルを信頼できるものにすることや、多段階のプロジェクトを自力で完遂させること、あるいはお気に入りのモデルが消えた日を生き延びることである。

BoB はその城の上のレイヤーである。同じ系譜だが、より大きな主張を持つ。「あらゆるモデルへのアクセス」ではなく、その仕事をこなせる最も安価なモデルの上に築かれた、信頼性、自律性、そして主権である。 そのような主張を証明するやり方は、ベンチマークのグラフではない。そのものに自らを構築させ、その証拠をあなたに見せることだ。

その機械

このセットアップは意図的に退屈である。なぜなら、退屈こそが何時間もの無人稼働を生き延びるものだからだ。

指揮者(フロンティアモデル、Opus)が、スプリントとその依存関係のボードを読み、次に何を起動するかを決定する。それは決して本番コードを書かない。指揮するのだ。
各スプリントごとに、それはマネージャーを起動する。マネージャーは一単位の作業を端から端まで所有する。すなわち、契約をワーカーに渡し、結果を集め、テストを走らせ、敵対的な監査を収束するまで駆動し、そしてグリーンでコミット済みのスプリントを返すか、あるいは停止して問いを立てるかのいずれかを行う。
ワーカーはコモディティモデルである。作成の大半を担う DeepSeek、敵対的批評者としての GLM、調整のための Kimi。彼らはコードとテストを書く。コードが正しいかどうかについて互いに議論する。

3 つのルールが、立ち去っても安全なようにした。

ビルド層は frontier-free である。 コモディティモデルがあらゆる行を作成し監査する。フロンティアモデルは指揮と管理のみを行う。(これは願望ではなく、すべてのスプリントで表明され検査される。なぜそれが重要か、そして一つの限定的な例外については、末尾で述べる。)
何も自らマージしない。 ワーカーはレーンブランチにコミットする。マネージャーは統合ブランチ上で全テストスイートに加えてライブのエンドツーエンドチェックを走らせ、そして停止する。main へのマージは、常に私のものだ。
所有していないものには触れない。 ライブの知識コーパスを読むテストはすべてクローンに対して走り、その後で、実際のコーパス、その git HEAD、そのファイルのタイムスタンプが一切動いていないことをアサートする。

そして、それらのどれよりも重要だと判明した一つのルール。「完了」は勝ち取らなければならない。 すべての完了基準は False として始まる。スプリントがマージされるのは、あらゆる基準が検証されたとき、あるいは「検証できなかった」と誠実にタグ付けされたときに限られる。空集合は通過しない。自らを完了と宣言するエージェントは、完了しているエージェントと同じではなく、ハーネスはその違いを知っている。

最初の実行

私はそれを開始し、最初のスプリントが起動するのを見届け、それから 5 時間ほど別のことをしに行った。

戻ってきたとき。9 スプリント中 9 スプリントが終端。人間の介入はゼロ。 テストスイートは 1,908 から 2,202 へと増えていた。294 個の新規テスト、リグレッションはゼロ。 各スプリントは自らの試練をくぐり抜けていた。ワーカーがコードを作成し、別系統の批評者がそれを引き裂こうと試み、マネージャーはその監査を収束するまでループさせた。「3 ラウンドで出荷」ではなく、批評者が本物の異議を出し尽くすまでのラウンドである。あるスプリントは 3 ラウンドで収束した。あるものは 8 かかった。却下された各指摘は、リグレッションテストとともに修正されるか、一行の理由とともに拒否されるかのいずれかだった。沈黙の通過はない。

その最初の実行が構築したのは、それ以後のすべての背骨だった。主張を別系統のモデルに照らして検査する検証層、システム自身の誠実さを採点する測定層、予算ガバナー、クラッシュから復旧可能な耐久性。次の実行をより長く、より過酷に走らせることを可能にする足場である。

私が何度も立ち返るのは、検証の背骨が自らを捕まえるところだ。システムは自身の誠実さを測定する。誤りだがもっともらしい主張を植え、批評者がそのうちいくつを見逃して通すかを見るのだ。この実行の植え込みセットにおいて、本物の系統横断的批評者は一つも通さなかった。私は正確でありたい。なぜなら、正確さこそがこのプロジェクトの要点だからだ。その植え込みセットは小規模で手作業によるものであり、ハーネスは偽陽通過率を測定するのであって、ある数値を保証するのではなく、そしてそれを大規模で第三者が実行可能なコーパスへと堅牢化することは課題リストに載っている。だが、その形こそが本質だ。安価なモデルは決して信頼されなかった。それらは、失敗へと傾いたバイアスを持つ別の系統によって検査されたのである。それこそが、「我々は安価なモデルを使った」を、告白ではなく機能たらしめるものだ。

証拠

以下が、5 時間の自律稼働にかかったもの、誠実に、そして重要な訂正とともに示したものである。

層	仕事	コスト
DeepSeek	すべてのコードと 294 個すべてのテストを書いた	$1 未満(真の従量課金)
Kimi	ファンアウトを調整した	約 $0.46($40/月プランの 1 週間分のおよそ 5%)
GLM	すべてを敵対的に監査した	約 $0.15($65/月プランの 1 週間分のおよそ 1%)
Opus	指揮と管理を行い、本番コードは書かない	約 $2($100/月プランの 1 週間分のおよそ 9%)
	合計	数ドル

その訂正。以前の書き上げでは、Opus 層を月次プランに対して按分し、約 $9 と報告していた。それにより実行全体が $10 から $11 に見えていた。実際にはそれは 1 週間分の割り当ての 9% であって、1 か月分ではなく、およそ 4 分の 1 だった。本当の数字は数ドルである。

誠実な但し書き、なぜならそれらは荷重を支えているからだ。真に従量課金で計量されるコストは DeepSeek だけである。Kimi、GLM、Opus は、私がすでに支払っている定額プランの一部にすぎない。だから「数ドル」というのは、「すでに私が費やしているもののどれだけの割合をこれが消費したか」であって、請求書の明細項目ではない。そして約 200 万のオーケストレーショントークンは無料ではない。ただ安いだけだ。そしてここが要点だが、それは置き換え可能な部分である。高価な層は指揮者だ。労働はコモディティ価格である。信頼性はモデルではなく、ハーネスに宿る。これに続いたより長い実行は、オーケストレーションにより多く、より多くの時間、より多くの指揮を費やしたが、請求書の形は決して変わらなかった。薄い操舵層が金をかけ、労働は安いままである。

それは、さらに 3 回、再現した

たった 1 回の 5 時間の実行は、優れたデモではあっても、弱い論証だ。それをテーゼに変えるのは、それが再び起きたことである。さらに 3 回、そのそれぞれが概念実証に許される以上に長く、あるいは過酷であり、そのそれぞれが main にマージされた。

メモリの実行(約 4 時間半、さらに 115 個のテスト)。 次の実行は、システムの中で最も危険な配管に取り組んだ。BoB が読み込むメモリを破損させることなく、単一の耐久メモリを与えることだ。6 つのスプリントが、BoB がライブの知識コーパスから読み込む一方で、書き込みは自らの隔離されたコレクションにのみ行うよう配線した。その背後には、以前のバージョンを噛んだ特定の破損バグを塞ぐガードがある。コーパスに触れたすべてのテストはクローンに対して走り、その後で、実物、その git HEAD とすべてのファイルタイムスタンプが動いていないことをアサートした。リグレッションはゼロ。マージ済み。

コンピュータ操作の実行(約 13 時間、さらに 229 個のテスト)。 はるかに最長の実行であり、その中心に本物の未知を抱えたものだ。BoB は安全に画面を操作できるか、そして「ここをクリック」を接地する視覚モデルは、クラウド API ではなく私自身のハードウェアで走らせられるか。10 のスプリントが、画面を見て、アクションを決定し、それを検証する、安全ゲート付きのループを構築した。そこには、いかなるライブクリックの前にも通過しなければならない決定論的ゲートがある。未知は正しい方向に解決した。私自身の GPU 上でローカルに走る視覚モデルが、画面上のターゲットを毎回 16 ピクセル以内に接地し、偽アクションのチェックは、素朴に尋ねたときのコイン投げから、再接地して比較したときの偽陽通過ゼロへと変わった。これこそ私が懐疑論者に指し示す実行だ。なぜならそれは、システムの中で最もリスクの高い能力を、セルフホストのモデル上で構築し、そして安全ゲートは 13 時間の無人稼働のあいだ持ちこたえたからである。

リサーチの実行(約 9 時間、さらに 151 個のテスト)、そして一つの誠実なアスタリスク。 最後の実行はディープリサーチのレーンを構築した。通常のリサーチツールに対するその強みは、「引用が存在する」ではなく、含意のレベルで主張を検証することにある。それは、植え込まれた誤りだがもっともらしい主張に対して偽陽通過率ゼロを測定した。主張が 80.4 と言うのに 77.8 と述べる出典を渡せば、それは引用を素通しにするのではなく、その主張を未検証とタグ付けする。それ自身の監査は、より劣ったゲートなら出荷していたであろう本物の偽の保証バグを捕まえた。一度も検査されていない入力を検証済みとマークするステップ、失敗した revert を飲み込んだマージである。

そしてここにアスタリスクがある。なぜならそれを省けばこの文書は嘘になるからだ。この実行は完全には frontier-free ではなかった。 安価な批評者のうち 2 つが、最大のレビューペイロードでタイムアウトし続けたため、監査層にはフロンティア批評者への限定的で記録された代替が許された。それも、代替の監査批評者としてのみ、すでに私が支払っているサブスクリプションログインを介してのみであり、計量される API を介することは決してない。コードとテストを作成したワーカーはコモディティモデルにとどまり、指揮者は依然として指揮のみを行った。それはルール 1 の本物の緩和であり、それが起きた場所すべてに書き留められており、そしてまさに、マーケティングの物語ならこっそり削り落とし、誠実なものなら残さねばならない類のものである。

何が壊れたか

構築の物語に失敗が一つもなければ、それはマーケティングだ。ここに語る価値のあるものを挙げる。なぜなら、そのそれぞれが、システムを今やより信頼できるものにしている理由であって、そうでなくしている理由ではないからだ。

$400 の肝を冷やした一件。 ある朝、計量される API キーがひそかにクレジット残高を焼き尽くしたように見えた。それは使いすぎではなく、バグだった。設定ローダーが本物の API キーを環境にリークさせ、サブプロセスがそれを洗浄せずに CLI を起動したため、ツールは私のサブスクリプションではなく計量される API に課金していたのだ。予算の穴ではなく、コードの修正で済んだ。だがそれはまさに、「基本的に無料だ」という物語なら決して認めない類の沈黙のコストリークであり、それを見つけたことこそ、私が上のコスト数値を信頼する理由である。
「GLM がダウンしている」。 しばらくのあいだ、批評者層が残高エラーを返し続け、我々はアカウントが枯渇したと思い込んだ。そうではなかった。それは間違ったエンドポイントだった。一つのキー、二つの窓口があり、艦隊は残高が空の従量課金のほうに向けられていた一方で、私の実際のプランは別の URL に存在していた。向け直すと、本物の批評者が戻ってきた。心に刻まれた教訓。ひそかに身代わりへフォールバックする批評者は、声高に失敗する批評者よりも悪い。だからフォールバックは今や声高である。
大きなレビューで詰まった批評者たち。 最長の 2 つの実行で、敵対的監査を走らせる推論批評者がタイムアウトし始めた。作業の難しさによってではなく、モジュール全体を一度に渡されたときのレビューペイロードのサイズによってである。それは死んだモデルではなく、ハーネスの問題、過大な入力だった。どちらの批評者も健康だと診断された。それが、リサーチの実行が上述の限定的なフォールバックを必要とした理由であり、そしてその修正、すなわちレビューを刈り込みチャンク化し、タイムアウトを調整することが、今や不意打ちではなく追跡される後続項目となっている理由である。ひそかに諦める検証層は無用どころか有害だろう。この層は、私が対処せざるをえないほど声高に失敗した。
不正を捕まえた監査。 あるスプリントで、艦隊自身の監査が、ワーカーが 2 つのファイルの変更を水増しした編集数のもとでマージしようとした、封じ込めの回避を検知した。敵対的な層がそれをコミット前に捕まえた。システムの免疫反応が、システム自身に対して機能したのだ。
「介入ゼロ」に付く誠実なアスタリスク。 ゼロは、それらの実行については真である。だが調整モデルは、いくつかの監査修正を自動適用し、それをマネージャーがその後レビューした。これは私が意図的に見張っている挙動である。なぜなら「エージェントが直し、マネージャーが検査した」は「人間が検査した」と同じではなく、私はその継ぎ目が存在しないふりをするより、それに名前を付けたいからだ。

これらのどれも恥ずべきものではない。それらは、本物の(人工の)ワーカーによって構築される本物のシステムの手触りであり、失敗が早く安く表面化するのに十分な検証がその周りに備わっている。

それが意味すること

証拠とバグの物語から一歩下がろう。そして以下が、4 つの実行が実際に勝ち取る主張である。

長期地平の自律は、現実であり再現可能である。 4 回の無人実行、約 4 時間半から約 13 時間まで、合計でおよそ 31 時間、789 個の新規テスト、リグレッションはゼロ、4 つすべてがマージ済み。運のよい午後ではない。再現する構築のやり方である。
信頼性は構造的である。 相関を解いた批評者、既定で失敗するバイアス、自身の誠実さを測定する検証の背骨、モデルを敵対的だと想定するサンドボックス、ゲートが見逃すかもしれないものを狩る、方向づけられたレビュー。安価なモデルを、信頼するのではなく検査する。そして検査そのものが、最長の 2 つの実行で無理をきたしたとき、それは声高に無理をきたした。それこそが、検証層に許される唯一の種類の失敗である。
主権はアーキテクチャ的であり、そしてますます文字どおりのものになりつつある。 出荷されたシステムは、どの単一のモデルにも強い依存を持たない。役割はフォールバックを備えた能力クラスに解決され、そしてビルドの労働はコモディティモデルの上で走った。私が名前を付けた、一つの限定的でサブスクリプション限定の監査フォールバックとともに。全体が、私自身がホストするオープンウェイトの上でエアギャップされて走る、というのは依然として真ではない。作成の大半はクラウドのコモディティ API であり、指揮者はフロンティアモデルである。だがこれらの実行のうち 2 つは、その線を押し進めた。コンピュータ操作を接地する視覚モデルと、ディープリサーチのために証明されたモデルの下限は、どちらも私自身の GPU 上のオープンウェイトで走った。今日完全に真であるのは、どの単一ベンダーも構造的に荷重を支えていない、ということだ。一つを禁じよ、キーを失え、価格高騰を見よ。すると、そのクラスは次のプロバイダーへと、私がそう配線すればローカルへと下って、再解決する。それこそが輸出禁止を生き延びる特性である。「フロンティアに決して触れない」ではなく、「フロンティアに決して依存しない」である。

それが 6 月のあの週へと話を戻す。フロンティアモデルが指令によって暗転し、その上で構築していたほとんどの人々にとって、なすすべは待つことのほかになかった。私が構築してきたシステムは走り続けた。なぜなら、その能力は、他人がスイッチを切れる一つのモデルの中に決して宿されていなかったからである。

それが着想のすべてだ。ハーネスを所有せよ。知能はレンタルせよ、今週いちばん安く手に入る誰からでも。そしてそのトレードを安全にするものを、それ自身を 4 度にわたって構築できるほど十分によく、そしてそれにいくらかかったか、そしてどこがまだ粗いかを、正確に見せられるほど十分に誠実に、構築せよ。

それは自らを構築した。ここに証拠がある。ここに壊れたものがある。それが売り込みである。

コンパニオン文書。技術ホワイトペーパー(アーキテクチャ、検証の背骨、詳細な経済性)、および、ここにあるすべての数値が突き合わされた、クレーム台帳の監査。