# ThinkingBoxが示す単発成功と反復信頼性の差

> ThinkingBoxの反復評価を軸に、完了報告と業務状態のずれを整理。Claude Code v2.1.289の権限ルール修正、oh-my-pi 18.6系のツール実行と圧縮の修正、llama.cppのWindows ARM64向けVulkan配布、Piの推論設定を確認する。

Canonical URL: https://labs.eastbraver.com/digest/ai-digest-20261005
Published: 2026-10-05T06:30:00+09:00
Category: ai-digest
Tags: evaluation, ai-agent, safety, open-source, software-engineering, local-inference, llm-inference

MicrosoftとHugging FaceのThinkingBox共同記事は、エージェントの完了報告と、処理後に残った業務状態を分けて評価する理由を示した。同じ仕事を繰り返し任せられるかを見るには、一度でも成功した割合だけでは足りない。（[共同記事](https://huggingface.co/blog/microsoft/thinkingbox)）

実装面では、Claude Codeの権限ルール、oh-my-piのツール実行と会話の圧縮、llama.cppのWindows ARM64向け配布を確認したい。対象は2026年10月4日06:30から10月5日06:30までのJSTの更新だ。（[出典1](https://github.com/anthropics/claude-code/releases/tag/v2.1.289) / [出典2](https://github.com/can1357/oh-my-pi/releases/tag/v18.6.1) / [出典3](https://github.com/ggml-org/llama.cpp/releases/tag/b11396)）

## ThinkingBoxが完了報告と最終状態のずれを反復評価

ThinkingBoxは、隔離した[MCP](/guides/mcp)セッションでエージェントを動かし、最終バックエンド状態と副作用を採点する環境だ。今回の共同記事は、Hugging FaceのOpenEnv経由の実行手順と評価結果を紹介した。ThinkingBox-Benchでは、合成した507件の業務タスクを同じ初期状態から各20回実行する。（[出典1](https://huggingface.co/blog/microsoft/thinkingbox)）

論文の評価方法の比較では、12モデルの有効な121,680試行のうち79,853試行が実行結果の検証に失敗した。その失敗の67.24％は、正常終了を示す応答と状態変更ツールの呼び出しがあり、最終ツール応答にも明示的なエラーがなかった。失敗試行では、誤ったフィールド値が77.61％、意図しない追加の状態変更や副作用が43.30％、必要な変更や副作用の欠落が25.36％で見つかった。これらの分類は重複する。（[論文の表12](https://arxiv.org/html/2608.19741v2)）

**比較表: 一度の成功と繰り返したときの成功を分ける**

各指標は、同じ試行結果から異なる問いに答える。少なくとも一度成功したタスクの多さを、そのまま安定した実行能力と読み替えない。（[評価方法](https://arxiv.org/html/2608.19741v2)）

| 指標 | 確認できること |
| --- | --- |
| `pass@1` | 全試行に占める成功の割合。一回の実行で期待できる成功率を表す。（[共同記事](https://huggingface.co/blog/microsoft/thinkingbox)） |
| `pass@20` | 20回中少なくとも一度成功したタスクの割合。成功する実行を見つけられる範囲を表す。（[論文の表11](https://arxiv.org/html/2608.19741v2)） |
| `pass^20` | 20回すべて成功したタスクの割合。観測した反復での一貫性を表す。（[論文の表11](https://arxiv.org/html/2608.19741v2)） |

> [!CAUTION] 状態評価で分かる範囲
> 507件のうち477件は状態と副作用だけで採点し、30件は最終応答も評価する。状態が正しくても利用者への説明が誤っているケースを、全件で検出する設計ではない。また、共同記事が提案する再試行や権限の絞り込みによる改善効果は、このベンチマークでは未測定だ。（[論文の限界](https://arxiv.org/html/2608.19741v2) / [共同記事](https://huggingface.co/blog/microsoft/thinkingbox)）

**EastBraverの見立て:** [Agent評価](/guides/ai-agent-evaluation)では、完了文だけでなく対象レコードの最終値と余分な変更を合否条件に含めたい。反復評価は実行ごとに初期状態を戻し、本番で同じ変更を何度も試す運用とは分けて設計する。

- 出典: [MicrosoftとHugging Faceの共同記事](https://huggingface.co/blog/microsoft/thinkingbox)（公式情報、2026-10-04 07:56 JST）と[ThinkingBox論文](https://arxiv.org/html/2608.19741v2)（一次研究）

## Claude Code v2.1.289が権限ルールの適用漏れを修正

Claude Code v2.1.289は、管理対象の端末で、複合シェルコマンドの一部に設定した拒否・確認ルールが、利用者の追加したModの承認より優先されない問題を修正した。ModはClaude Codeの動作を拡張する仕組みであり、その承認が既存の制約を上書きするケースが対象だ。（[出典1](https://github.com/anthropics/claude-code/releases/tag/v2.1.289)）

IDEで参照・変更・選択したファイルをシンボリックリンク経由で取り込む際に、`Read`の拒否ルールが適用されない問題も修正した。端末表示が特定のコード断片で固まる問題への修正と、VS Codeでサインアウトが増える原因になった可能性のある2.1.288の`claude auth status`変更の取り消しも含む。（[公式リリース](https://github.com/anthropics/claude-code/releases/tag/v2.1.289)）

> [!CAUTION] 設定の存在と適用結果を分けて確認する
> 拒否ルールを設定しているだけでは、今回修正された経路でも有効だったことの証拠にならない。更新後は、Modを使う複合コマンドとIDEからのリンク参照を、自組織の設定で確認したい。

**EastBraverの見立て:** [Toolの権限制御](/guides/tool)は、操作の入口ごとに確かめる必要がある。通常のファイル読み取りだけで合格とせず、IDE連携や拡張機能を通した経路も検証対象に含める。

- 出典: [AnthropicのClaude Codeリリース](https://github.com/anthropics/claude-code/releases/tag/v2.1.289)（公式リリース、2026-10-04 08:07 JST）

## oh-my-pi 18.6系がDeepSeekのツール実行と圧縮・待機処理を修正

oh-my-pi v18.6.0は、DeepSeekが出力するDSML形式のツール呼び出しを、従来の対応ホスト一覧に限らず解析するよう変更した。llama.cpp、LM Studio、vLLMなどのローカルサーバーや、`models.yml`の独自プロバイダーも含む。DeepSeek自体を動かせる環境の拡大ではなく、出力を実際のツール呼び出しとして扱う範囲の拡大だ。（[出典1](https://github.com/can1357/oh-my-pi/releases/tag/v18.6.0)）

DSMLはDeepSeekがツール呼び出しに使うタグ形式だ。解析できない呼び出しの文字列だけを残してターンが終わり、実際のツール呼び出しがなかった場合は、その文字列を履歴から除去する。モデルへ正しい形式を示し、連続で最大2回まで再試行を求める。（[v18.6.0](https://github.com/can1357/oh-my-pi/releases/tag/v18.6.0)）

続くv18.6.1は、多数のスクリーンショットを含む会話で、画像サイズの見積もりによりOpenAIのコンテキスト圧縮が誤って拒否される問題を修正した。DeepSeek系モデルでは、再利用するOpenAI Responsesセッションに必要な推論コンテキストの保持も修正している。（[v18.6.1](https://github.com/can1357/oh-my-pi/releases/tag/v18.6.1)）

**比較表: 実行の完了判定に関わるv18.6.1の修正**

待機中の応答と終了したプロセスを正しく区別する変更が含まれる。自動化を組んでいる場合は、これらの結果を受け取る側の処理も確認したい。（[v18.6.1](https://github.com/can1357/oh-my-pi/releases/tag/v18.6.1)）

| 利用場面 | 修正後の挙動 |
| --- | --- |
| サブエージェントへの追加依頼 | 応答を待機・キャンセル可能なバックグラウンドジョブとして扱い、一度だけ届ける。（[v18.6.1](https://github.com/can1357/oh-my-pi/releases/tag/v18.6.1)） |
| タイムアウトやシグナルによる`pi.exec()`の終了 | 成功を示す終了コード`0`ではなく`-1`を返す。（[v18.6.1](https://github.com/can1357/oh-my-pi/releases/tag/v18.6.1)） |
| 複数の`skill://`検索 | 他のファイル操作とサブエージェント成果物の公開を遅らせる問題を修正。（[v18.6.1](https://github.com/can1357/oh-my-pi/releases/tag/v18.6.1)） |

**EastBraverの見立て:** [Agent Harness](/guides/harness-engineering)の検証では、モデルの出力が正しい形式に見えることと、ツールが実際に動いたことを分けたい。独自のDeepSeek接続では、正常な呼び出しと解析失敗の両方を試し、履歴と終了結果を確認する。

- 出典: [oh-my-pi v18.6.0](https://github.com/can1357/oh-my-pi/releases/tag/v18.6.0)（公式リリース、2026-10-04 07:06 JST）と[v18.6.1](https://github.com/can1357/oh-my-pi/releases/tag/v18.6.1)（2026-10-05 01:12 JST）

## llama.cppがWindows ARM64向けVulkan配布を追加し後続版でビルドを修正

llama.cppは、Windows ARM64向けVulkanバイナリを作る配布設定をPR #29954で追加した。これはb11395のタグに対応する変更で、PR作成者はWinGetパッケージの変更への対応と説明している。（[出典1](https://github.com/ggml-org/llama.cpp/pull/29954) / [b11395](https://github.com/ggml-org/llama.cpp/releases/tag/b11395)）

その後、WindowsのLLVMビルドに`Ninja Multi-Config`を使う修正がPR #29959で入り、b11396の配布ページにはWindows ARM64向けVulkanバイナリへのリンクがある。b11395の設定追加だけで配布完了と判断せず、この後続修正まで確認する。（[PR #29959](https://github.com/ggml-org/llama.cpp/pull/29959) / [b11396](https://github.com/ggml-org/llama.cpp/releases/tag/b11396)）

> [!CAUTION] b11396はプレリリース
> GitHub上のb11396はプレリリースとして公開されている。配布物の追加は確認できるが、手元のWindows ARM64環境での動作や速度を検証した結果ではない。（[リリース区分と配布物](https://github.com/ggml-org/llama.cpp/releases/tag/b11396)）

**EastBraverの見立て:** 導入時には、必要な修正を含むタグ、CPUアーキテクチャ、Vulkan用の配布物を対応づけたい。WinGet側で選ばれる版も別に確認し、バイナリの追加から推論性能の向上までは読み取らない。

- 出典: [llama.cpp b11395](https://github.com/ggml-org/llama.cpp/releases/tag/b11395)（2026-10-05 01:46 JSTのタグ）と[b11396](https://github.com/ggml-org/llama.cpp/releases/tag/b11396)（公式プレリリース、同日02:45 JST）

## ほかの確認済みの更新

モデル設定とAIインフラの投資判断では、次の更新も確認したい。

- **Pi v1.0.2が推論レベル別のサンプリング設定を追加**: `models.json`の`samplingParamsByThinkingLevel`で、OpenAI互換APIに送る`temperature`や`top_p`などを推論レベル別に上書きできる。既存の共通設定と、レベルごとの設定の使い分けを確認したい。（[出典1](https://github.com/earendil-works/pi/releases/tag/v1.0.2)、公式リリース、2026-10-04 09:56 JST）
- **WIREDが地方データセンター100件超の税優遇適格性を報道**: WIREDはSearchlight Instituteの調査を独自に確認し、開発中の100件超がオポチュニティーゾーン制度の税優遇対象になり得ると報じた。区域内に立地するだけで自動適用されるわけではなく、専用の投資ビークルが必要と説明している。今回の新しい材料は調査報道であり、制度の新設発表ではない。（[出典1](https://www.wired.com/story/rural-data-centers-are-in-for-a-big-federal-tax-break/)、WIREDの独自報道、2026-10-04 19:00 JST）