
ReflectionのBeamは、限定プレビューからApache 2.0での重み公開へ進んだ。自組織で動かすなら、量子化形式、GPU世代、推論と追加学習で異なる資源条件を確認したい。続いて、RealtimeBenchが示す応答遅延による評価順位の逆転、AWSの継続評価事例、BiShield-TEE論文の重み保護解析を読む。Googleの実験自動化とNVIDIAのIndicコーパスは、短報で公開範囲を整理する。
各更新は独立しており、同じ製品構成や因果関係を示すものではない。共通する読者の判断は、公開されたモデルや評価手法を、自分の実行条件へ持ち込めるかどうかだ。BeamではGPUメモリ、RealtimeBenchでは動き続ける環境、AWSでは実データの変化、BiShield-TEEでは攻撃者のアクセス範囲が、それぞれ結論の適用範囲を変える。(Beamの提供条件 / RealtimeBench論文 / AWSの運用事例 / BiShield-TEE論文)
Beamの重みをApache 2.0で公開 推論と学習のGPU条件を分ける
Reflectionは10月16日、Beamの重みをApache 2.0ライセンスで公開した。10月6日号で扱った限定プレビューからの実質的な進展は、重みを取得し、自組織の環境で実行・変更できるようになったことだ。総パラメータ約5,010億、トークン当たりの有効パラメータ約230億のMoEモデルで、テキストを入出力する。(Reflectionの公開告知 / Hugging Faceの解説)
モデル設定のコンテキスト長は最大1,048,576トークン。チェックポイントはBF16、FP8、NVFP4の3形式があり、BF16版は約1 TB、NVFP4版は一部をBF16で残しつつ約280 GBとなる。NVFP4のネイティブ実行にはBlackwell GPUを使い、Blackwellより前のGPUにはFP8版を選ぶ構成が案内されている。(モデル設定 / 形式とハードウェアの説明)
Transformers、SGLang、vLLMは公開初日から対応する。教師ありファインチューニングのLoRA参照構成はB300を8基搭載する1ノードで、H100版は4ノードを使う。MilesによるBF16の全パラメータGRPO強化学習はH200を96基、学習と生成を同じGPUへ併置する構成では64基を使うとされる。いずれも公開レシピの参照構成であり、最小要件ではない。(推論対応と追加学習のレシピ)
Hugging Face記事の性能表は、BeamのBF16・FP8・NVFP4間を比較したReflectionチーム提供値であり、他モデルとの独立比較ではない。モデルカードには評価時のtemperature=0.7とtop_p=0.99が明記されているが、その記載だけで各用途への適合性が保証されるわけではない。(性能表 / Reflectionのモデルカード)
EastBraverの見立て: 今回は「公開予定のモデル」から、重みとレシピを使って検証できる候補へ進んだ。採用判断では、ライセンスの自由度とGPU資源の負担を分けたい。推論用の量子化構成を、そのまま追加学習にも使えると見積もらないことが重要だ。(判断の根拠)
- 出典: Reflection / Hugging Face(公式情報、2026-10-16公開。個別の実公開時刻は未確認)
RealtimeBenchで実時間進行時の評価順位が逆転
Panらが同一タスクを異なる時計条件で比較した評価では、GPT-6.1-solと高速な判断モデルJevの順位が、一時停止時と実時間進行時で逆転した。GPT-6.1-solの平均応答時間は約19秒で、推論品質だけでは、動き続けるゲームで間に合う行動を選べなかった。(著者らの比較評価)
RealtimeBenchは6種類のゲーム、計180タスクからなる。時計条件の比較には各ゲーム種10件のテストタスクを用い、一時停止、通常進行、1.5倍、2倍の4条件を照合した。モデルには画像ではなく構造化テキストで状態を与え、応答待ちの間も直前に受理された操作を継続する。ゲームごとの進行速度は異なる。(タスク分割と評価条件 / 時計条件)
比較表: 一時停止評価と実時間進行評価の違い
平均スコアは、ゲーム別の基準への到達度を0〜100へ正規化した値で、勝率ではない。同じ観測・操作条件でも、推論中に環境が進むかどうかで比較結果が変わった。(採点方法)
| 観点 | 一時停止 | 実時間進行 |
|---|---|---|
| モデル間の結果 | GPT-6.1-solがJevを6種類中5種類で上回った。(比較結果) | 平均スコアはGPT-6.1-solが1.51、Jevが13.51となり、順位が逆転した。(比較結果) |
| 評価に含まれる時間の影響 | 推論中にゲームを止めるため、応答待ちによる状況変化を除外する。(評価条件) | 判断の質に加えて、応答遅延と操作適用までの遅れが結果を左右する。(評価条件) |
TORSIは、実行時の行動を高速な生徒モデルに任せ、低速な教師モデルによる失敗分析と修正の試行をゲームの試行間へ分離する。指示は別の検証タスクで平均スコアが改善した場合だけ採用し、生徒の重みやインターフェースは固定する。ゲーム中に教師を呼び出す構成ではない。(手法と採用条件)
著者らによると、2回の指導後、最終採用した指示によりJevの平均テストスコアは24.19へ上昇し、全ゲーム種で改善した。テストタスクは指示の選択には使っていない。同じ指示を他モデルへ再調整なしで適用すると平均では改善したが、ゲーム別には悪化も残った。(採用後の結果 / 他モデルへの適用)
EastBraverの見立て: AI Agent評価では、停止した環境での推論品質と、実時間で間に合う判断を分けて測りたい。ただし、TORSIの結果は構造化された状態を受け取り、教師が保存状態へ戻って試行できるシミュレーションで得られたものだ。不可逆な実環境への適用や、この構成の最適性まで実証した結果ではない。(著者らの結果と限界)
- 出典: arXiv(原著論文、2026-10-16のarXiv告知対象。提出日時とは異なる)
AWSがAgentCoreを使った継続評価の運用事例を公開
AWSは、社内の営業向けマルチエージェントシステムについて、Amazon Bedrock AgentCore Evaluationsを使った9段階の継続評価を解説した。開発時の比較からCI/CD、本番監視、失敗例を評価データへ戻す工程までを扱う。レイテンシやエラー率が正常でも、売上の単位や顧客の範囲を誤った回答は通り得る、という実際の課題が出発点になっている。(AWSの事例)
評価はツール、個別エージェント、マルチエージェント全体の各層に置く。既知の数値は決定論的に照合し、推論や有用性はLLM判定器で採点する。本番では30分周期の評価を回し、3回連続で閾値を外れた場合に当番担当者へ通知する。AWSが自社システムに合わせて選んだ運用条件であり、すべての業務に共通する既定値ではない。(評価階層と運用周期)
EastBraverの見立て: 本番導入前後の評価を、モデル選定時だけの作業に閉じない点が参考になる。自社で取り入れるなら、まず売上単位、期間、顧客範囲など、誤ると業務判断を変える失敗を定義し、その失敗をどの層で検知するかを決めたい。この記事の運用効果はAWSの自己報告であり、他社環境での再現を示すものではない。(判断の根拠)
- 出典: AWS(公式の運用事例、2026-10-17 05:48 JST)
BiShield-TEE論文が一方向の重み難読化を解析
今回の論文で著者らが示したのは、公開事前学習モデルから微調整したモデルを一方向難読化で守る場合、秘密変換に一意で高精度な推定値が存在するという「解の一意決定性(Solution Determinacy Property: SDP)」だ。端末上の攻撃者がTEE外の難読化重みや実行環境へアクセスできることを前提とし、遠隔APIへの照会だけで成立する攻撃ではない。(解析と脅威モデル / SDPの定義)
GroupCoverへの攻撃は、推定変換に残るブロック対角構造をクラスタリングで求め、各グループ内で重みを近似復元する。ArrowCloakでは、主成分分析で共通マスクの方向を推定し、直交射影でその成分を除いてから最小二乗法で重みを近似復元する。重みの再構成自体は照会不要で、下流分類ヘッドの再学習に使う照会は訓練データの1%未満に制限されている。(攻撃手順 / 照会条件)
著者らの複数モデル・タスク評価では、復元した代理モデルのタスク正解率を、モデル全体をTEE内で保護するブラックボックス基準の正解率で割った比の平均が、GroupCoverとArrowCloakのいずれも2.44倍だった。これは鍵の完全復元率や、元の全重みがビット単位で一致した割合ではない。(評価指標と結果)
比較表: 一方向難読化とBiShield-TEEの違い
BiShield-TEEは、複数の鍵候補が整合するようにし、真の鍵を一意に同定できない逆問題へ変える。ただし、一意性を崩すだけで十分とはせず、完全構成では変換とスケーリングを組み合わせる。(方式 / 構成要素の検証)
| 観点 | 一方向難読化 | BiShield-TEE |
|---|---|---|
| 変換範囲 | 重み行列の出力側だけを秘密変換する。(方式の定義) | 入力側と出力側のHouseholder変換に対角スケーリングを組み合わせる。(提案方式) |
| 保護の評価 | 公開事前学習重みを利用する攻撃で、代理モデルの機能が回復した。(評価結果) | 著者らの評価では、完全構成が代理モデルの正解率をブラックボックス基準まで抑えた。(評価結果) |
EastBraverの見立て: 重み保護では、TEEを採用したかだけでなく、公開事前学習重みから何を推定できるかまで確認したい。一意な鍵を隠せても、モデル機能の近似回復を防げるとは限らないため、追加学習で配布する重みの保護は、方式の完全構成と脅威モデルを一組で評価する必要がある。(判断の根拠)
- 出典: arXiv(原著論文、2026-10-16のarXiv告知対象。既存コードの新規公開ではなく、解析と評価を扱う)
ほかの確認済みの更新
- Google ResearchがデジタルツインVERIDなどの実験基盤を提示:実験装置、試薬、液量などの状態を追跡するVERIDと、分子探索で設計・実験・学習を繰り返す個別の研究成果を紹介した。VERIDの追跡可能な自動化とタンパク質探索の閉ループを統合するのは次の段階であり、統合済みの自律実験室を完成させた発表ではない。(Google Researchの研究紹介)
- NVIDIAとAI4Bharatが約2.8兆トークンのIndicコーパスを公開予定:22言語のコーパスNemotron-pretraining-Indic-v1を近日公開予定とし、GPUで高速化したデータ生成レシピも公開した。約2.8兆は品質判定で採用したコーパスの規模で、修正文や、同じ原文から派生した翻訳・表記違いを含む。学習を実行したトークン数とは区別する必要がある。(NVIDIAとAI4Bharatの発表)
