# LLMJackingは通信量監視だけで捉えられるか

> LLMJackingの監視範囲とvLLMのCUDA向け配布変更を整理。OpenAIのPandoがGit互換性を保ちながら並列処理を広げる設計、AgentCoreの遅延計測、Crawl4AIによる取り込み前処理、部品代替評価で人に残る判断も追う。原典を照合し、実装・運用で確認すべき条件を分けて示す。

Canonical URL: https://labs.eastbraver.com/digest/ai-digest-20261103
Published: 2026-11-03T06:30:00+09:00
Category: ai-digest
Tags: infrastructure, llm-inference, open-source, agentcore, aws, amazon-bedrock, ai-agent, enterprise-ai

まずLLMJackingの報告から、通信量や請求額に加え、認証情報・権限・GPU資源の変更を監視できているか確認したい。続いて、vLLMのCUDA 12.9向け配布物の公開終了と互換性変更、OpenAIのPandoが多数の並列pushを扱う設計を読む。AgentCoreは遅延の測定区間、Crawl4AIは取り込み前処理と設定の変更条件、部品代替評価の実装例は仕様比較と技術者の判断の分担が要点となる。各更新は独立しており、自社の構成と業務に照らして読む。

判断したいのは、認証情報の悪用に備える監視範囲、推論基盤を更新する条件、多数のエージェントが共有する開発基盤、検索用データの準備と評価の分担である。各更新に直接の因果関係はない。自社で必要な変更と、提供元の実装例を参考にできる範囲を分けて確認する。（[Mandiantの調査](https://cloud.google.com/blog/topics/threat-intelligence/llmjacking-monetizing-compromised-cloud-models/) / [vLLMのリリース](https://github.com/vllm-project/vllm/releases/tag/v0.33.0rc3) / [Pandoの設計](https://openai.com/index/scaling-git-at-openai/) / [AgentCoreのメトリクス](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/observability-runtime-metrics.html) / [Crawl4AIの構成例](https://aws.amazon.com/blogs/machine-learning/prepare-web-content-for-amazon-bedrock-knowledge-bases-with-crawl4ai/) / [部品代替評価の構成例](https://aws.amazon.com/blogs/machine-learning/agentic-engineering-intelligence-with-amazon-nova-multimodal-embeddings-and-amazon-bedrock-agentcore/)）

## LLMJacking、認証情報の窃取からモデル・GPU資源の不正利用へ

Mandiantが報告したLLMJackingは、チャットボットの画面を経由せず、公開LLMエンドポイントや有効なAPIキーを使ってバックエンドのモデル資源を直接悪用する攻撃だ。複数の調査で主な侵入経路となったのは、露出・窃取されたIAM認証情報、サービスアカウントキー、GitHubの個人アクセストークン、使用中のセッショントークンだった。（[出典1](https://cloud.google.com/blog/topics/threat-intelligence/llmjacking-monetizing-compromised-cloud-models/)）

侵入後の権限拡大とアクセス維持も報告されている。ある攻撃者は、高権限サービスアカウントの一時認証情報を生成し、シークレット管理サービスから認証情報を盗み出した。別の攻撃者は、不正なIAM・サービスアカウントの作成や仮想マシンへのSSHキー追加によってアクセスを維持していた。これらは複数の侵入事例にまたがる観測である。（[出典1](https://cloud.google.com/blog/topics/threat-intelligence/llmjacking-monetizing-compromised-cloud-models/)）

不正利用はモデルAPIの推論枠にとどまらない。Mandiantは、従量課金契約や高価格帯モデル、大量の推論の利用に加え、GPU搭載インスタンスの作成やクォータ増加の試みを報告した。GTIGは、盗んだAPI枠をLLM Mixers経由で販売する事例も観測している。Mandiantによると、個別事例では不正な資源消費による請求が1日で100,000米ドルを超え、一部組織ではアクセス取り消しまでの累計が1,000,000米ドルに達した。（[出典1](https://cloud.google.com/blog/topics/threat-intelligence/llmjacking-monetizing-compromised-cloud-models/)）

ただし、キーの悪用開始を通信量の急増だけで捉えられるとは限らない。Mandiantの個別事例では、公開GitHubリポジトリから収集したAPIキーを、生成上限を1トークンにした`max_tokens=1`のリクエストで検証し、被害組織のEDRとSIEMの通信量異常アラートに検知されなかった。報告された手口を踏まえると、使用量・請求額に加え、認証情報やアカウントの作成、SSHキー追加、GPU資源の作成、クォータ増加要求も監視対象になる。（[出典1](https://cloud.google.com/blog/topics/threat-intelligence/llmjacking-monetizing-compromised-cloud-models/)）

**EastBraverの見立て:** 防御の範囲は、[LLM](/guides/llm)へのアクセス管理からクラウド権限まで含めて判断する必要がある。公開エンドポイントへのアクセスと認証情報の露出を抑えることに加え、サービスアカウントの認証トークンを生成する権限や資源管理権限の制限が、侵入後の悪用範囲を抑える重点になる。（[出典1](https://cloud.google.com/blog/topics/threat-intelligence/llmjacking-monetizing-compromised-cloud-models/)）

- 出典: [Google Cloud](https://cloud.google.com/blog/topics/threat-intelligence/llmjacking-monetizing-compromised-cloud-models/)（Mandiantの調査報告） / [The Register](https://www.theregister.com/security/2026/11/02/token-thieves-costing-companies-100k-per-day-in-illicit-llm-charges/5306967)（同報告を確認した報道、2026-11-03 01:00 JST）

**関連する技術ガイド:** [LLM](/guides/llm)

## vLLM v0.33.0、CUDA 12.9向け配布終了と互換性変更

vLLMの今回のリリースは、タグがv0.33.0rc3でも、GitHub上のリリース名はv0.33.0で、prereleaseはfalseに設定されている。取得時点の公開設定では、タグ名とリリースの扱いを区別して読む必要がある。（[出典1](https://api.github.com/repos/vllm-project/vllm/releases/tags/v0.33.0rc3)）

新規対応にはReflection Beam-1.0とDFlash2 drafter、Muse Spark Open、Step-5 Preview、ColUltraVBERTなどが含まれる。投機的デコードでは、DFlashやDSparkなどのブロック拡散型drafter向けにXPressを追加した。また、明示的に有効化する検証方式FLyを追加した。FLyは対象モデルの出力分布を厳密には保たず、出力品質が低下する可能性がある。DFlash／DSparkはトークン予算内にドラフト用スロットを予約しなくなる。（[リリース](https://github.com/vllm-project/vllm/releases/tag/v0.33.0rc3) / [FLyの実装説明](https://github.com/vllm-project/vllm/pull/53987)）

導入基盤では、PyTorch 2.14.0、torchvision 0.29.0、Triton 3.8.0へ更新する。CUDA向けのリリースwheelとイメージはCUDA 13.0のみとなり、CUDA 12.9のwheelと`-cu129`／`-cu129-ubuntu2404`イメージは公開されなくなる。一方、ROCmは既定のイメージとwheelをROCm 10.0へ移すが、ROCm 7.2向けwheelと`-rocm72`イメージも引き続き公開する。（[出典1](https://github.com/vllm-project/vllm/releases/tag/v0.33.0rc3)）

APIでは、対応する生成モデルで既定有効の`/v1/decisions`と、`/v1/embeddings`でのトークン埋め込みおよび任意のlate chunkingが加わる。運用面では、処理が進まなくなったエンジンやワーカープロセスのスタックトレースを出力するwatchdogも導入される。（[出典1](https://github.com/vllm-project/vllm/releases/tag/v0.33.0rc3)）

互換性では、Medusa、MLP speculator、従来のRay compiled-graph executorが削除される。`--mamba-cache-mode`、LM Format Enforcer、`--ir-op-priority`は非推奨となる。生成一時停止中に送信されたリクエストにはHTTP 503が返り、NIXL connectorの利用にはNIXL 1.5以降が必要になる。（[出典1](https://github.com/vllm-project/vllm/releases/tag/v0.33.0rc3)）

CUDA 13で通常実行する場合はR580以降のドライバーが必要となる。公式Dockerイメージでは、対応するプロフェッショナルGPUやデータセンターGPUに限り、`VLLM_ENABLE_CUDA_COMPATIBILITY=1`でR535／R570ドライバー向けの互換モードを利用できる。すべてのGPUや古いドライバーで動くという意味ではなく、利用するGPUとドライバー系列の対応確認が必要だ。（[v0.33.0rc3の導入資料](https://raw.githubusercontent.com/vllm-project/vllm/v0.33.0rc3/docs/getting_started/installation/gpu.cuda.inc.md)）

**EastBraverの見立て:** 既存環境の更新判断では、新規対応の利点に加えて、利用中の配布物と削除対象の機能が移行負担を左右する。特にCUDA 12.9向け配布物や削除対象に依存する構成では、更新を配布物・設定の移行として捉える必要がある。（[出典1](https://github.com/vllm-project/vllm/releases/tag/v0.33.0rc3)）

- 出典: [vLLM](https://github.com/vllm-project/vllm/releases/tag/v0.33.0rc3)（公式情報、2026-11-02 19:10 JST）

## OpenAIのPando、Git互換のまま並列pushを広げる設計を公開

OpenAIは、Codexが生む多数の並列作業に対応するため構築したGit互換バックエンドPandoの設計を解説した。同社のmonorepoの開発を既に支えており、Gitのプロトコルとクライアントとの互換性を維持して、従来の操作方法のまま移行したとしている。今回の新規性は内部基盤の設計解説の公開であり、Pando自体がこの日に稼働を始めたという意味ではない。（[出典1](https://openai.com/index/scaling-git-at-openai/)）

書き込みでは参照ごとに更新を調整し、関係しないbranchへのpushを並列に進める。その交換条件が、リポジトリ全体では因果一貫性を採る点だ。同じ参照への更新順序を保つ一方、複数のbranchを読むクライアントが、すべての参照について同じ時点のスナップショットを得られるとは限らない。（[出典1](https://openai.com/index/scaling-git-at-openai/)）

読み取りでは、fetchごとに依頼者専用のpackfileを作り直すのではなく、push時のpackfileを再利用する。Pandoはクライアントが必要とするpackfileを選び、Gitプロトコルの`packfile-uri`で取得先を返す。地域ごとのキャッシュから同じデータを多数のクライアントへ配信する設計で、クライアントが既に持つオブジェクトを重複して受け取る場合もある。（[出典1](https://openai.com/index/scaling-git-at-openai/)）

OpenAIは、自社monorepoでpushの遅延中央値を約80％削減したと報告する。ただし、これは同社の構成と負荷での運用結果であり、記事中の比較シミュレーションも他社環境の実測性能を保証するものではない。（[出典1](https://openai.com/index/scaling-git-at-openai/)）

**EastBraverの見立て:** エージェントの並列数を増やす際は、Gitの操作方法が同じでも、参照の一貫性とデータ配信の条件を別々に確認したい。自動化が一つのbranchの更新順序に依存するのか、複数branchの同時点の状態に依存するのかで、この設計を参考にできる範囲は変わる。（[出典1](https://openai.com/index/scaling-git-at-openai/)）

- 出典: [OpenAI](https://openai.com/index/scaling-git-at-openai/)（公式技術解説、2026-11-03 00:30 JST）

## AgentCoreのプラットフォームV2、基盤側の遅延を測るOverheadLatencyを追加

Amazon Bedrock AgentCore Runtimeは、プラットフォームバージョンV2の全エージェントランタイムで`OverheadLatency`の出力を開始した。リクエスト受信からエージェントが応答の最初のバイトを返すまでのうち、エージェント自身の処理時間を除き、プラットフォームに起因する時間を測定する。（[出典1](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/observability-runtime-metrics.html) / [出典2](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/release-notes.html)）

AWSは、`OverheadLatency`を`Latency`と併用し、コールドスタートやリクエストの遅延に対する基盤側とエージェント側の寄与を把握する用途を案内している。ただし、`Latency`はリクエスト受信から最終応答トークンの送信までの全体時間であり、`OverheadLatency`とは測定区間の終点が異なる。（[出典1](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/observability-runtime-metrics.html)）

出力先はCloudWatchの`AWS/Bedrock-AgentCore`名前空間。対象は`InvokeAgentRuntime`、`InvokeAgentRuntimeWithWebSocketStream`、`InvokeAgentRuntimeCommand`、`InvokeAgentRuntimeCommandShell`への全リクエストとなる。ランタイムメトリクスは1分間隔でまとめて出力され、プラットフォームV2のクロスアカウント呼び出しではリソース所有者のアカウントに公開される。（[出典1](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/release-notes.html) / [出典2](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/observability-runtime-metrics.html)）

> [!CAUTION] 確認できていない点
> 参照したリリースノートとランタイムメトリクス文書では、OverheadLatency固有の単位・ディメンション・対応統計を確認できなかった。

**EastBraverの見立て:** [可観測性とトレーシング](/guides/observability-tracing)を整える際の切り分けには役立つが、`Latency`との差分をそのままエージェント自身の処理時間とは解釈できない。最初の応答バイトまでと最終応答トークンまでという、測定区間の違いを踏まえて読む必要がある。（[出典1](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/observability-runtime-metrics.html)）

- 出典: [AWS](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/release-notes.html)（公式ドキュメント、リリースノートRSSの公開日時は2026-11-03 04:00 JST）

**関連する技術ガイド:** [AI Agent](/guides/ai-agent)

## Crawl4AIでBedrock取り込み前の本文とメタデータを整える

AWSは、ウェブ情報をCrawl4AIで前処理し、Amazon Bedrock Knowledge Basesへ取り込む構成例を紹介した。通常の公開ウェブ情報ではAmazon Bedrock Web Crawlerを出発点とし、本文領域の抽出、不要部分の削除、独自メタデータの付与が必要な場合にCrawl4AIを使う位置付けだ。この経路は既知のウェブサイトを対象とするバッチ取り込みであり、推論時にウェブへリアルタイムアクセスする機能ではない。（[出典1](https://aws.amazon.com/blogs/machine-learning/prepare-web-content-for-amazon-bedrock-knowledge-bases-with-crawl4ai/)）

前処理では、CSSセレクターで抽出領域を指定し、巡回範囲や深さ、ページ数上限、URLパターンで収集対象を絞れる。AWSが示すDefaultMarkdownGeneratorとPruningContentFilterの組み合わせは、ナビゲーションなどを減らしながら見出し・リスト・表を保持する。ただし、除去処理はヒューリスティックなため、対象サイトの代表的な出力を確認する必要がある。（[出典1](https://aws.amazon.com/blogs/machine-learning/prepare-web-content-for-amazon-bedrock-knowledge-bases-with-crawl4ai/)）

各ページはMarkdownとメタデータの付随ファイルとしてAmazon S3へ保存し、Knowledge BasesのS3データソースから取り込む。ソースURL、巡回時刻、コンテンツ種別、独自属性は検索結果の絞り込みに使える。Crawl4AIの担当は文書とメタデータの準備までで、以降の解析、チャンク分割、埋め込み、索引作成、検索はKnowledge Basesが担う。この経路はマネージド型と顧客管理型の両方に対応する。（[出典1](https://aws.amazon.com/blogs/machine-learning/prepare-web-content-for-amazon-bedrock-knowledge-bases-with-crawl4ai/)）

付随ファイルは文書名に`.metadata.json`を付け、文書と同じS3の場所へ置く。容量上限はファイルごとに10 KBで、サンプルは超過すると文書と付随ファイルのどちらも書き込む前にエラーで停止する。記事のデータソース設定では、この配置に合わせてMetadata files prefixを空欄にする。（[出典1](https://aws.amazon.com/blogs/machine-learning/prepare-web-content-for-amazon-bedrock-knowledge-bases-with-crawl4ai/)）

付属サンプルはEventBridgeから定期的にECSのFargateタスクを起動する構成だが、これはKnowledge Basesの必須構成ではない。処理対象は公開ページに限られ、認証済みセッションは実装していない。AWSはログインが必要なサイトではまずBedrock Web Crawlerの認証機能を検討し、サンプルへ認証を追加する場合はセッション管理、Secrets Managerでの認証情報管理、セキュリティレビューが必要としている。（[出典1](https://aws.amazon.com/blogs/machine-learning/prepare-web-content-for-amazon-bedrock-knowledge-bases-with-crawl4ai/)）

取り込み設定には変更制約がある。マネージド型の既定のチャンク分割は300トークン、重複率20％で、方式はデータソース接続時に選ぶ。後から方式を変えるには新しいデータソースが必要になるため、AWSは代表的なページと評価質問で方式を比較するよう勧めている。（[出典1](https://aws.amazon.com/blogs/machine-learning/prepare-web-content-for-amazon-bedrock-knowledge-bases-with-crawl4ai/)）

**EastBraverの見立て:** [RAG](/guides/rag)向けの取り込み構成を選ぶ分岐点は、本文や検索用属性をどこまで制御する必要があるかだ。Crawl4AIで制御範囲は広がるが、抽出結果の確認と、Knowledge Bases側のチャンク分割の評価は別々に必要になる。（[出典1](https://aws.amazon.com/blogs/machine-learning/prepare-web-content-for-amazon-bedrock-knowledge-bases-with-crawl4ai/)）

- 出典: [AWS](https://aws.amazon.com/blogs/machine-learning/prepare-web-content-for-amazon-bedrock-knowledge-bases-with-crawl4ai/)（公式情報、2026-11-03 02:11 JST）

## NovaとAgentCoreで部品代替の根拠収集から評価文書作成まで

AWSは、Nova Multimodal Embeddingsによる技術資料検索を、AgentCore上で部品代替の根拠収集から評価文書の下書きまで進めるマルチエージェント構成へ発展させた実装例を公開した。前回の図面やグラフの検索に、代替候補の探索と評価を連携させる処理を加えている。（[出典1](https://aws.amazon.com/blogs/machine-learning/agentic-engineering-intelligence-with-amazon-nova-multimodal-embeddings-and-amazon-bedrock-agentcore/)）

AWSによると、検索対象は事前に埋め込んだ部品データシート、インターフェース管理文書、性能グラフなど。文章と画像を共通の意味空間で扱い、文章の質問やグラフ画像から出典付きの対応図を取得する。AgentCore Runtime上のエージェントはGateway経由で管理型ナレッジベースとウェブ検索を利用するが、画像をクエリーにする検索は別経路となる。この構成の管理型ナレッジベース検索経路は画像クエリーを受け付けないため、画像入力をNovaで埋め込み、S3 Vectorsのインデックスへ直接問い合わせる。（[出典1](https://aws.amazon.com/blogs/machine-learning/agentic-engineering-intelligence-with-amazon-nova-multimodal-embeddings-and-amazon-bedrock-agentcore/)）

処理の連携はプランナーが担う。AWSによると、担当エージェントが候補検索と仕様による絞り込み、採点、写真比較、資料への質問応答、生産終了状況のウェブ確認を分担し、状況確認から代替候補探索、採点までを順に実行できる。仕様適合の判定には、基準部品と技術者の要求に対する許容差ルールをPythonで評価する。写真間のコサイン類似度とClaudeによる物理的差異の分析は補助証拠であり、適合判定の根拠は決定論的な仕様比較に置かれる。（[出典1](https://aws.amazon.com/blogs/machine-learning/agentic-engineering-intelligence-with-amazon-nova-multimodal-embeddings-and-amazon-bedrock-agentcore/)）

AWSによると、システムは代替理由メモと統合影響評価書の下書き、評価の監査記録を作成する。文書は技術者のレビュー用で、部品代替の推奨や承認は行わず、判断は技術者が担う。紹介されたサンプルは架空メーカーAnyCompanyのリアクションホイールで、構造化仕様、インターフェース管理文書、製品写真、画像化したデータシートを組み合わせている。実在メーカーの部品による検証結果ではない。（[出典1](https://aws.amazon.com/blogs/machine-learning/agentic-engineering-intelligence-with-amazon-nova-multimodal-embeddings-and-amazon-bedrock-agentcore/)）

**EastBraverの見立て:** この実装例の価値は、代替の可否を委ねることより、検索した証拠と仕様ルールによる判定を、技術者がレビューできる文書へつなぐ点にある。[人を判断に残す設計](/guides/human-in-the-loop)として、自動化の範囲を評価準備までと捉えると役割分担が明確になる。（[出典1](https://aws.amazon.com/blogs/machine-learning/agentic-engineering-intelligence-with-amazon-nova-multimodal-embeddings-and-amazon-bedrock-agentcore/)）

- 出典: [AWS](https://aws.amazon.com/blogs/machine-learning/agentic-engineering-intelligence-with-amazon-nova-multimodal-embeddings-and-amazon-bedrock-agentcore/)（公式情報、2026-11-03 02:01 JST）

**関連する技術ガイド:** [AI Agent](/guides/ai-agent)

## ほかの確認済みの更新

本文と同じ方法で根拠を確認した更新を、要点だけ短くまとめる。

- **Vera Rubin NVL72向けAICRレシピ、検証構成と適用条件**：AICRは、既存のGPU搭載Kubernetesクラスタに適用する構成を生成し、デプロイ後に検証するツールであり、クラスタ構築やライフサイクル管理は担わない。今回、Vera Rubin NVL72とRKE2、Ubuntuを対象に、学習、推論、Dynamo推論向けのレシピをプレビューとして提供する。早期導入者向けで、Supportedレシピ相当の本番サポートとライフサイクル適格性確認はまだ伴わない。（[出典1](https://github.com/NVIDIA/aicr) / [出典2](https://developer.nvidia.com/blog/making-kubernetes-ai-ready-for-nvidia-vera-rubin-on-day-one/)）
- **OpenAIがSecurity Bug Bountyの報奨金を引き上げ**：ChatGPT、Codex、API Platformなど主要製品の重大な脆弱性は通常最大30,000米ドル、例外的な重大案件は従来どおり最大100,000米ドルとなる。品質・継続参加・優先キャンペーンの条件を満たすと、ボーナス込みで最大172,000米ドルになるが、全報告への固定額ではない。（[OpenAIの発表](https://openai.com/index/rewarding-defenders-with-bigger-bug-bounties/)）
