生成AIとは基盤モデルがコンテンツを生成する仕組みと限界
生成AIは、入力の指示やデータをもとに文章・画像・音声・動画・コードを生成するAIシステムで、出力は確率的に選ばれた候補にすぎません。AI・機械学習・基盤モデル・LLMとの違いと、NIST AI 600-1が示すConfabulationなど固有リスクを整理します。
#llm-inference#frontier-model#safetyPublishedUpdatedGuides
技術の名前だけでは、設計や実装の判断には使えません。何を指すのか、似た概念と何が違うのか、どこで判断を誤りやすいのかを、一次情報から整理する技術ガイドの一覧です。実装前に確認しておきたい判断材料を、ここで一つずつまとめて丁寧に公開しています。
Concept review sequence
25 entries
生成AIは、入力の指示やデータをもとに文章・画像・音声・動画・コードを生成するAIシステムで、出力は確率的に選ばれた候補にすぎません。AI・機械学習・基盤モデル・LLMとの違いと、NIST AI 600-1が示すConfabulationなど固有リスクを整理します。
#llm-inference#frontier-model#safetyPublishedUpdatedLLMはLarge Language Modelの略で、大量のデータから言語のパターンを学び、入力に続くTokenを予測しながら文章やコードを生成するモデルです。生成AIやAI Agentとの違い、Context WindowやSamplingの揺れを含む運用判断を整理します。
#llm-inference#software-engineering#frontier-modelPublishedUpdatedFine-tuningは、学習済みのLLMへ追加データを与えて重みを更新し、振る舞いを変える手法です。Prompt・RAG・蒸留との使い分けや、LoRAで下がるのは学習コストだけで、データ整備・Version記録・再学習など運用コストは残る点まで整理します。
#llm-inference#model-ops#software-engineeringPublishedUpdatedAI Agentは、LLMが目標に応じて処理の進め方やToolの利用を自ら選び、外部システムを読み書きしながら複数ステップを進めるシステムです。事前に経路を固定するWorkflowとの違いや、Identity・承認・評価を含む本番実装の判断基準を整理します。
#ai-agent#software-engineering#agentic-infraPublishedUpdatedLLM APIは、アプリケーションからLLMへ入力を送り生成結果を受け取るInterfaceで、HTTP 200が返っても処理成功とは限りません。Streamingの完了保証やRate Limit、再試行時のIdempotency設計まで整理します。
#llm-inference#software-engineering#infrastructurePublishedUpdatedPromptとInstructionとは、モデルへ渡す入力全体と、その中で振る舞いを指示する部分という、指す範囲が異なる二つの言葉です。System InstructionはToolやAuthorizationの代わりにならず、指示とデータを分離する設計とVersion管理の要点を整理します。
#llm-inference#software-engineering#safetyPublishedUpdatedLLMのContextは、モデルが一回の推論で参照できるTokenの集合であり、画面上の履歴を送らなければ参照されません。Context WindowやMemory、RAGとの違いに加え、Lost in the Middleが示す長い入力での情報利用の課題も整理します。
#llm-inference#software-engineering#ai-agentPublishedUpdatedRAGとは、LLMの学習済み知識だけに頼らず、外部から検索した関連情報をContextへ渡して生成する構成のことです。Fine-tuningやTool呼び出しとの違い、Chunkingや権限フィルタの設計、検索と生成を分けて評価する方法を整理します。
#llm-inference#software-engineering#infrastructurePublishedUpdatedPrompt Engineeringとは、モデルへ渡すInstructionや例、出力条件を設計し、実際の結果を評価しながら改善する工程のことです。一件の成功ではなく評価セットで比較し、Context・Tool・Policyなど直せない問題の切り分け方を整理します。
#llm-inference#software-engineering#evaluationPublishedUpdatedStructured Outputとは、LLMの出力をあらかじめ定義した構造に沿って受け取るための仕組みのことです。JSON modeやFunction Callingとの違い、RefusalやSchema未対応時の扱い、業務上の正しさを分けて検証する方法を示します。
#software-engineering#llm-inference#safetyPublishedUpdatedAIシステムのIdentityとAuthorizationは、利用者・Agent・実行先Toolの識別と認可を分けて設計する考え方です。User-delegated access、Machine-to-machine、承認を伴う更新の実行Patternと、TokenのScope設計を整理します。
#ai-agent#governance#safetyPublishedUpdatedHuman-in-the-Loopは、AI Agentの実行ループへ人間の判断点を組み込む設計で、承認・確認・Review・移譲を目的ごとに分けて置きます。MCPのElicitationやSDKの中断再開、承認を形骸化させない運用を整理します。
#ai-agent#governance#safetyPublishedUpdatedAI AgentのToolとは、モデルが必要に応じて利用を要求できる外部の機能や操作のことです。Function CallingやAPI、MCPとの違い、Input Schemaや認可の設計、更新系Toolに置く止められる境界を整理します。
#ai-agent#software-engineering#safetyPublishedUpdatedプロンプトインジェクションとは、LLMへ渡るテキストに混入した命令が、開発者の用意した指示を上書きしてしまう攻撃のことです。直接・間接の経路とJailbreakとの違い、Toolを持つAgentで被害が誤操作に広がる構造、多層防御の設計を整理します。
#safety#ai-agent#llm-inferencePublishedUpdatedGuardrailsは、LLMアプリケーションの入力・出力・実行を、モデルへの指示ではなく機械的な検査と制御で守る防御層です。確率的な内容検査の分類器と、Tool権限や実行前HookでToolを止める決定論的な層を分け、発動の監査まで整理します。
#safety#ai-agent#governancePublishedUpdatedMCPとは、AIアプリケーションが外部のデータやTool、定型Promptへ接続するためのオープンプロトコルで、Agentそのものではありません。Host・Client・Server構成とTools・Resources・Promptsの役割、Transportの違いと認可の境界を整理します。
#remote-mcp#ai-agent#software-engineeringPublishedUpdatedAI AgentのSkillとは、Agentへ手順と知識を渡すための形式で、実体は`SKILL.md`を中心にしたただのフォルダのことです。Progressive Disclosureの三段階、ToolやMCP・System Promptとの違い、導入時に確認すべき信頼境界を整理します。
#ai-agent#software-engineering#agentic-infraPublishedUpdatedContext Engineeringは、LLMが推論するたびに限られたContext Windowへ何を入れ何を外すかを選び続ける工程です。System Prompt・履歴・Tool結果・Memoryを層で分け、Preloadと必要時取得の使い分けまで整理します。
#ai-agent#llm-inference#software-engineeringPublishedUpdatedAI AgentのMemoryとは、セッションや実行をまたいでAgentが参照する外部状態で、モデル自体は何も記憶していません。ContextやRAGとの違い、Short-termとLong-termの分離、事実と推測を混在させない設計、削除要件までを整理します。
#ai-agent#software-engineering#agentic-infraPublishedUpdatedHarness Engineeringは、AI Agentが仕事を進め、結果を検証し、失敗から回復できるようモデルの外側にある実行環境を設計する取り組みです。Tool・権限・Test・Feedbackを含む要素と、Model更新に合わせて削る考え方を整理します。
#ai-agent#software-engineering#agentic-infraPublishedUpdatedAI AgentのSandboxとは、Agentが実行するコードやコマンドの影響が届く範囲を、実行環境の側で制限する仕組みのことです。Tool権限やGuardrailsとの違い、Filesystem・Network隔離の構成、本番導入前に確認すべき点を整理します。
#ai-agent#safety#agentic-infraPublishedUpdatedLoop Engineeringとは、AI Agentが観測・判断・実行・検証を反復するLoopを、どの条件で続け、止め、人間へ移譲するか設計することです。完了をAgentの自己申告に任せず、進捗停滞やBudget超過、Retry・Reflection・Replanを区別して停止条件を整理します。
#ai-agent#software-engineering#evaluationPublishedUpdatedAI AgentのObservabilityとTraceとは、利用者のRequestから最終結果まで、Modelの判断とTool実行の経路を追跡できる状態にすることです。Log・Metric・Trace・Transcriptの役割分担と、Outcomeまで確認するAlert設計を整理します。
#ai-agent#software-engineering#evaluationPublishedUpdatedAI Agent評価は、最終回答だけでなくTool利用や実行後の外部状態まで採点し、期待した振る舞いを再現できるか確認する取り組みです。Unit Testやモデルベンチマークとの違いを整理し、Offline評価と本番監視をつなげて失敗を評価セットへ戻す運用を示します。
#evaluation#ai-agent#software-engineeringPublishedUpdatedAI BOMは、AIシステムを構成するModel・Data・Software・Runtimeとその関係を機械可読に記録するBill of Materialsです。承認した構成と実際に動いた構成を比較し、SBOMやModel Cardとの役割の違いも整理します。
#governance#model-ops#safetyPublishedUpdated