youtube版(スライド付き) ※youtube版は9/19まで試験配信中関連リンク Modeling Attacks on AI-Powered Apps with the AI Kill Chain Framework AI技術の進化、特にAIエージェントの登場は、私たちに新しい利便性をもたらしますが、同時に「AIアプリケーションへの攻撃」という新たなセキュリティ課題も生み出しています。NVIDIAが提唱する「AI Kill Chain」フレームワークは、従来のサイバー攻撃モデルでは捉えきれない、これらのAI特有の攻撃を段階的に理解し、効果的な防御策を講じるための羅針盤です。新人エンジニアの皆さんも、このフレームワークを学ぶことで、将来AI関連プロジェクトに携わる際に、セキュリティの重要性をより深く認識できるはずです。このフレームワークは、AIアプリケーションへの攻撃が以下の5つの主要な段階で進行すると考えます。 Recon (偵察): 攻撃者は、ターゲットとなるAIシステムの構造や利用されているツール、ガードレール（安全対策）の位置などを探り、攻撃計画を立てるための情報を収集します。防御のヒント: システムへのアクセスを制限し、エラーメッセージから機密情報を隠蔽し、不審な挙動を監視しましょう。 Poison (汚染): 攻撃者は、AIモデルが処理するデータの中に悪意のある情報を仕込みます。例えば、不正なプロンプトを直接入力したり（直接プロンプトインジェクション）、共有データベースに有害なデータを紛れ込ませたりします（間接プロンプトインジェクション）。防御のヒント: あらゆる入力データを徹底的にサニタイズ（無害化）し、モデルがデータを読み込む前に内容を言い換えたり、不審なデータ取り込みを監視したりすることが重要です。 Hijack (乗っ取り): 汚染されたデータがモデルに利用されることで、モデルが攻撃者の意図通りに振る舞うように仕向けられます。これにより、特定のツールを強制的に使わせたり、モデルの内部情報を外部に漏洩させたりします。特に自律的に動くAIエージェントでは、モデルの目標そのものが乗っ取られる可能性があります。防御のヒント: 信頼できるデータとそうでないデータを分けて処理し、モデル自体を不正な入力に強くする訓練を行い、出力される情報が安全かどうかを最終確認するガードレールを設けましょう。 Persist (持続): 攻撃者は、一度成功した乗っ取りの効果を継続させるため、悪意のあるペイロード（攻撃コード）をセッション履歴や共有メモリなど、永続的なストレージに埋め込みます。これにより、単発の攻撃ではなく、継続的にシステムに影響を与え続けられるようになります。防御のヒント: データを永続的に保存する前に必ずサニタイズし、ユーザーが自分の記憶データを管理できる仕組みを提供し、不審なデータ書き込みには人間による承認プロセスを導入しましょう。 Impact (影響): 乗っ取られたAIモデルの出力が、実際に外部システムやデータに損害を与える行動を引き起こす最終段階です。例えば、ファイルの改ざん、不正な金融取引、機密データの抜き出し、信頼を装ったメッセージの送信などです。防御のヒント: 外部に影響を及ぼす可能性のあるアクションには厳重なガードレールを設け、最小限の権限でツールが動作するように設計し、モデルの出力から危険な要素を取り除きましょう。さらに、自律性の高いAIエージェント（Agentic System）においては、攻撃者は「Iterate/Pivot（反復/展開）」というループを利用して、一度の乗っ取りから攻撃を拡大していきます。これは、乗っ取ったモデルを通じて新たなデータソースを汚染したり、エージェントの目標を書き換えたりすることで、攻撃の影響範囲を広げる手法です。防御のヒント: エージェントが利用できるツールやAPIを制限し、その行動計画が元の意図から逸脱していないかを常に検証し、重要な操作には人間の承認を挟む仕組みが有効です。 NVIDIAはこのフレームワークを基に、RAG（Retrieval-Augmented Generation）アプリケーションでの具体的な攻撃と対策の例も示しており、セキュリティ対策を実践するための指針を提供しています。AIを活用したシステムを安全に運用するためには、こうした攻撃の全体像を理解し、多層的な防御を構築することが不可欠です。引用元: https://developer.nvidia.com/blog/modeling-attacks-on-ai-powered-apps-with-the-ai-kill-chain-framework/ How to turn Claude Code into a domain specific coding agent この記事は、LLM（大規模言語モデル）ベースの「コーディングエージェント」を、特定の分野や企業独自のコードに効率よく適応させる方法について、LangChainチームが行った実験と学びを共有しています。 LLMは一般的なライブラリのコード生成は得意ですが、カスタムライブラリや社内APIなど、特定のドメインでは苦手とします。そこで彼らは、自社ライブラリ（LangGraph, LangChain）に特化したコードをLLMがうまく生成できるよう、様々なアプローチを試みました。彼らの実験から得られた最大の発見は、「要点がまとまった質の高い情報」と「必要に応じて詳細な情報にアクセスできるツール」を組み合わせることで、最も優れた結果が得られるということです。具体的には、標準のClaude Codeに、ドキュメントアクセスツール「MCPDocサーバー」を追加した場合、「Claude.md」というガイドファイルだけを追加した場合、そしてこれら両方を組み合わせた場合の4つの設定を比較しました。Claude.mdは、特定のライブラリに特化し、よくある間違いやベストプラクティス、コーディング標準、サンプルコードなどを凝縮したものです。評価は機能性だけでなく、コードの品質や設計も重視されました。結果として特に注目すべきは、Claude.mdのような要約されたガイドが、生ドキュメントへのアクセスツール単体よりも優れた性能を示したことです。LLMは、大量の生ドキュメントを渡されても、そこから必要な情報を効率的に見つけ出すのが苦手な傾向があることが分かりました。Claude.mdに書かれた「避けるべき落とし穴」や「守るべき原則」が、LLMがより深くライブラリを理解し、質の高いコードを書く手助けになったのです。そして、最高のパフォーマンスを発揮したのは、Claude.mdで基本的な知識と方向性を提供し、さらにMCPDocサーバーで詳細なドキュメントを参照できる、両方を組み合わせた設定でした。この結果は、AIコーディングエージェントを活用する上で、私たちエンジニアに重要なヒントを与えてくれます。新人エンジニアの皆さんも、ぜひ以下の点を意識してみてください。情報過多は避ける: 大量の生ドキュメントをそのまま渡すのは非効率です。本当に必要な情報を厳選し、分かりやすく整理して与えることが大切です。「Claude.mdのようなガイド」を活用する: 特定のライブラリでよく使うパターンや陥りやすいミス、デバッグ方法などをまとめた「質の高い指示書」は非常に効果的です。まずはこれを作成することから始めましょう。ガイドとツールの組み合わせが最強: 基本的な知識と方向性を与えるガイドと、必要に応じて詳細な情報を調べられるツールを組み合わせることで、エージェントは最も効率的かつ高品質なコードを生成できるようになります。引用元: https://blog.langchain.com/how-to-turn-claude-code-into-a-domain-specific-coding-agent/ MCPサーバーの公式オープンカタログ「MCPレジストリ」がプレビュー公開 ―信頼できるMCPサーバーの発見と独自のサブレジストリ展開が容易に gihyo.jp タイトル: MCPサーバーの公式オープンカタログ「MCPレジストリ」がプレビュー公開 ―信頼できるMCPサーバーの発見と独自のサブレジストリ展開が容易に gihyo.jp 要約: 新人エンジニアの皆さん、こんにちは！ AI技術が日々進化する中で、「MCP（Model Context Protocol）」という言葉を耳にしたことはありますか？これは、AIエージェント同士が情報をやり取りし、連携するための基盤となるプロトコルです。そして、このMCPを扱うサーバーを、より安全かつ効率的に見つけられるようになる新しい仕組み「MCPレジストリ」が、プレビュー版として公開されました。「MCPレジストリ」は、MCPコミュニティが公式に提供する、信頼できるMCPサーバーのリストです。例えるなら、皆さんがスマートフォンアプリを探すときに使うアプリストアのようなもので、数多くのMCPサーバーの中から「これは信頼できる！」と認定されたものだけが集められています。これにより、AIエージェントを開発するエンジニアが、安心して利用できるMCPサーバーを見つけたり、自分が開発したMCPサーバーを広く公開したりすることが、ずっと簡単になります。このレジストリの目的は、MCPサーバーの配布と発見のプロセスを「標準化」すること。つまり、誰でも同じルールでサーバーを探したり、登録したりできるようにすることで、MCPエコシステム全体の健全な発展を促す狙いがあります。開発は、MCPを開発したAnthropicのメンバーをはじめ、多くの企業が参加するMCPコミュニティによって進められました。「MCPレジストリ」の重要なポイントは、その信頼性と透明性です。レジストリワーキンググループが管理しており、万が一、スパムや悪意のあるコードを含むサーバー、正規のサービスを装ったなりすましサーバーが見つかった場合でも、コミュニティメンバーからの報告に基づいて、すぐにブラックリストに登録し、公開リストから削除できる仕組みが整っています。これにより、利用者は常に安全なサーバーを選べるようになっています。また、このレジストリはGitHub上でオープンに公開されており、OpenAPI仕様に準拠しています。この「オープン性」が大きな特徴で、企業や組織は、公開されているMCPレジストリのデータを活用して、独自の基準に基づいた「プライベートなサブレジストリ」を構築できます。例えば、社内で利用するMCPサーバーだけをリストアップしたり、特定のセキュリティ基準を満たすサーバーだけを表示したり、といった柔軟な使い方が可能になります。実際に自分のMCPサーバーを登録したり、レジストリのデータにアクセスしたりする方法は、GitHub上のガイドで詳しく説明されていますので、興味がある方はぜひ確認してみてください。一点注意が必要なのは、現在公開されているのはあくまで「プレビュー版」であるという点です。これは、一般公開に向けてユーザーの皆さんのフィードバックを募り、より良いものにしていくための段階です。そのため、データの耐久性や互換性に関する保証はまだなく、今後、互換性のない変更が行われる可能性もあります。本格的な運用を始める前に、この点を理解しておくことが大切です。このMCPレジストリは、AIエージェント技術の発展において、基盤となる重要なインフラの一つです。将来、皆さんがAIエージェント開発に携わる際、このレジストリが大きな助けとなることでしょう。引用元: https://gihyo.jp/article/2025/09/mcp-registry-preview 【ずんだもん】ずんだもんがぬいぷりけおすわりになって登場！顔と前髪がアップリケ刺繡になっているぬいぐるみを展開【プライズ】人気キャラクター「ずんだもん」の新作プライズ「ぬいぷりけおすわり」ぬいぐるみが、2025年9月12日(金)より全国のアミューズメント施設やオンラインクレーンゲームに登場します。約15cmのおすわりポーズで、「笑顔」と「照れ顔」の2種類がラインナップ。顔と前髪がアップリケ刺繍で可愛らしく表現されており、ボールチェーン付きでお出かけにもぴったりです。日々の癒しに、ぜひゲットを検討してみてはいかがでしょうか。引用元: https://game.boom-app.com/entry/onlinecranegame-news20250911-11 お便り投稿フォーム VOICEVOX:ずんだもん

Ask this episode

“What did the council decide on item 42?” — answered with the speaker and the moment.

Transcript

Related