私立ずんだもん女学園放送部 podcast 20251003

youtube版(スライド付き) 関連リンク Practical LLM Security Advice from the NVIDIA AI Red Team NVIDIAのAIレッドチームが、LLM（大規模言語モデル）アプリケーション開発で直面する主要なセキュリティリスクと、その対策について実践的なアドバイスを公開しました。新人エンジニアの皆さんが、安全なLLMシステムを構築するために知っておくべき3つの重要なポイントを分かりやすく解説します。 1. LLM生成コードの実行によるリモートコード実行（RCE） LLMが生成したコードを、隔離なしに実行することは非常に危険です。execやevalのような関数を使うと、悪意あるプロンプト（指示）で不正なコードが生成・実行され、「リモートコード実行（RCE）」につながり、アプリケーション全体の乗っ取りリスクが生じます。 対策: LLM生成コードの直接実行は避けましょう。動的なコード実行が必要な場合は、WebAssemblyのような厳重に隔離された「サンドボックス」環境で実行が必須です。理想的には、LLMの応答から意図を解析し、許可された安全な機能のみを呼び出す仕組みを構築します。 2. RAGデータソースのアクセス制御の不備 RAG（Retrieval-Augmented Generation）はLLMに外部情報を提供しますが、ここにもリスクがあります。 データ漏洩: ユーザーごとのアクセス権限が不適切だと、機密情報が誤って他のユーザーに見えてしまう可能性があります。 間接的プロンプトインジェクション: RAGデータストアへの書き込み権限が広すぎると、悪意あるデータが注入され、LLMの応答が操作される危険性があります。 対策: 元データのアクセス権限をRAGシステムにも正確に反映し、厳しく管理してください。データストアへの書き込みアクセスは限定し、信頼できるデータのみが追加されるようにしましょう。出力される情報が質問の意図に合っているか「ガードレール」でチェックすることも有効です。 3. LLM出力によるアクティブコンテンツのレンダリング LLMの出力にMarkdownやHTMLのようなアクティブコンテンツ（リンクや画像など）が含まれる場合、ユーザーが気づかないうちにブラウザを通じて機密データが攻撃者のサーバーへ送信される可能性があります。これは「データ流出」につながる重大な問題です。 対策: 画像の読み込み元を、許可された「安全なサイト」に限定する「コンテンツセキュリティポリシー（CSP）」を設定します。 リンクは、クリック前にユーザーがURL全体を確認できるようにするか、手動でコピー＆ペーストが必要な「非アクティブ」な形式にします。 LLMの出力に含まれるアクティブコンテンツは、表示する前に必ず「サニタイズ（無害化）」し、悪意ある記述を取り除くことが極めて重要です。 これらのセキュリティ対策を開発の早い段階から取り入れることで、皆さんのLLMアプリケーションはより安全で信頼性の高いものになります。ぜひ、日々の開発に活かしてください。 引用元: https://developer.nvidia.com/blog/practical-llm-security-advice-from-the-nvidia-ai-red-team/ RubyLLM が Ruby に洗練された AI 統合をもたらし、開発者エクスペリエンスの議論を巻き起こす 新人エンジニアの皆さん、こんにちは！今回は、Rubyというプログラミング言語でAI（人工知能）を扱うための新しいライブラリ「RubyLLM」について、わかりやすく解説します。このライブラリは、開発者がAIをもっと楽しく、スムーズに使えるようにすることを目指しており、開発者の間で大きな話題になっています。 RubyLLMの最大の特徴は、何と言っても「開発者エクスペリエンス（DX）」の良さです。DXとは、開発者がどれだけ快適に、ストレスなく開発できるかを示す言葉ですね。RubyLLMは、まるで普段の会話のように、自然で読みやすいコードでAIとやり取りができるように設計されています。例えば、OpenAIやGoogleのGeminiといった様々なAIモデルがある中で、それぞれバラバラのやり方でコードを書く必要がなく、RubyLLMを使えば統一されたシンプルな方法で扱えるんです。これは、複雑なAI機能を実装する際の「困った！」を減らし、「サクサク開発できる！」という喜びをくれるでしょう。他のAIライブラリと比べて、「RubyLLMはまるで新鮮な風だ」と評価する声も上がっています。Rubyの生みの親であるまつもとゆきひろさんが掲げる「開発者の幸福」という考え方が、このライブラリにもしっかり反映されていると言えますね。 もちろん、良い点ばかりではありません。一部の開発者からは、Rubyの並行処理（複数のタスクを同時に進める方法）について懸念が示されています。AIモデルにたくさんのリクエストを同時に送るような場合、Rubyの現在の仕組みでは、AIからの応答を待っている間、他の処理が一時的に止まってしまう可能性があり、これがパフォーマンス（処理速度）に影響するかもしれない、という議論です。しかし、ライブラリの作者もこの課題を認識しており、将来のアップデートでより効率的な処理方法を導入することを検討しているようです。これは、「使いやすさ」と「処理速度」という、ソフトウェア開発における永遠のトレードオフを考える良い機会にもなりますね。 「AI時代にRubyってどうなの？」という疑問を持つ人もいるかもしれません。プログラミング言語の人気ランキングでは、Rubyが以前ほど上位ではないという見方もあります。しかし、RubyLLMの登場は、AI分野でのRubyの可能性を改めて示しています。多くのAIを使ったアプリケーションでは、処理のボトルネック（一番時間がかかる部分）は、実はプログラミング言語そのものよりも、AIモデルが回答を生成する時間であることがほとんどです。実際に、Ruby on RailsのようなRuby製のフレームワークは、その予測可能な構造と整理されたルールのおかげで、AIがコードを理解したり修正したりするのに適している、という意見もあります。 RubyLLMは、最大限のパフォーマンスを追求する場面よりも、可読性が高く、保守しやすいコードを書きたい開発者にとって、非常に魅力的な選択肢となるでしょう。AI技術が日々進化する中で、既存の言語がどのように新しい技術と融合していくかを示す、興味深い事例と言えます。このライブラリを通じて、皆さんもAI開発の楽しさを体験してみてください。 引用元: https://biggo.jp/news/202503170934_RubyLLM_Elegant_AI_Integration 【書評】『AIエージェント開発/運用入門』これからAIエージェント開発を始めたいエンジニアへ この書評では、AIエージェント開発の最前線を網羅した書籍『AIエージェント開発/運用入門[生成AI深掘りガイド]』が紹介されています。これからAIエージェント開発を始めたいと考えている新人エンジニアの方や、すでにLangGraphを使っているけれど他のフレームワークも知りたい、忙しい中で体系的に知識をキャッチアップしたい方に特におすすめの一冊です。 本書は全8章で構成されており、まずLLM（大規模言語モデル）とAIエージェントの基本的な知識からスタートします。その後、LangGraph、Mastra、Strands Agentといった主要な開発フレームワークを使った実践的なハンズオンを通して、実際に手を動かしながら学べます。さらに、マルチエージェントやエージェンティックワークフローなどの応用的なアーキテクチャ、開発・運用に不可欠なLLMOps（MLOpsのLLM版）、そしてAIエージェントの安全性や評価方法まで、幅広いテーマが網羅されています。2025年秋時点での最新情報が盛り込まれており、この分野のトレンドを掴む上で非常に役立つでしょう。 特に注目したいのは、以下の2つの章です。 第5章「MastraでフルスタックのAIエージェントアプリを作ろう」: Mastraというツールを使って、Webアプリケーションの要件定義からフロントエンド、バックエンド、インフラ、さらにはAWS AmplifyへのデプロイやCognitoによる認証認可まで、AIエージェントアプリ開発の一連の流れを「フルスタック」で体験できます。実際の開発現場で役立つ実践的な知識が、丁寧な解説と豊富な図解で分かりやすく学べるため、一つのアプリを作り上げる達成感を味わいながら、自信をつけることができるはずです。 第6章「応用的なAIエージェント開発に挑戦しよう」: AIエージェントの設計思想、例えばエージェントの「自律性」と「制御性」のバランスの取り方や、シングルエージェントとマルチエージェントそれぞれのメリット・デメリットといった重要な考慮事項を学べます。さらに、Amazon Bedrock AgentCoreやAWSが提供するOSSのStrands Agentsを使ったマルチエージェント構築のハンズオンも体験でき、最新のツールを使った応用的な開発に挑戦できる貴重な機会となるでしょう。 本書は、多くのフレームワークを使ったAIエージェントやワークフロー開発、LLMOpsについて、手を動かしながら深く理解するための手助けとなる一冊です。これからのAIエンジニアとしてのキャリアを築く上で、自身の環境に最適なAIエージェント開発手法を見つけるための強力なガイドになること間違いなしです。 引用元: https://qiita.com/hedgehog051/items/ca64f9958addebc58cf9 お便り投稿フォーム VOICEVOX:ずんだもん

There are no comments yet.

Please log in to write the first comment.