youtube版(スライド付き) 関連リンク【速報】Kimi-K3 を Day0 デプロイ。2.8T モデルは NVIDIA B300 x8 の 1 ノードで動くのか Moonshot AIが公開した史上最大規模のオープンウェイトMoEモデル「Kimi-K3（総パラメータ2.8T、アクティブ104B）」を、公開当日にNVIDIA B300 x8のシングルノード環境へデプロイし、推論性能とコーディング品質を検証した速報記事です。日本のエンジニアに向けて、実践的な導入ポイントを解説します。検証環境にはNVIDIA B300 SXM6（288GB HBM3e x8）を搭載したシングルノードを使用し、推論エンジンにはDecode Context Parallelism（DCP）に対応したSGLangを採用しています。Kimi-K3は、Kimi Delta Attention（KDA）とAttention Residualsというハイブリッド構造を採用しており、KVキャッシュの効率化が重要となります。公開ウェイトはSFT段階から量子化認識学習（QAT）を行ったMXFP4形式で提供されているため、追加の量子化作業なしで約1.6TBのウェイトをそのままシングルノードのGPUメモリに収めてロードできます。デプロイ時の起動コマンドでは、SGLangの--mamba-full-memory-ratioパラメータの調整が鍵となります。今回はこの値を5に設定したためKDA側の状態プールにメモリが寄り過ぎ、長文コンテキスト用のMLA KVキャッシュが制限される反省点が得られました。ワークロード（短文多並列か長文エージェントか）に応じた適切な比率設定がパフォーマンスを左右します。また、モデルのロードには約81分を要するため、設定変更時の試行錯誤では起動時間の考慮が必要です。ベンチマークの結果、同時リクエスト数30程度までスループットが良好にスケールし、2.8Tという巨大なモデルサイズでありながら非常に実用的な速度を確認できました。また、主観的なコーディング性能の検証として「A*経路探索の可視化ツール」を単一HTMLで実装させたところ、要求された二分ヒープの手実装やタイブレーク処理を正確にこなすだけでなく、キーボードショートカットや操作パネルの自発的な追加など、高い完成度のコードを出力しました。総じて、MXFP4ネイティブ配布と投機的デコーディング（DSPARK）の組み合わせにより、超大規模モデルをオンプレミス環境の1ノードで実用的に運用できる見通しが得られた重要な検証事例です。引用元: https://zenn.dev/fixstars/articles/kimi-k3-benchmark AIがChromeを自分で見る時代へ。Chrome DevTools for agents入門 AIエージェントにブラウザの画面表示や開発者ツールを確認させながらコードの修正や検証を行わせる技術「Chrome DevTools for agents」の導入方法と実践的な使い方についての解説記事です。本技術は、Chromeの開発者ツールをAIエージェントから利用できるようにする仕組みであり、「MCP（Model Context Protocol）サーバー」「CLI」「Agentic Skills」の3要素で構成されています。2025年に登場したDevTools MCPの後継として、2026年5月にバージョン1.0がリリースされました。導入方法として、Claude CodeやCodex CLIなどのAIエージェント環境へプラグインやMCPサーバーを追加する手順が紹介されています。さらに、リモートデバッグ機能を有効にして--autoConnectオプションを指定することで、普段利用している起動中のChromeに接続し、ログイン状態やCookie、各種ストレージを引き継いだ状態での検証も可能です。記事では具体的なデモとして2つの活用事例が挙げられています。 1つ目のデモでは、AIエージェントにCSSレイアウトの修正とマルチデバイス（1280px幅と375px幅）での表示確認を指示し、grid-template-columnsの調整などを自律的に行わせています。 2つ目のデモでは、フォームの入力チェック、エラー表示、送信完了時のトーストUIの実装と、有効値・無効値を組み合わせた全パターンの送信テストを自動化しています。また、コンソールエラーの調査やLighthouseの実行、アクセシビリティーの検証なども同様に依頼可能です。運用のポイントとして、対話的で細かい確認が必要な場合は「MCPサーバー」、複数の操作をまとめて中間結果を減らしトークン効率を高めたい場合は「CLI」と、用途に応じた使い分けが推奨されています。さらに、Playwright MCPやSafari MCP serverなど他のツールも含め、目的に応じて適切に選択することの重要性がまとめられています。引用元: https://ics.media/entry/260727/ Scientific computing in the age of agentic AI この記事では、科学計算の分野におけるAIコーディングエージェント（CodexやClaude Codeなど）の活用実態に関する、OpenAIの実験的レポートについて解説しています。科学計算の領域では、研究用のソフトウェアが小規模なアカデミックチームによって開発されることが多く、パッケージングやテスト、長期的な保守の不足により、保守性が低く脆弱なワークフローが研究のボトルネックとなっていました。しかし、AIエージェントの導入により、エンジニアリングのコストが大幅に低下し、プロトタイピングの高速化やソフトウェアの保守が容易になりつつあります。レポートでは、ライフサイエンス分野を中心とした8つのプロジェクト（日常的な保守から、大規模な言語マイグレーション、GPUネイティブな再設計まで）の事例が紹介されています。これにより、小規模チームでも従来なら困難だった高度な開発が可能になることが示されました。特筆すべき変化として、研究者の役割が「コードの実装」から「検証とオーケストレーション（方向付け）」へとシフトしている点が挙げられます。AIエージェントは明確にスコープを切られた要望に対しては高い効果を発揮しますが、自身の出力の科学的妥当性を判断することはできません。そのため、人間が外部参照や客観的なテスト基準を用いて結果を検証し、フィードバックを繰り返すアプローチが不可欠となります。また、エージェントは初期実装を高速で行うものの、エッジケースや数値的微調整といった「ラストマイル」の作業には依然として多くの労力がかかります。さらに、コードの生成コストが下がることで、類似した書き換えが乱立し、ソフトウェアが断片化するリスクも指摘されています。長期的な信頼性を担保するためには、適切なスチュワードシップ（保守管理体制）やコミュニティへの引き継ぎが極めて重要です。新人エンジニアへの示唆として、AIエージェントは開発を加速させる強力なツールである一方、出力の正当性を検証する人間のエンジニアリング力、品質管理、そして作成したシステムの長期的な保守計画の重要性は変わらないという点が挙げられます。今後は、実装の労力が軽減される分、より高いレベルでの設計や検証スキルがエンジニアに求められるようになります。引用元: https://openai.com/index/scientific-computing-agentic-ai 「AIのセキュリティリスクとしてお堅い説明するよりこれ見せた方が理解が早そう」AIずんだもんが視聴者によるプロンプトインジェクションで壊れる動画が怖い AIずんだもんの24時間生配信中、視聴者のコメントによるプロンプトインジェクションでシステムがハッキング状態となり、キャラクターが意図しない異常な動作を引き起こした話題です。外部の入力をそのまま処理する対話型AIやAIエージェントにおいて、悪意ある命令を遮断するガードレールや入力検証の重要性が、実例として非常に分かりやすく示されています。新人エンジニアのセキュリティ教育の教材としても、AIアプリ開発時の脆弱性リスクを直感的に学べる好例となっています。引用元: https://togetter.com/li/2725778 お便り投稿フォーム（株式会社ずんだもんは架空の登場組織です）

Ask this episode

“What did the council decide on item 42?” — answered with the speaker and the moment.

Transcript

Related