本期节目我们将盘点「Transformer 论文八子」从谷歌离职后都创立了什么公司，在哪些 AI 领域持续研究和创新，和大家一起尝试从这几家公司里窥见生成式 AI 时代的未来格局。在过去的英伟达 GTC 大会上，创始人黄仁勋和「Transformer 八子」的对谈无疑是最受关注的论坛之一。就职于谷歌的八位研究员于 2017 年共同发表了论文《Attention is all you need》，提出自然语言处理的新架构 Transformer 模型，开启了人工智能的新时代。然而论文发表后，八位作者除了一位加入了 OpenAI 之外，都陆续离开了谷歌，创立了自己的 AI 公司。他们的「出走」经历像极了 1950 年代「仙童八叛逆」离开肖克利半导体实验室（Shockley Semiconductor Laboratory），先后创立仙童半导体（Fairchild Semiconductor）、芯片公司英特尔、National Semiconductor，也有硅谷最早的风险投资公司凯鹏华盈。他们改变了半导体行业，让硅谷成为了硅谷。这期节目也是爆肝写脚本的一次 solo 单口尝试，希望大家喜欢。本期人物丁教 Diane，「声动活泼」联合创始人、「科技早知道」主播主要话题 [01:55]「Transformer 八子」和历史上开创硅谷的「仙童八叛逆」真的很像 [05:51] Transformer 模型是注意力机制优化与前馈神经网络相结合的产物 [07:27] 谷歌宽松的人才氛围促成「Transformer 八子」合作发表论文《Attention is all you need》 [09:53] 2017 年 Illia Polosukhin 创立 NEAR Protocol，实现区块链领域加密货币的创新 [12:18] 2019 年 Aiden Gomez 创立 Cohere，专注为企业部署定制化本地 AI 服务 [14:38] Cohere 推出检索增强生成技术，服务包括 Notion 在内的多家企业 [17:25] 2021 年 Jakob Uszkoreit 创立 Inceptive，将 AI 与疫苗、药物研究相结合 [21:00] 2021 年 Noam Shazeer 创立 Character AI，主打虚拟角色 AI 陪伴式聊天 [21:51] Character AI 在 A16Z 发布的全球最受欢迎消费级 AI 产品榜单居第三，用户黏性及活跃度极高 [23:18] Character AI 上最受欢迎的虚拟角色是谁？ [26:46] 2023 年 Ashish Vaswani 和 Niki Parmar 创立 Essential AI，利用产品提升数据分析师的工作效率 [30:01] 2023 年 Llion Jones 在东京创立 Sakana AI，这是一家底层大模型公司 [31:06] Sakana AI 发布最新研究成果「模型合并」（Evolutionary Model Merge），为 AI 自动化设计开辟可能性关联阅读 - 「仙童八叛逆」与仙童半导体的崛起 (https://zhuanlan.zhihu.com/p/473975299) - 「Transformer 八子」 - Illia Polosukhin，NEAR Protocol (https://near.org/about) 联合创始人 - Aidan Gomez，Cohere (https://cohere.com/) 联合创始人兼首席执行官 - Jakob Uszkoreit，Inceptive (https://inceptive.life/) 联合创始人兼首席执行官 - Noam Shazeer，Character AI (https://character.ai/) 首席执行官兼联合创始人 - Niki Parmar，Essential AI (https://essential.ai/) 联合创始人 - Ashish Vaswani，Essential AI (https://essential.ai/) 联合创始人兼 CEO - Llion Jones，Sakana AI (https://sakana.ai/) 联合创始人兼首席技术官 - Lukasz Kaiser，OpenAI (https://openai.com/) 技术人员 - 「Transformer 八子」合作发表于 2017 年的论文《Attention Is All You Need》 (https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf) - Diane 用 Suno (https://app.suno.ai/) 生成的歌曲 (https://app.suno.ai/song/c6d94d4e-2264-47fc-9072-766420d8e698) 幕后制作监制：丁教、Siti 后期：迪卡普里鑫、可特运营：瑞涵设计：饭团商务合作声动活泼商务合作咨询 (https://sourl.cn/6vdmQT) 支持我们，加入新一年的播客创新 2021 年我们发起了「声动胡同会员计划」，这是一个纯支持项目，支持「声动活泼」在播客内容上不断探索和创新。回顾 2023 年，得益于这些支持，「声动活泼」的每档节目都不断突破，不仅荣登苹果中国的年度热门节目榜单，还在 CPA 和喜马拉雅等平台都榜上有名。2024 年，我们也会继续创新，一档全新的投资类节目即将和大家见面，同时也会用更加创新的方式制作新一季「声音特稿」节目。欢迎点击链接 (https://sourl.cn/r3qwTP)查看我们 2023 年收获和 2024 年内容计划。如果你认同或喜欢我们做的事情，也期待我们不断尝试并产生好内容，欢迎付费支持。胡同 https://files.fireside.fm/file/fireside-uploads/images/4/4931937e-0184-4c61-a658-6b03c254754d/Z0YbNKpo.png 加入我们声动活泼正在招聘全职「节目监制」、「节目营销」、「商业化项目管理」，查看详细讯息请点击链接 (https://sourl.cn/j8tk2g)。如果你已准备好简历，欢迎发送至 [email protected]，标题请用：姓名+岗位名称。关于声动活泼「用声音碰撞世界」，声动活泼致力于为人们提供源源不断的思考养料。我们还有这些播客：声动早咖啡 (https://www.xiaoyuzhoufm.com/podcast/60de7c003dd577b40d5a40f3)、声东击西 (https://etw.fm/episodes)、吃喝玩乐了不起 (https://www.xiaoyuzhoufm.com/podcast/644b94c494d78eb3f7ae8640)、反潮流俱乐部 (https://www.xiaoyuzhoufm.com/podcast/5e284c37418a84a0462634a4)、泡腾 VC (https://www.xiaoyuzhoufm.com/podcast/5f445cdb9504bbdb77f092e9)、商业WHY酱 (https://www.xiaoyuzhoufm.com/podcast/61315abc73105e8f15080b8a)、跳进兔子洞 (https://therabbithole.fireside.fm/) 欢迎在即刻 (https://okjk.co/Qd43ia)、微博等社交媒体上与我们互动，搜索声动活泼即可找到我们。期待你给我们写邮件，邮箱地址是：[email protected] 声小音 https://files.fireside.fm/file/fireside-uploads/images/4/4931937e-0184-4c61-a658-6b03c254754d/gK0pledC.png 欢迎扫码添加声小音，在节目之外和我们保持联系。

Ask this episode

“What did the council decide on item 42?” — answered with the speaker and the moment.

Transcript

Related