终结Transformer的架构即将诞生！奥特曼最新访谈豪言，下一代AI架构彻底颠覆Transformer，LSTM的命运或将再次上演。 Transformer的最大受益者，亲手给它判了死刑！ 这几天，Sam Altman回到斯坦福，面对一群大二学弟学妹，扔出了一颗深水炸弹—— 未来一定会诞生全新的底层架构，性能跃升不亚于当年Transformer对LSTM的降维打击。 要知道，GPT帝国就建在T ...

作者 | 允毅连马斯克、Andrej Karpathy 都纷纷点赞，DeepSeek 和 Kimi 前后脚都盯上的 “残差连接”，到底是什么？最近，Kimi 放出一篇重磅新论文，瞄准一个过去十年几乎没人动过的 Transformer ...

LLM推理已经顶尖，精确计算却跟不上。 这局怎么破？ 卡帕西点赞的解决方法来了，在大模型内部构建一台原生计算机。 新方法不搞外包那一套（不依赖任何外部工具），直接在Transformer权重里内嵌可执行程序。 并通过创新的2维注意力头设计，将大模型的推理效率提升至指数级。 能在普通CPU上实现每秒3万+Token的流式输出。 在Transformer内嵌原生计算机 咱都知道，当前最先进的大模型，拿 ...

本论文的第一作者徐志伟，山东大学通用智能实验室助理教授。于 2024 年在中国科学院自动化研究所获博士学位，研究内容主要为强化学习、多智能体系统与基于大语言模型的 AI Agent。曾获得 2025 年度中国智能体与多智能体系统优秀博士论文提名等荣誉 ...

这篇论文来自Yoshua Bengio的实验室，而标题并不起眼「Neural Machine Translation by Jointly Learning to Align and Translate」。 或许很多人都没有听说过这篇论文，但它是NLP中最伟大的里程碑之一，已经被引用了29K次（相比之下，Transformer为77K）。

边缘AI正在从概念走向落地，但端侧设备的算力、功耗、成本约束始终是方案商需要平衡的难题。近日，Arm技术授权订阅模式中的Arm Flexible Access 方案完成了产品组合扩容，新增的三款产品均围绕边缘AI场景设计，为智能硬件方案商提供了新的技术选项。 Ethos-U85 ...

残差连接（Residual connections）搭配 PreNorm已成为现代大语言模型中的标准结构，但这种机制会以固定的单位权重累积所有层的输出。这样的统一聚合方式会导致隐藏状态随着深度不断增长，逐渐稀释每一层本身的贡献。为了解决这一问题，我们提出 Attention Residuals（AttnRes）。

在斯坦福大学的一场特别访谈中，OpenAI首席执行官山姆·奥特曼向一群大二学生透露了一个震撼消息：下一代人工智能架构正在酝酿之中，其性能提升将不亚于当年Transformer对LSTM的革命性突破。这一言论引发了科技界的广泛关注，因为当前几乎所有大型语言模型，包括ChatGPT和GPT-4，都建立在Transformer架构之上。

因为公众号平台更改了推送规则。记得点右下角的大拇指“赞”和红心“推荐”。这样每次新文章推送，就会第一时间出现在订阅号列表里。 由于Transformer模型的出现和快速发展，深度学习领域正在经历一场翻天覆地的变化。这些突破性的架构不仅重新定义了 ...

导语：非 Transformer 面临的共同考验依然是证明自己的天花板有多高。 【雷峰网(公众号：雷峰网)】2017年谷歌发表的论文《Attention Is All You Need》成为当下人工智能的一篇圣经，此后席卷全球的人工智能热潮都可以直接追溯到 Transformer 的发明。 Transformer 由于其 ...

Bridget Carey is an award-winning reporter who helps you level-up your life -- while having a good time geeking out. Her exclusive CNET videos get you behind the scenes as she covers new trends, ...