“Transformer完全不能支撑我们下一步，尤其是在Agent时代走向下一步。”12月18日，90后AI大牛、阶跃星辰首席科学家张翔雨公布了自己最新的研究结论，直指当前AI领域核心架构Transformer的技术瓶颈。

1. 与其颠覆 Transformer，不如专注改良 Attention？ 为什么 Transformer 不会是 AGI 的最终版本？Attention 的局限引出了哪些改良路线？传统 Attention 变体被优化到什么程度了？结合线性 Attention 的架构优势更明显吗？Titans 有机会接替 Transformer 吗？... 2. 大厂、AR 厂商们扎堆 ...

标准的自注意力机制本质上是将输入序列X分别通过三个线性变换WQ，WK，WV生成Query（Q）、Key（K）、Value（V），再通过softmax计算注意力权重： 如果我们将一层Attention视为一阶关系（A认识B），那么将Attention的输出作为下一层Attention的输入，就可以构建二阶关系（张三通过李四认识王五），乃至更高阶的关系。

Transformer已满8岁，革命性论文《Attention Is All You Need》被引超18万次，掀起生成式AI革命。 Transformer，八岁了！ 开创如今这场生成式AI革命的论文《Attention Is All You Need》迎来了第8个年头。 Transformer催生了ChatGPT、Gemini、Claude等诸多前沿产品。 更重要的是，它让人类 ...

在当今大模型领域，Transformer架构占据着主导地位。然而，尽管Transformer非常强大，但它的计算需求随着文本长度呈平方级增长，这导致运行成本高昂，同时限制了其扩展能力。 与此相对，更为古老的RNN（循环神经网络）架构虽然计算效率高，但通常无法达到 ...

Transformer是一类神经网络架构，现在越来越受欢迎了。Transformer最近被OpenAI用于训练他们的语言模型，同时也被DeepMind的AlphaStar 采用，用于他们的程序击败那些顶级星际玩家。 Transformer是为了解决序列传导问题或神经网络机器翻译而设计的，意味着任何需要将 ...

雷锋网 AI 科技评论按：NLP 任务中具有标杆意义的 Transformer 模型喜提新升级，不仅翻译表现进一步提升，更成为了图灵完备的通用计算模型。 在过去的两三年中，注意力机制（Attention Mechanism）逐渐进入深度学习研究人员们的视野中，并开始变得热门。去年 6 月 ...

在圆桌论坛环节，当主持人把话筒递给阶跃星辰首席科学家张祥雨，询问关于模型架构未来时，这位学术大牛抛出了一枚“深水炸弹”： 现有的Transformer架构无法支撑下一代Agent。

Jones开场就承认了一种"发明者的倦怠"。他说，除了论文的另外七位作者，没有人比他研究Transformer更久了。但正因如此，他做出了一个反直觉的选择：把精力从Transformer上撤出，转向更具探索性的方向。他的原话是："这是一个过度饱和的空 ...

研究成果以“一种用于预测TCR-抗原-HLA结合的Sliding-Transformer神经构架（Sliding-attention transformer neural architecture for predicting T cell receptor-antigen-human leucocyte antigen ...