东吴证券·汽车行业AI系列深度16期：语言智能为何从RNN转向Transformer？

分类：人工智能

标签：Transformer、RNN、大语言模型、自注意力机制、东吴证券、智能驾驶、物理AI、规模律

摘要：本报告是东吴证券研究所汽车行业分析师黄细里团队于2026年8月6日发布的AI系列深度第16期，是继第14期《深度学习如何开启AI第一次爆发》、第15期《Transformer如何开启AI第二次爆发》之后的延续研究，行业投资评级维持增持。报告聚焦一个技术史与产业史交叉的核心命题：语言智能为何会从循环神经网络范式转向Transformer范式，并论证这一架构切换如何重塑了大模型时代的研究主线、产业形态与投资主线。报告给出的本质判断是，这一转向的实质是序列建模从递归记忆转向全局注意力，并由此打开了并行训练、规模扩展与任务统一三重空间。 报告首先系统复盘循环神经网络的技术脉络与结构性天花板。RNN通过隐藏状态沿时间步传递上下文，用同一套共享参数在序列各位置反复运算，把历史信息压缩进隐藏状态，天然适配文本、语音与时间序列等顺序数据；沿时间展开后，它可被理解为深度随序列长度增加、各层共享参数的前馈网络。其思想源头可追溯至约旦（1986）与埃尔曼（1990）提出的带反馈连接网络结构，韦伯斯（1990）系统化了沿时间反向传播训练算法，本吉奥等（1994）从理论上揭示了梯度消失与梯度爆炸问题，霍克赖特

来源：zuudee | 日期：2026-08-07 | 格式：pdf | 页数：15