DeepSeek开源周盘点:大模型发展的“参天大树”更需培育隐形“根系”
转自:上观新闻


本周DeepSeek启动了开源周,连续5天每天开源1个核心代码库。这些代码库有何技术亮点?DeepSeek一直秉持的开源有何深层意义?解放日报记者专访了上海交通大学人工智能学院严骏驰教授。
【盘点开源周技术亮点】
DeepSeek第一天开源的项目为FlashMLA,其目的是为了提高大模型在计算注意力过程中的效率。多头潜在注意力(MLA)是DeepSeek去年5月首次提出的一种新注意力机制,这种方法可以降低模型的冗余参数。而FlashMLA则是用于高效计算MLA的工具。
大模型处理文本的过程类似于快递分拣包裹,每个包裹都需要专车运输,这使得运输成本不断增加。而DeepSeek采用的MLA技术,就像把相似包裹统一装车运输,有效降低了成本。这次开源的FlashMLA则像一位聪明的调度员,能够根据包裹自动安排合适的车辆进行装车和运输,充分发挥图形处理单元(GPU)芯片的算力,让AI‘干活不浪费’。严骏驰说。这种技术的应用,不仅提升了国产芯片运行AI的效率,还可能让未来的手机和电脑在处理复杂任务时更快且更省电。这表明,AI的高效不仅依赖于算法,还需要硬件和软件的精妙协作,通过精打细算实现智慧的优化。
第二天开源的DeepEP是用于优化混合专家模型中各模型之间的通信过程。混合专家模型可以理解为成千上万个小专家组成的一个超级团队,专家之间的沟通效率直接影响整体表现。
DeepEP技术就像是在这些专家之间修建了一条高速公路,不仅能够实现多个专家之间的数据快速传输,还能快速聚合多专家的信息。严骏驰说。此外,它还开启了数据计算的绿色环保模式,通过采用低精度计算,将原本计算量大、耗能高的大货车替换为更省油的小型货车,从而减少计算量和成本。这种技术的应用意味着未来AI服务的响应速度可能会更快,成本也会更低。这表明,AI的团队协作离不开底层通信技术的支撑,就像再厉害的员工也需要高效的会议系统一样。
AI的核心运算是矩阵乘法,类似于超级计算器进行连续乘法操作。第三天开源的DeepGEMM技术仅用300行代码打造了一个针对FP8(一种8位浮点数据格式)的矩阵乘法数学天才,在保持精准度的同时,速度提升数倍。这种优化不仅缩短了AI模型的训练时间,还降低了硬件成本,使得未来天气预报、药物研发等科学计算有望大幅提速。这表明,AI的进步不仅在于思考更聪明,更在于算得更快,基础计算的优化才是硬实力。
在训练AI模型时,芯片常常在计算和数据传输之间干等,类似于工厂流水线出现卡顿,下游任务必须等待上游任务完成才能继续执行。第四天开源的DualPipe和EPLB技术有效解决了这一问题。DualPipe是一种双向管道并行算法,通过实现计算与通信的高效重叠,让芯片在原本等待的时间内同时开展其他任务。EPLB则通过动态调整任务分配,平衡各环节的工作量,减少AI摸鱼时间高达30%。这两项技术的结合,不仅降低了大模型训练的成本,还为未来AI技术的普及降低了门槛。这表明,AI的高效运行不仅需要强大的计算能力,还需要系统性优化,就像再好的发动机也需要润滑剂和传动装置来提升整体性能。
AI训练需要处理海量数据,而传统存储系统在数据传输效率上存在瓶颈,类似于用小推车运货,速度缓慢且效率低下。第五天开源的3FS文件系统通过无人卡车+智能分拣的方式,结合高性能硬盘和网络技术,大幅提升了数据存取速度。3FS文件系统就像给AI造了一个超级仓库,为推理任务提供了高吞吐量、大容量的缓存替代方案,每个客户端节点的峰值吞吐量可达40G字节/秒。
这种高性能的存储系统不仅显著缩短了AI训练的时间,还降低了硬件成本,使得未来AI学习新知识的速度可能像人类翻书一样快。严骏驰说。这也表明,数据是AI的粮食,而如何快速喂食才是关键——存储技术正是AI进化的隐形推手。
【AI竞赛的下半场是基建赛】
从诞生之日起,开源就是DeepSeek的精神内核之一。甚至,在一年前的2月28日,DeepSeek还就开源的常见问题解答发了一篇公众号推文。
当ChatGPT、Sora等生成式AI惊艳世界时,大众往往只关注模型多聪明数据多庞大,而DeepSeek的开源揭示了一个真相:大模型发展的参天大树更需培育隐形根系。
在严骏驰看来,AI竞赛的下半场是基建赛。就像5G网络决定直播流畅度,AI的算力调度、通信效率、存储速度这些底层技术,极大地影响了AI模型在使用过程中的用户体验,这些是决定模型能否真正落地的关键。DeepSeek五天连开五炮,瞄准的正是这些地基工程。
生成式AI需要多轮驱动,算法突破如同汽车设计,但要想跑得快,还需要发动机(芯片)、变速箱(通信)、油箱(存储)共同升级。DeepSeek的技术布局证明:只关注模型创新是单腿跳,软硬件协同才是双腿奔跑。
在西方芯片封锁背景下,国产AI如何破局?严骏驰认为,DeepSeek通过开源让国产GPU、存储系统与AI技术深度适配,这既是技术突围,也是生态建设——就像安卓系统通过开源赢得开发者,最终构建护城河。
展望未来,AI的发展不能只靠天才的灵感,更需工匠的积累。DeepSeek的爆发看似突然,实则是深耕底层技术的厚积薄发。当行业疯狂追逐模型参数时,那些低头修路的人,或许才是真正定义AI时代的人。
原标题:DeepSeek开源周盘点:大模型发展的参天大树更需培育隐形根系
题图来源:上观题图
来源:作者:解放日报 黄海华