AI

李沐交大讲座——大语言模型及个人成长分享

Liu Qianglong

• 6 min read
李沐交大讲座——大语言模型及个人成长分享

李沐在交大分享了关于大模型的实践经验和未来的预测，以及个人工作和成长的一些经验，感觉很有收货，摘录了一些重点，感兴趣可以看原视频。

李沐：BosonAI联合创始人，前亚马逊首席科学家，曾任AI创业公司Marianas Labs CTO、百度深度学习研究院主任研发架构师。

大语言模型的现在和的未来

语言模型的最核心的三个要素是算力、数据和算法：语言模型像炼丹，数据就像炼丹材料，算力就像炼丹炉等设备，算法就像丹方。以前的深度学习就像一个丹就治一个病，现在希望为丹注入灵魂，解决很多问题。

带宽：带宽是最难也是最重要的，大模型分布式训练需要通过光纤连接，光纤目前带宽在400G左右，会成为瓶颈，光纤传输延迟也需要考虑。现在的趋势是把GPU放到一起，距离足够近，英伟达的GB200就是这个思路。密集的GPU会带来电力和散热问题，散热需要使用水冷，水冷对基建有更高的要求。

内存：内存比算力更关键，大模型需要大量内存处理数据。当前单芯片内存约 192 GB，内存不够，模型就做不大，模型上限将依赖内存突破。

算力

  • 算力提升主要依赖摩尔定律，随着工艺进步和浮点数精度降低（Int4、Int8），硬件效率提升。
  • 随着模型更大时，供电成为关键问题，自己做数据中心时，曾经计算自己造一个电厂的成本比付的电费成本要低。
  • 模型分为训练和推理阶段，英伟达在训练芯片上仍处于垄断地位，推理阶段别的芯片还可以。
  • 尽管推理芯片有替代品，英伟达在训练芯片上仍处于垄断地位。模型训练成本会随时间下降，因此大模型并非长期性价比最高的选择，企业需关注模型的长期价值而非规模。

训练数据： OpenAI 或别的开源模型，目前基本都是用10T~50T Token 做预训练。可能弄到更多数据，但是清洗之后可能还是回到这个数值，而且更多的数据不一定带来更好的提升。

模型尺寸：未来主流模型将在 100B-500B 参数，500B 以上模型可以训练，但是难以提供服务。保持在这个范围，MoE 虽可用于更大模型，但有效激活规模仍在 500B 左右。

各领域AI模型发展水平

  • 语言模型：目前已经达到较高水平，约为80-85分。
  • 音频模型：已经达到可用水平，评分大约在70-80分之间。
  • 视频生成模型：尤其是生成具有特定功能的视频，还处于起步阶段，整体水平大约为50分。

AI 应用现在与挑战

在 AI 领域目前还没有出现 Killer APP（即短视频类似抖音的APP）。

三类AI 应用：

  • 文科白领：AI 在个人助理、Call center、文本处理等领域表现良好，能完成 80-90% 的任务。
  • 工科白领：AI 可以自动化处理编程任务，如检索和修改代码，但无法完全取代程序员，尤其是复杂任务。
  • 蓝领阶级：自动驾驶进展较大，但其他蓝领任务（如端盘子、运货）因复杂的物理世界交互难以实现，需要更多数据和技术突破，可能还需 5 年左右。

垂直模型的误区：垂直模型是一个伪命题，没有真正的垂直模型，一个很垂直领域的模型，它的通用能力也是不能差的。比如说你要在某一个学科里面拿第一，你别的科目也不能差到哪里去。

模型评估与数据： 模型评估非常困难，用人评估比较贵，用模型评估会带来偏差。有一个好的评估可以解决 50% 的问题，解决了评估问题，就能够进行优化了，而且也拥有了一些数据。数据决定模型上限，想让模型在某一个方面做得特别好，需要先把相关数据准备好。

费用： 自建机房不一定比租 GPU 便宜太大，因为大头被英伟达吃掉了，它的利润是90%。我是从 Amazon 干了 7 年半才出来创业，但我其实不用 Amazon 服务，太贵了。我们都用小公司买来的，他们当年用来挖比特币的。:)

自我提升的方法

大公司： 在大公司，你要解决问题是公司关心的问题。这一点很重要。大家一定要想清楚：我要在公司干什么，公司今年准备干什么，最好两者保持一致。如果干的事情是自己喜欢的，但不是公司追求的，这就会让人很难受。

从上级的角度反思自己：每周总结：你完成了哪些任务？哪些目标未达成？分析原因：是否因为懒惰、方向不对，还是其他因素？

直面问题：

  • 懒惰：寻找解决方案，比如找学习伙伴进行相互监督，固定时间一起学习或工作。
  • 不擅长
    • 换方向：如果遇到自己不擅长的领域，考虑调整方向，选择更适合自己的领域。
    • 加倍努力：如果无法避免短板，那就花两倍的时间和精力去攻克问题。

对自己狠一点：自我提升最终比拼的是对自己有多狠，愿意承受多大的努力和坚持。

养成总结与规划的习惯：

  • 每周总结：每周花30分钟回顾工作，分析不足，规划改进。
  • 季度回顾：每季度反思是否实现了既定目标，并根据情况调整下一阶段的计划。

选择比努力更重要：做任何选择前，先明确自己的目标。只有目标清晰，才能做出正确的选择。

定期反思动机：每年或每五年，反思自己的动机和工作状态。如果过去的一年感觉不开心或没有进展，可能是动机不够强。若是因为时机不成熟，那就继续努力等待；如果是动机不对，及时调整方向。

讲座B站视频： https://www.bilibili.com/video/BV1dHWkewEWz/?vd_source=90d4eedee2acfff3367a55da193a86a0