万益资讯网

【CMU硬核NLP课公开:从手撸LLaMA到推理侧Scaling】卡内基梅隆大学

【CMU硬核NLP课公开:从手撸LLaMA到推理侧Scaling】卡内基梅隆大学(CMU)教授Sean Welleck公开了其最新的《高级自然语言处理》全套课程。这套资源包含23讲完整视频、课件及20个代码示例,知识体系从Tokenizer、Transformer基础一路覆盖到RAG、多模态、RLHF,以及当下最受关注的DeepSeek-R1同款推理侧Scaling和Mixture of Experts。课程第一项作业就要求学生从零构建一个LLaMA,实操性极强。这门课最难得的是它不教你如何“调用”模型,而是拆解模型演进的底层逻辑。现在的AI竞争正从堆参数转向推理侧的Scaling Law,而这套课程精准捕捉了这一技术拐点,把复杂的Scaling和Efficiency转化成了清晰的工程路径。它不仅是NLP的进阶指南,更是理解大模型为何能产生“智能”的说明书,适合想要从应用层深入到架构层的开发者。

Home: cmu-l3.github.io/anlp-spring2026
Youtube: youtube.com/playlist?list=PLqC25OT8ZpD15emhQhNjRLym77-sp2kAx
Code: github.com/cmu-l3/anlp-spring2026-code