大模型实习真实体验（从华子到鹅厂）

主要观点总结

本文是作者关于长达半年的第一段实习经历和一些感想的记录。文章涵盖了实习前的一些准备、找实习的过程、第一段实习的具体内容、收获以及找第二段实习的经历和感悟。

关键观点总结

关键观点1: 实习前的准备

作者为了补充前沿知识，平时会看李沐的视频，并且为了锻炼代码能力，和高中同学用numpy复现pytorch的部分功能，理解了神经网络的运行细节。

关键观点2: 找实习的经历

作者因为绩点排名不高，保研无望，开始找实习。经历了多个面试，包括网络比价厂、软件大道的建筑相关厂和boss上找来的公司。最后通过南研所参观活动，进入华为实习。

关键观点3: 第一段实习经历

作者在华为实习的组是做特定领域的通用大模型的。开始的两周写完清洗数据的脚本后，补充了RLHF的相关知识。随后独立完成了定制化的采样器的开发并且反复迭代。但由于拿不到资源和调试环境等问题，代码方面的产出不多。但通过与带教的交流和讨论，作者收获了很多关于分布式训练框架和RL运行机制的知识。

关键观点4: 找第二段实习的经历和感悟

作者表示找第二段实习的过程并不顺利，但最终拿到了一家公司的offer。面试中，被问到了一些关于之前实习经历的问题，以及关于极致工作、SFT和RL的区别等问题。作者表示拿到offer后有所反思和总结。

免责声明