让AI读懂代码需求：模块化大模型微调助力高效代码理解与迁移

主要观点总结

本文介绍了一种解决开源项目代码升级中“用户需求关联相应代码”难题的创新方法。面对传统方法的不足以及领域知识和代码风格的挑战，提出了以大模型微调（SFT）为核心的解决方案。

关键观点总结

关键观点1: 项目背景

高德终端技术团队在进行开源项目仓库代码升级时，面临主版本跨度大、代码量更新变化大以及过往经验不足以支持升级的问题。为提高研发效率，团队使用了阿里内部代码平台工具和外部工具，但仍存在稳定性、领域知识和代码风格的问题。

关键观点2: 创新方法

提出使用大模型微调（SFT）来解决这些问题。通过将“用户需求关联相应代码”任务简化为“模块匹配任务”，提高了模型性能并降低了任务复杂度。通过构建领域特定的训练数据集，进行微调训练，实现模型的快速适应。

关键观点3: 微调过程

介绍了微调的一般过程，包括基础模型选型、微调框架选择、数据集构建、数据预处理和微调策略等。使用LoRA微调技术降低计算存储成本，实现参数高效微调。

关键观点4: 实验结果与部署

在测试集上综合准确率达到了78%，并通过在mac端部署模型，实现了秒级推理。讨论了未来结合强化学习和小参数量模型微调在解决垂直领域问题上的潜力。

关键观点5: 总结与展望

通过微调，大模型能更准确地理解领域知识和术语，生成更专业、稳定的回复。同时，该方案能够在端侧部署和使用，满足行业定制化需求。未来结合强化学习，小参数量模型的微调将在解决垂直领域问题上发挥重要作用。