password
icon
AI summary
type
status
date
slug
summary
tags
category
介绍
本次活动由OpenI启智社区主办，面向高校在校生，旨在推动国产AI计算生态的发展。活动链接：OpenMind 开源实习。
活动主要包含两大核心任务：
- TOP大模型迁移调优：基于昇腾算力跑通和微调指定大模型，需要推理精度和微调性能与GPU对齐，并将模型开源至社区。
- MindSpeed-LLM迁移适配：基于昇腾LLM分布式训练框架预训练、推理、评估指定大模型，并将相应脚本贡献至仓库。
简而言之，任务的核心是基于昇腾NPU及其训练框架，完成大模型的微调和预训练，并测试其与GPU的性能差异。
以及若干大模型迁移的小任务。完成每项任务都可以获得相应奖励。
活动期间我主要完成了以下几个任务：
- MindSpeed迁移适配任务：
活动期间，启智社区全程提供了强大的算力支持，尤其是昇腾NPU的支持。
国内外NPU生态对比
在知乎的一篇回答中，作者详细对比了Nvidia与国内GPU的计算生态：
- Nvidia CUDA生态：Nvidia在深度学习计算领域一家独大，几乎所有新模型都会优先适配Nvidia显卡。Nvidia也为其硬件提供了丰富的软件支持，如Megatron、TensorRT-LLM等，进一步巩固了其生态优势。
- 国内NPU生态：国内GPU厂商主要分为两类：
- 硬件厂商：如寒武纪，通过开发对标Nvidia的软件栈（如CNCL、MLULINK）来支持开源模型，适配常见的深度学习框架和算子。
- 全家桶厂商：如华为昇腾，提供从硬件到软件的全栈解决方案，虽然对开源模型的适配较为复杂，但在国产化信创项目中具有独特优势。
从实践来看，针对开源大模型的计算卡，各家厂商的差异主要体现在底层算子的适配和优化上。
大模型微调任务
环境
活动提供了昇腾910B NPU（单卡显存64GB）的算力资源。启智社区提供了预配置的conda环境和相关镜像，内置了适配NPU的PyTorch和相关依赖包。云脑任务支持多种算力资源类型，包括单卡、双卡、四卡和八卡NPU资源，使用起来非常便捷。需要注意的是，目前NPU对音频类模型的支持尚不完善，但对NLP类模型的适配已经相当成熟。
模型上传与下载
启智和魔乐社区提供了完善的命令行工具和SDK，方便用户上传和下载模型。具体操作可参考官方文档。
以将服务器上的模型上传至社区为例，只需执行以下命令：
其中：
REPO_ID和MODEL_NAME为必填参数
FILE_PATH为模型文件路径
upload_name为可选参数
数据处理
以Alpaca格式的指令监督微调任务（通过让模型学习详细的指令以及对应的回答来优化模型在特定指令下的表现）为例，
instruction 列对应的内容为人类指令， input 列对应的内容为人类输入， output 列对应的内容为模型回答。下面是一个例子：在进行指令监督微调时，
instruction 列对应的内容会与 input 列对应的内容拼接后作为最终的人类输入，即人类输入为 instruction\ninput。而 output 列对应的内容为模型回答。 基于LLaMa Factory模型微调
参考zhouhui的教程和LLaMa Factory中文文档，可以快速完成模型的微调
只需要参照给定的例子，配置好适合需要微调模型的参数，执行脚本即可实现微调。
微调好后的模型，可以使用openmind库代替transformers库做推理和评估。
模型推理
微调完成后，模型会自动保存到指定的输出目录。可以通过以下代码加载微调后的模型：
模型评估
NPU与GPU对比
微调过程中需要对比NPU与GPU的loss曲线。从实验结果来看，昇腾910B NPU与GPU的loss曲线基本重叠，相对误差控制在2%以内，表现出色。
模型开源
MindSpeed-LLM适配迁移任务
框架介绍、环境搭建
MindSpeed-LLM，原仓名ModelLink，作为昇腾大模型训练框架，旨在为华为 昇腾芯片 提供端到端的大语言模型训练方案, 包含分布式预训练、分布式指令微调、分布式偏好对齐以及对应的开发工具链。环境搭建等有详尽的用户指南。
模型转换
将huggingface的权重转换成Megatron-LM格式（mcore或者legacy），在
example目录下每个模型都已经预置好权重转换脚本，可以根据需要来进行修改。以Yi-9B为例，转换脚本如下：预训练、推理、评估
配置脚本前需要完成前置准备工作，包括：环境安装、数据集准备及处理、Huggingface权重转换，详细的数据集处理可参见用户指南。
常用的预训练数据集包括Enwiki、C4和ChineseWebText，指令微调数据集包括Alpaca、ShareGPT和AlpacaHistory。配置脚本时需根据实际情况调整权重保存路径、数据集路径等参数。
以Yi-9B的预训练脚本为例：
推理和评估也是类似的操作，在此不再赘述。
结果展示
总结
通过本次活动，我深入实践了两个任务：基于NPU的大模型微调任务和MindSpeed-LLM适配迁移任务。通过实践证明，NPU在大模型训练方面表现出与GPU相当的性能，且MindSpeed-LLM框架提供了完整的端到端训练方案。这些工作为推进国产化AI计算基础设施的发展提供了有力支持。
最后，衷心感谢启智社区提供的宝贵实习机会和算力资源支持！