GLM4-9B-chat模型微调
简单记录了对于新开源的GLM4-9B-Chat模型进行LoRA微调的全部过程。
·
文本记录GLM4-9B-Chat模型进行LoRA微调的过程。
一、环境:
- 操作系统: Ubuntu 22.04
- CUDA: 12.1
- GPU: 3090 x 2
创建conda环境:
conda create -n glm4 python=3.10.14
conda activate glm4
cd /home/data/chatglm4-finetune
二、数据准备
运行data_process.py将数据处理为模型指定的格式:
{"messages": [
{"role": "user", "content": "你好"},
{"role": "assistant", "content": "我是大爱同学,由码农丹宇研发"}
]
}
注意:输出的格式为.jsonl
训练集或验证集的数据量不能少于50条。
数据生成到/home/data/chatglm4-finetune/data/whoAreYou_fix/目录下,存在一个train.jsonl和dev.jsonl
三、安装依赖
git clone https://github.com/THUDM/GLM-4.git
cd /home/data/chatglm4-finetune/GLM-4/basic_demo
pip install -r requirements.txt
cd /home/data/chatglm4-finetune/GLM-4/finetune_demo
注意修改requirements.txt中的datasets>2.20.0为datasets>=2.20.0
pip install -r requirements.txt
四、修改配置参数
修改config/lora.yaml中的参数,主要根据数据集的大小修改max_steps和save_steps
五、微调
cd /home/data/chatglm4-finetune/GLM-4/finetune_demo
1.单机单卡:
CUDA_VISIBLE_DEVICES=0 python finetune.py /home/data/chatglm4-finetune/data/whoAreYou_fix/ /home/data/model/zhipu/glm-4-9b-chat configs/lora.yaml
2.单机多卡/多机多卡:
export CUDA_VISIBLE_DEVICES=0,1
OMP_NUM_THREADS=1 torchrun --standalone --nnodes=1 --nproc_per_node=2 finetune.py /home/data/chatglm4-finetune/data/whoAreYou_fix/ /home/data/model/glm-4-9b-chat configs/lora.yaml
六、使用微调后的模型进行推理
在完成微调任务之后,我们可以查看到 output 文件夹下多了很多个checkpoint-*的文件夹,这些文件夹代表了训练的轮数。
checkpoint-*的文件夹的目录下面会有adapter_config.json文件,里面有一个基模型的路径base_model_name_or_path,记录着模型基座的路径。
cd finetune_demo
CUDA_VISIBLE_DEVICES=1 python inference.py output/checkpoint-3000/ --prompt "你是谁?"
七、合并模型
将基座模型和lora微调的增量模型合并成一个完整的大模型:
cd /home/data/chatglm4-finetune
# 第一个参数为微调后模型的路径,后面那个参数为合并后的模型输出路径
python merge_hf2.py /home/data/chatglm4-finetune/GLM-4/finetune_demo/output/checkpoint-16000/ --out-dir ./merge_model
merge_hf2.py的源码参见上一篇微调文章。
更多推荐
已为社区贡献2条内容
所有评论(0)