### Description / 描述 当使用你们提供的LoRA微调脚本和广告数据集进行微调后，输出效果很差（issue区大部分微调效果都不好），我不能确定是否自己写的调用代码有问题，所以请你们提供一个经过LoRA微调后的脚本，或者使用目前的广告数据集微调的话，需要修改那些参数？   ### Case Explaination / 案例解释 _No response_
Activity
xxTvTxx commentedon Mar 5, 2024
我lora微调的效果还可以，下面是参数
deepspeed --include localhost:0,1,2,3,4,5,6,7 finetune.py \ --model_name_or_path /data01/models/open_source/MiniCPM-2B-sft-fp32 \ --output_dir /data01/models/fine_tuned/MiniCPM/cr_6b/ \ --train_data_path /home/MiniCPM/data/cr_6b_glm.json \ --eval_data_path /home/MiniCPM/data/cr_ori_clean_glm3/markdown_2367.json \ --learning_rate 1e-3 --per_device_train_batch_size 2 \ --per_device_eval_batch_size 1 --fp16 --use_lora \ --gradient_accumulation_steps 1 --warmup_steps 100 \ --model_max_length 5000 \ --max_steps 8000 --weight_decay 0.01 \ --evaluation_strategy steps --eval_steps 500 \ --save_strategy steps --save_steps 500 --seed 42 \ --log_level info --logging_strategy steps --logging_steps 10 \ --deepspeed configs/ds_config_zero2.json我就改了per_device_train_batch_size，增加了model_max_length，修改了deepspeed的配置文件，改成了zero2
LiangYong1216 commentedon Mar 5, 2024
你用的什么数据集啊，没使用他提供的那个广告数据集吧？我用那个广告的就很差！！！
xxTvTxx commentedon Mar 5, 2024
我用的自己构造的下游任务数据集，没用广告的
SwordFaith commentedon Mar 6, 2024
抱歉给您带来的不便，之前开源的代码中确实存在 bug，目前已经尝试修复，具体的性能测试还在跟进
LiangYong1216 commentedon Mar 6, 2024
好的，有消息的话及时通知，我还是挺看好这个模型的
xdedmyyds commentedon Mar 10, 2024
你好，能否加一个联系方式，请教你一下微调minicpm，我也是微调下游数据集，比较急，谢谢
xxTvTxx commentedon Mar 11, 2024
我没改过微调代码，说实话没啥经验可以交流；我这边的训练环境是8xH800 80G，包版本如下