run_task_sft_qlora.sh

python tuner/train_qlora.py \
  --model_type baichuan \
  --model_name_or_path /path/to/Baichuan2-7B-Base/ \
  --data_path data/task_dummy.jsonl \
  --output_dir dummy_output \
  --max_length 1024 \
  --task_finetune True \
  --task_prompt "广告营销文案生成:\n" \
  --per_device_train_batch_size 4 \
  --gradient_accumulation_steps 4 \
  --use_flash_attn False \
  --use_xformers_attn False \
  --max_grad_norm 0.3 \
  --learning_rate 1e-4 \
  --weight_decay 0. \
  --num_train_epochs 1 \
  --lr_scheduler_type "constant_with_warmup" \
  --warmup_ratio 0.03 \
  --logging_steps 5 \
  --save_strategy "steps" \
  --save_steps 10 \
  --save_total_limit 1 \
  --bf16 True \
  --tf32 True \
  --report_to "tensorboard" \
  --gradient_checkpointing True \
  --optim "paged_adamw_32bit" \
  --lora_r 64 \
  --lora_alpha 16 \
  --lora_dropout 0.05 \
  --bits 4 \
  --double_quant True \
  --quant_type "nf4"