大家好，我是云枫，今天给大家推荐一款可训练ChatGLM2垂直领域模型的工具，亲测非常好,用小白也能训练自己的垂直领域模型。

微调方法

目前我们实现了针对以下高效微调方法的支持：

• LoRA仅微调低秩适应器。
• P-Tuning V2仅微调前缀编码器。
• Freeze Tuning仅微调后几层的全连接层。
• 全量微调微调模型所有参数。

软件依赖

• Python 3.8+, PyTorch 1.13.1
• Transformers, Datasets, Accelerate, PEFT, TRL
• protobuf, cpm-kernels, sentencepiece
• jieba, rouge-chinese, nltk（用于评估）
• gradio, matplotlib（用于网页端交互）
• uvicorn, fastapi, sse-starlette（用于 API）

环境搭建

git clone https://github.com/hiyouga/LLaMA-Efficient-Tuning.git
conda create -n llama_etuning python=3.10
conda activate llama_etuning
cd LLaMA-Efficient-Tuning
pip install -r requirements.txt

浏览器一体化界面

CUDA_VISIBLE_DEVICES=0 python src/train_web.py

所有的训练都需要提前准备自己的数据集我这边采用我们自研的数据清洗平台进行数据清洗和组装感兴趣的可以私聊

结束语

1. 几个简单的代码，就能创造出未来
2. 几个简单的算法，便能解决多难的问题
3. 一个编辑器，就能让你编写出惊人的程序
4. 一颗灵感的种子，便能开出创新的花朵
5. 创作不止是热情，更是耐心和毅力的积累
6. 编程不仅是一种技能，更是一种艺术
7. 感谢所有支持我的人，让我在技术路上走得更远更好