什么是LLaMA-Factory？
LLaMA-Factory 是一个全面且用户友好的框架，旨在统一各种大型语言模型（LLM）的微调过程。它通过提供一个简单的Web用户界面和一个强大的命令行界面，为初学者和专家提供了易于上手的解决方案。该项目旨在通过支持超过100种模型和各种高效的微调技术，使LLM定制大众化，使其成为训练和部署自定义AI模型的一站式解决方案。
主要特点
- 广泛的模型支持： 原生支持超过100种流行的LLM，包括Llama、Mistral、Mixtral、Qwen、Yi和Gemma。
- 多种微调方法： 实现多种最先进的微调技术，如LoRA、QLoRA、全参数微调和GaLore。
- 直观的Web用户界面： 具有基于Gradio的Web界面，允许用户在不编写任何代码的情况下选择模型、数据集和训练参数。
- 高效率： 集成了FlashAttention-2、Unsloth和RoPE缩放等性能增强库，以加速训练并减少内存使用。
- 可扩展性： 支持通过DeepSpeed ZeRO和分布式数据并行（DDP）进行多GPU训练，以及使用vLLM进行快速推理。
- 一体化平台： 处理各种训练任务，包括预训练、监督微调（SFT）和奖励建模。
使用案例
- 自定义聊天机器人： 在特定的对话数据集上微调基础模型，为客户服务或个人助理创建专门的聊天机器人。
- 领域特定助手： 在技术文档、法律文本或医学论文上训练模型，为特定领域构建专家助手。
- 研究与开发： 为学术或商业研究快速试验不同的模型和微调方法。
- 内容生成： 创建专门用于生成特定风格文本的模型，如营销文案、诗歌或代码。
入门指南
开始使用LLaMA-Factory非常简单。您只需几个命令即可启动Web用户界面。
- 克隆存储库：
git clone https://github.com/hiyouga/LLaMA-Factory.git - 导航到目录并安装依赖项：
cd LLaMA-Factory pip install -e .[torch,bitsandbytes] - 启动Web用户界面：
llamafactory-cli webui运行此命令后，您可以在浏览器中访问Web界面，开始微调您的第一个模型。
定价
LLaMA-Factory 是一个在Apache 2.0许可下分发的开源项目。它完全免费，可用于个人和商业目的。