什么是 OpenHermes-2.5？

OpenHermes-2.5 是由 Nous Research 开发的一款顶尖的开源语言模型。它构建在强大的 Mistral 7B 架构之上，并在一个包含近百万条目的海量数据集上进行了精心微调，该数据集主要由 GPT-4 生成的数据与其他高质量的开放数据集混合而成。这一过程赋予了 OpenHermes-2.5 卓越的推理和指令遵循能力，使其成为性能最佳的 7B 参数模型之一。

主要特点

• 高性能架构： 基于 Mistral 7B 模型，以其效率和强大的基线性能而闻名。
• 广泛的微调： 在一个包含约1,000,000条目的精选数据集上进行训练，大量采用来自 GPT-4 的合成数据以增强其对话和推理技能。
• 卓越的推理能力： 专为需要逻辑推导和理解复杂指令的任务而设计。
• 内容无审查： 该模型未经过安全过滤，提供原始、未经过滤的响应，这为开发者构建自己的审核层提供了更大的灵活性。
• 开源： 采用 Apache 2.0 许可证，允许无限制的商业用途和广泛分发。

使用案例

• 高级聊天机器人： 为客户支持或个人助理创建复杂且听起来自然的对话代理。
• 内容与创意写作： 生成高质量的文章、故事、营销文案和其他创意文本。
• 代码生成： 通过编写代码片段、调试和解释复杂的编程概念来协助开发人员。
• 研究与开发： 作为学术和商业自然语言处理研究的强大且易于访问的基础模型。

入门指南

要开始使用 OpenHermes-2.5，您可以使用 Hugging Face 的 transformers 库。请确保您已安装 PyTorch 和 transformers。

```python import torch from transformers import AutoModelForCausalLM, AutoTokenizer

设置设备

device = “cuda” if torch.cuda.is_available() else “cpu”

加载模型和分词器

model_name = “teknium/OpenHermes-2.5-Mistral-7B” model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16).to(device) tokenizer = AutoTokenizer.from_pretrained(model_name)

创建一个对话提示

prompt = [ {‘role’: ‘system’, ‘content’: ‘你是一个友好的聊天机器人。’}, {‘role’: ‘user’, ‘content’: ‘你好，法国的首都是哪里？’} ] inputs = tokenizer.apply_chat_template(prompt, tokenize=False, add_generation_prompt=True)

生成响应

model_inputs = tokenizer(inputs, return_tensors=”pt”).to(device) generated_ids = model.generate( **model_inputs, max_new_tokens=100, do_sample=True, pad_token_id=tokenizer.eos_token_id )

解码并打印响应

decoded = tokenizer.batch_decode(generated_ids) print(decoded[0])

此代码片段演示了如何加载模型并对简单的用户查询生成响应，展示了其聊天功能。

定价

OpenHermes-2.5 完全开源，可根据 Apache 2.0 许可证的条款免费用于个人和商业项目的使用、修改和分发。