什么是 Llama 3？
Llama 3 是由 Meta AI 开发的最新一代开源大型语言模型（LLM）。它在性能上实现了重大飞跃，为开放模型设立了新标准，并直接与顶级专有模型竞争。Llama 3 提供多种尺寸，包括 8B 和 70B 参数版本，旨在让广大开发者和研究人员都能使用，为从复杂推理到创意文本生成的各种应用提供动力。
主要特点
- 顶尖性能： Llama 3 模型是现有性能最佳的开源模型之一，在行业标准基准测试中表现出色。
- 多种模型尺寸： 发布了 8B 和 70B 参数版本，并正在训练一个超过 400B 的模型，使开发人员能够根据性能和资源需求选择合适的平衡点。
- 改进的推理和指令遵循能力： 模型在理解复杂查询、遵循细致指令和执行多步推理任务方面的能力得到了显著提升。
- 海量训练数据集： 在一个超过 15 万亿个 token 的全新高质量数据集上进行训练，比用于 Llama 2 的数据集大七倍，并经过大量筛选以确保数据质量。
- 开放和可访问： Llama 3 根据 Llama 3 社区许可证可广泛使用，包括商业应用，从而促进了 AI 社区的创新和研究。
应用场景
- 高级聊天机器人和虚拟助手： 为能够处理复杂用户交互的复杂对话式 AI 提供动力。
- 代码生成和开发工具： 协助开发人员编写、调试和解释代码。
- 内容创作： 为市场营销、创意写作和内容摘要生成高质量的书面内容。
- 学术和科学研究： 为研究人员探索 AI 前沿提供一个强大、开放的基础。
- 企业解决方案： 使企业能够为内部和外部使用构建定制的 AI 驱动功能和应用程序。
入门指南
以下是使用 Python 中的 transformers 库运行 Llama 3 8B Instruct 模型的简单示例。
```python import transformers import torch
model_id = “meta-llama/Meta-Llama-3-8B-Instruct”
pipeline = transformers.pipeline( “text-generation”, model=model_id, model_kwargs={“torch_dtype”: torch.bfloat16}, device_map=”auto”, )
messages = [ {“role”: “system”, “content”: “You are a helpful pirate chatbot who speaks in pirate dialect.”}, {“role”: “user”, “content”: “Who be ye?”}, ]
prompt = pipeline.tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True )
terminators = [ pipeline.tokenizer.eos_token_id, pipeline.tokenizer.convert_tokens_to_ids(“<|eot_id|>”) ]
outputs = pipeline( prompt, max_new_tokens=256, eos_token_id=terminators, do_sample=True, temperature=0.6, top_p=0.9, ) print(outputs[0][“generated_text”][len(prompt):])
这将产生一个海盗口音的回答，例如：
"Ahoy! I be Cap'n Llama, a friendly pirate chatbot here to help ye with yer queries. What treasures can I help ye find today?"
定价
Llama 3 是一个开源模型，可免费用于研究和商业用途，但需遵守 Llama 3 社区许可证的条款。用户在运行模型时需自行承担计算成本。