Gemma 是什么？
Gemma 是谷歌推出的一系列轻量级、最先进的开放模型，由 Google DeepMind 及谷歌其他团队共同开发。它基于与创建强大的 Gemini 模型相同的研究和技术构建。Gemma 模型的设计注重负责任的 AI 开发，提供多种尺寸（2B 和 7B 参数），可在从笔记本电脑、台式机到云端 TPU 的各种硬件上运行。它们提供预训练和指令微调两种变体，使其适用于各种文本生成任务，包括问答、摘要和对话。
主要特点
- 多种尺寸： 提供 2B 和 7B 参数尺寸，让开发者可以在性能和计算需求之间找到合适的平衡点。
- 预训练与指令微调： 提供原始预训练版本（用于研究和微调）和指令微调版本（用于即用型聊天和任务完成）。
- 针对多种框架进行优化： 通过 Keras 3.0 对 JAX、PyTorch 和 TensorFlow 等流行框架进行了原生优化。
- 跨设备兼容性： 设计用于在开发者的笔记本电脑、台式机或 Google Cloud TPU 和 GPU 上运行，提高了可访问性。
- 负责任的 AI 工具包： 与负责任的生成式 AI 工具包一同发布，其中包括用于创建更安全的 AI 应用程序和调试潜在问题的工具。
使用案例
- 研究与开发： 预训练模型为研究人员探索新颖应用和微调技术提供了坚实的基础。
- 聊天机器人和对话式 AI： 指令微调模型非常适合构建响应迅速且功能强大的聊天机器人和虚拟助手。
- 内容生成： 可用于摘要、创意写作和生成代码片段。
- 设备端应用： 较小的 2B 模型非常适合需要在消费级硬件上本地运行而无需持续云连接的应用程序。
入门指南
这是一个简单的“Hello World”风格示例，使用 Hugging Face transformers 库来运行 Gemma 2B 指令微调模型。
首先，请确保您已安装必要的库： ```bash pip install transformers torch accelerate
然后，您可以使用以下 Python 代码生成文本：
```python import torch from transformers import AutoTokenizer, AutoModelForCausalLM
设置分词器和模型
tokenizer = AutoTokenizer.from_pretrained(“google/gemma-2b-it”) model = AutoModelForCausalLM.from_pretrained( “google/gemma-2b-it”, device_map=”auto”, torch_dtype=torch.bfloat16 )
创建输入提示
input_text = “给我写一首关于一个爱狗的男人的诗。” input_ids = tokenizer(input_text, return_tensors=”pt”).to(model.device)
生成输出
outputs = model.generate(**input_ids, max_new_tokens=150) print(tokenizer.decode(outputs[0]))
定价
Gemma 模型是免费提供的。它们根据“Gemma 使用条款”发布，允许负责任的商业使用和分发。这使其成为个人开发者和企业的有吸引力的选择。