TinyBERT
什么是TinyBERT？TinyBERT是华为诺亚方舟实验室开发的一款紧凑型语言模型。它是流行的BERT模型的蒸馏版本，设计得显著更小、更快，使其适用于资源受限的环境，如移动设备、物联网小工具和边缘服务器。通过一种新颖的两阶段知识蒸馏...
Flax
Flax 是什么？Flax 是一个由谷歌开发的高性能、开源的 JAX 神经网络库。它被设计为灵活、可扩展，并与 JAX 的可组合函数转换生态系统（如 jit（即时编译）、grad（自动微分）和 vmap（自动矢量化））无缝协作。与传统...
Gensim
Gensim 是什么？Gensim 是一个非常流行的开源 Python 库，专为无监督主题建模和自然语言处理而设计。它擅长高效处理大型文本语料库，使其成为从文档中提取语义主题、分析文本相似度和使用词嵌入等任务的首选工具。其内存流式实现...
Gemma (Google)
Gemma 是什么？Gemma 是谷歌推出的一系列轻量级、最先进的开放模型，由 Google DeepMind 及谷歌其他团队共同开发。它基于与创建强大的 Gemini 模型相同的研究和技术构建。Gemma 模型的设计注重负责任的 A...
Hugging Face TRL
Hugging Face TRL 是什么？TRL (Transformer Reinforcement Learning) 是 Hugging Face 推出的一个库，它可以使用强化学习技术来训练Transformer语言模型。它超越...
Llama 3 (Meta AI)
什么是 Llama 3？Llama 3 是由 Meta AI 开发的最新一代开源大型语言模型（LLM）。它在性能上实现了重大飞跃，为开放模型设立了新标准，并直接与顶级专有模型竞争。Llama 3 提供多种尺寸，包括 8B 和 70B ...
LLaMA-Factory
什么是LLaMA-Factory？LLaMA-Factory 是一个全面且用户友好的框架，旨在统一各种大型语言模型（LLM）的微调过程。它通过提供一个简单的Web用户界面和一个强大的命令行界面，为初学者和专家提供了易于上手的解决方案。...
LoRA
什么是LoRA？LoRA，全称低秩自适应（Low-Rank Adaptation），是一种高效微调大型语言模型（LLM）的突破性技术。LoRA不重新训练庞大模型的所有参数（可能多达数十亿），而是冻结预训练模型的权重，并在模型的层中注入...
Torchtune
什么是 Torchtune？Torchtune 是一个 PyTorch 原生库，旨在使微调开源大语言模型（LLM）的过程变得简单、高效和易于访问。它由 PyTorch 团队开发，提供了模块化和可扩展的组件，可与 PyTorch 生态系...
SimpleCV
什么是SimpleCV？SimpleCV是一个开源框架，旨在让非该领域专家的开发人员和研究人员更容易地接触和使用计算机视觉。它封装了像OpenCV这样的强大库，并提供了一个更直接、更易读的界面。其目标是让用户只需几行代码就能执行复杂的...
Mixtral 8x22B
什么是 Mixtral 8x22B？Mixtral 8x22B 是由 Mistral AI 开发的一款前沿的开源大语言模型。它采用稀疏混合专家 (SMoE) 架构，这使其与传统的密集模型区别开来。虽然它拥有高达 1410 亿的总参数量...
BERT
什么是BERT？BERT，全称为Bidirectional Encoder Representations from Transformers（来自Transformers的双向编码器表示），是谷歌在2018年开发的一个里程碑式的语言...