Что такое Microsoft Phi-3 Mini?

Microsoft Phi-3 Mini — это революционная Малая Языковая Модель (SLM) с 3,8 миллиардами параметров, которая обеспечивает производительность, сравнимую с гораздо более крупными моделями, такими как Mixtral 8x7B и GPT-3.5. Она является частью семейства открытых моделей Phi-3, которые разработаны как самые способные и экономически эффективные SLM на рынке. Обученная на огромном наборе высококачественных веб-данных и синтетических данных, Phi-3 Mini сильно оптимизирована для следования инструкциям, что делает ее надежной, безопасной и простой в использовании для широкого спектра задач генеративного ИИ как на устройствах, так и в облаке.

Ключевые особенности

Высокая производительность, малый размер: Имея всего 3,8 млрд параметров, она достигает результатов, сопоставимых с моделями в 10 раз больше, что делает ее идеальной для сред с ограниченными ресурсами.
Расширенное окно контекста: Доступна в двух вариантах: версия с длиной контекста 4K и версия 128K (Phi-3-mini-128k-instruct), что позволяет ей обрабатывать и анализировать большие документы, книги или кодовые базы.
Настроена на инструкции: Доработана для следования сложным инструкциям, обеспечивая надежные и предсказуемые результаты для чат-приложений и личных помощников.
Оптимизирована для устройств: Разработана для локального запуска на мобильных телефонах и других периферийных устройствах, обеспечивая низкую задержку, конфиденциальность и экономичность ИИ-взаимодействий.
Сильные меры безопасности: Обучена и настроена в соответствии с высокими стандартами ответственного ИИ, минимизируя вредные или предвзятые результаты.

Сферы применения

Персональные помощники на устройствах: Обеспечение работы отзывчивых и конфиденциальных ИИ-помощников на смартфонах без необходимости постоянного подключения к Интернету.
Создание контента: Быстрое и эффективное создание постов в блогах, маркетинговых текстов и обновлений в социальных сетях.
Генерация и помощь в кодировании: Помощь разработчикам в написании, дополнении и отладке кода непосредственно в их локальной среде.
Суммаризация документов: Быстрое обобщение длинных отчетов, статей или книг благодаря большому окну контекста.
Чат-боты для обслуживания клиентов: Создание экономичных и быстрых чат-ботов, способных обрабатывать широкий спектр запросов клиентов.

Начало работы

Вот пример в стиле “Hello World”, как запустить Phi-3 Mini с использованием библиотеки transformers в Python.

```python import torch from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

Установить устройство на GPU, если доступно, иначе CPU

torch.manual_seed(0) device = “cuda” if torch.cuda.is_available() else “cpu”

Загрузить модель и токенизатор

model = AutoModelForCausalLM.from_pretrained( “microsoft/Phi-3-mini-4k-instruct”, device_map=device, torch_dtype=”auto”, trust_remote_code=True, ) tokenizer = AutoTokenizer.from_pretrained(“microsoft/Phi-3-mini-4k-instruct”)

Создать конвейер генерации текста

pipe = pipeline( “text-generation”, model=model, tokenizer=tokenizer, )

Определить сообщения для чата

messages = [ {“role”: “user”, “content”: “Можешь написать короткую программу ‘hello world’ на Python?”}, ]

Сгенерировать ответ

generation_args = { “max_new_tokens”: 500, “return_full_text”: False, “temperature”: 0.0, “do_sample”: False, }

output = pipe(messages, **generation_args) print(output[0][‘generated_text’])

Этот код создаст простую программу “Hello World” на Python.

Цены

Phi-3 Mini выпускается под разрешительной лицензией MIT, что делает ее полностью Open Source и бесплатной как для коммерческого, так и для исследовательского использования. Она также доступна как управляемая модель через Microsoft Azure AI, где применяются стандартные тарифы за использование API, предоставляя масштабируемый вариант развертывания корпоративного уровня.

Microsoft Phi-3 Mini