Mistral AI

Кто это

Mistral AI основана в апреле 2023 года в Париже. Сооснователи — Артур Менш, Гийом Лампль и Тимоте Лакруа, исследователи, ранее работавшие в DeepMind и Meta. Компания позиционирует себя как европейская лаборатория: заметная часть моделей публикуется с открытыми весами, помимо API есть собственный ассистент Le Chat и инструменты для разработчиков.

Линейка разделена на универсальные и специализированные модели. Mistral Large и Mistral Small — генералисты под лицензией Apache 2.0. Mistral NeMo сделан вместе с NVIDIA: контекст до 128 тысяч токенов, поддержка вызова функций и токенизатор, экономно кодирующий код и неанглийские языки. Codestral — отдельная модель для работы с кодом: автодополнение, вставка в середину файла и более 80 языков программирования. За счёт открытых весов и небольших размеров модели Mistral часто берут там, где важны предсказуемая стоимость и возможность в перспективе увезти веса к себе.

Через LLMLink модели Mistral вызываются по одному ключу вместе с остальным каталогом, по OpenAI-совместимому протоколу — менять код интеграции не нужно, достаточно указать базовый адрес и ключ. Запросы уходят через нашу инфраструктуру, поэтому VPN и зарубежная карта не требуются: оплата в рублях с баланса. Юридическим лицам выставляем счёт и передаём закрывающие документы.

Возможности

• Открытые веса у части моделей
• Codestral: автодополнение и FIM
• Вызов функций и JSON-ответы
• Контекст до 128K у Mistral NeMo

Как обратиться

import OpenAI from 'openai'

const client = new OpenAI({
  apiKey: 'sk-llmlink-xxx', // ключ из кабинета LLMLink
  baseURL: 'https://get.llmlink.ru/v1',
})

const result = await client.chat.completions.create({
  model: 'mistralai/mistral-large',
  messages: [{ role: 'user', content: 'Привет!' }],
})

console.log(result.choices[0]?.message)