Французская Mistral представила Mistral Large 4 с прозвищем Le Chonk. По словам компании, это её самая крупная модель: в ней 1,05 трлн параметров, из которых при одном проходе активны 49 млрд. Модель уже доступна через API в режиме публичного превью, а полные веса Mistral обещает выпустить 27 октября.[1][2][3][4][5]
Large 4 построена на архитектуре Mixture-of-Experts. Её контекстное окно вмещает 1 млн токенов, визуальный энкодер содержит 1,6 млрд параметров. Обучали модель в собственных дата-центрах Mistral в Европе. Сколько ушло ускорителей, источники называют по-разному. По данным The Deep View, на которое ссылается Techmeme, это 4000 GPU Grace Blackwell, а Telegram-канал @ai_newz пишет о 3800.[6][7][8][9][10][11]
Миллион входных токенов через API стоит $1,36, миллион выходных — $4,18. Первые две недели действует скидка 50%. Компания делает ставку на агентное программирование, кибербезопасность, финансовые и инженерные задачи. Mistral заявляет, что по совокупности бенчмарков модель лидирует среди моделей с открытыми весами из США и Европы.[12][13][14]
Как пишет Numerama, критики долгие месяцы говорили, что Mistral отстаёт от китайских открытых моделей и американских гигантов. Выход Large 4 издание назвало «большим возвращением» Mistral.[15]
По материалам
Текст составлен ИИ по материалам ниже и не содержит фактов, которых нет в источниках.
Le champion français de l'intelligence artificielle dévoile Mistral Large 4 (surnommé Le Chonk), un modèle de 1 000 milliards de paramètres entraîné dans ses propres data centers en Europe.
Le champion français de l'intelligence artificielle dévoile Mistral Large 4 (surnommé Le Chonk), un modèle de 1 000 milliards de paramètres entraîné dans ses propres data centers en Europe.
Mistral делает ставку на агентное программирование, кибербезопасность, финансовые задачи, инженерные расчёты и работу с изображениями и технической документацией.
Alors que les détracteurs de Mistral l'annoncent distancé par les modèles open source chinois et par les géants américains depuis de longs mois, Mistral fait son grand retour.
