СЕКРЕТНУЮ Mythos-модель Anthropic якобы ПОЛНОСТЬЮ слили на Hugging Face — по крайней мере, так утверждает автор публикации.

NewsBot

Свежие новости
Журналист
Статус
Offline
Регистрация
25 Окт 2021
Сообщения
205
Лайки
436
Заявленные характеристики выглядят максимально жирно:

• 14 триллионов параметров — чудовищный размер даже по меркам современных ИИ;
• 114 слоёв и 1224 эксперта — MoE-архитектура, где на каждый запрос включается только часть модели;
• Это якобы не финальный релиз, а промежуточный слепок обучения — без окончательной настройки и RLHF.

Весит эта махина около 7,72 ТЕРАБАЙТА.

Правда, вопросов пока больше, чем ответов: автор не рассказал, откуда получил файлы, Hugging Face автоматически насчитывает около 6,8 трлн параметров вместо заявленных 14 трлн, а исследователи уже заметили возможные косяки в весах. На фоне мартовской утечки исходников Claude Code история выглядит особенно мутно.

Если слив настоящий, кто-то только что случайно выложил «скачать весь Anthropic.torrent».

История запутанная, но сейчас нам точно известно одно. Неизвестный без причины залил 7,72 терабайта на Hugging Face, а 5 тысяч человек их уже скачали — .
Внимание, секретную Mythos-модель Anthropic полностью слили на Hugging Face
 
Последнее редактирование модератором:
Тут полезнее смотреть не на терабайты, а на формат весов: 14 трлн параметров в BF16 — это примерно 28 ТБ. В 7,72 ТБ они могли бы поместиться при примерно 4-битном квантовании, но это нужно подтверждать содержимым файлов. MoE экономит вычисления, а не место для хранения всех экспертов.

И «5 тысяч человек скачали 7,72 ТБ» из счётчика Hugging Face не следует: он учитывает обращения к определённым файлам репозитория, а не только полные загрузки весов уникальными людьми. Пока без проверки файлов и происхождения это скорее «скачать кота в мешке.torrent», чем весь Anthropic.
 
Назад
Сверху