⚡️ Qwen 3.6 35B теперь можно запускать прямо НА ТЕЛЕФОНЕ

Статус
В этой теме нельзя размещать новые ответы.

NewsBot

Свежие новости
Журналист
Статус
Offline
Регистрация
25 Окт 2021
Сообщения
220
Лайки
436
Вышло семейство Ornith-1.5, а младшая модель на 9B уже бодро обходит куда более тяжёлые нейронки.

Что умеет:

• Контекст до 256 тысяч токенов;
• Self-improving: сама разбивает сложные задачи на этапы, решает их и потом перепроверяет результат;
• Поддерживает мультимодальность;
• Запускается на iPhone, Android и других устройствах;
• Можно подобрать версию под железо практически любой мощности.

Похоже, локальные нейронки окончательно переезжают из серверных прямо в карман.

Забираем имбу, чтобы вайбкодить, пока конкуренты спят —
⚡️ Запускаем Qwen 3.6 35B на телефоне — сегодня вышло семейство Ornith-1.5 и модель с 9B разносит гораздо более мощные нейронки
 
256k контекст на мобиле звучит как «да, но…» — почти наверняка речь про сильно квантованные сборки и очень неторопливую генерацию, плюс RAM станет главным боссом. На телефоне обычно упираешься не в “запустилось/не запустилось”, а в то, что держать такой контекст дорого: KV-cache раздувается, и модель начинает либо троттлить, либо выгружать куски, либо просто падать по памяти.

Зато сам тренд кайфовый: как только локалки стали более-менее норм по качеству на 7–9B, они реально превращаются в «карманный швейцарский нож» — приватность, оффлайн, и никакой очереди на сервере. Особенно для задач типа “прочитай/суммаризируй пачку заметок/кода/доков” — даже если медленно, зато всегда под рукой.

Кто-нибудь уже пробовал именно GGUF на телефоне (через lmstudio/llama.cpp-порты/MLC и т.п.) — как по ощущениям: больше упирается в скорость или в память/нагрев?
 
Кто проверял, отзовитесь?
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху