КПД
Ir al canal en Telegram
Квантование & Прунинг & Дистилляция Блог про сжатие сетей и не только. От древнейших времен по настоящее время.
Mostrar más3 433
Suscriptores
+524 horas
+67 días
+4430 días
Carga de datos en curso...
Canales Similares
Nube de Etiquetas
Menciones Entrantes y Salientes
---
---
---
---
---
---
Atraer Suscriptores
agosto '26
agosto '26
+78
en 4 canales
julio '26
+117
en 3 canales
Get PRO
junio '26
+115
en 1 canales
Get PRO
mayo '26
+109
en 4 canales
Get PRO
abril '26
+122
en 2 canales
Get PRO
marzo '26
+144
en 2 canales
Get PRO
febrero '26
+83
en 0 canales
Get PRO
enero '26
+105
en 5 canales
Get PRO
diciembre '25
+67
en 1 canales
Get PRO
noviembre '25
+224
en 11 canales
Get PRO
octubre '25
+57
en 2 canales
Get PRO
septiembre '25
+158
en 4 canales
Get PRO
agosto '25
+105
en 5 canales
Get PRO
julio '25
+59
en 0 canales
Get PRO
junio '25
+125
en 3 canales
Get PRO
mayo '25
+67
en 1 canales
Get PRO
abril '25
+105
en 3 canales
Get PRO
marzo '25
+118
en 5 canales
Get PRO
febrero '25
+276
en 3 canales
Get PRO
enero '25
+77
en 2 canales
Get PRO
diciembre '24
+229
en 7 canales
Get PRO
noviembre '24
+138
en 3 canales
Get PRO
octubre '24
+165
en 4 canales
Get PRO
septiembre '24
+137
en 2 canales
Get PRO
agosto '24
+69
en 4 canales
Get PRO
julio '24
+135
en 5 canales
Get PRO
junio '24
+61
en 3 canales
Get PRO
mayo '24
+268
en 5 canales
Get PRO
abril '24
+105
en 2 canales
Get PRO
marzo '24
+94
en 2 canales
Get PRO
febrero '24
+119
en 4 canales
Get PRO
enero '24
+327
en 6 canales
| Fecha | Crecimiento de Suscriptores | Menciones | Canales | |
| 26 agosto | +2 | |||
| 25 agosto | +5 | |||
| 24 agosto | +3 | |||
| 23 agosto | +5 | |||
| 22 agosto | 0 | |||
| 21 agosto | +1 | |||
| 20 agosto | +1 | |||
| 19 agosto | 0 | |||
| 18 agosto | 0 | |||
| 17 agosto | +3 | |||
| 16 agosto | +1 | |||
| 15 agosto | +1 | |||
| 14 agosto | +6 | |||
| 13 agosto | +4 | |||
| 12 agosto | +3 | |||
| 11 agosto | +4 | |||
| 10 agosto | +3 | |||
| 09 agosto | +2 | |||
| 08 agosto | +6 | |||
| 07 agosto | +3 | |||
| 06 agosto | +4 | |||
| 05 agosto | +4 | |||
| 04 agosto | +7 | |||
| 03 agosto | +9 | |||
| 02 agosto | +1 | |||
| 01 agosto | 0 |
Publicaciones del Canal
| 2 | 🛠️ Метод
Сначала определяют, какие слои лучше всего отображаются из одной модели в другую. Для этого обучают гребневую регрессию (Ridge Regression) между всеми парами слоёв source- и target-модели и находят те, где R² самый большой. При этом важно фитировать pre-RoPE-ключи. Так и ошибка выходит меньше, и на другие контексты экстраполируется лучше.
Замечают, что ключи предсказываются лучше, чем значения. Впрочем, это было известно и из прошлой литературы.
После определения самых важных source-слоёв для данного target-слоя признаки из них конкатенируют в один тензор и снова обучают на этом гребневую регрессию. Показывают, что важно брать не один, а несколько — 4–8 — слоёв из source-модели для приемлемого R².
⏱️ Занимает это час-полтора на ноде из 8×H100.
🧪 Эксперименты
Валидируют подход на моделях семейств Qwen3, Llama-3.1, Ministral и на задачах с коротким ответом: ARC-C, HellaSwag, Winogrande, MMLU.
На паре Qwen3 14B → 32B работает неплохо, на Qwen3 8B → 32B — уже хуже, а на Llama 3.1 и Ministral 3.
В ablation показывают для Qwen, что pre-RoPE важен и что k = 1 — брать один самый важный слой — недостаточно.
Для Ministral 3 можно вытянуть качество, если заменить линейную модель на MLP. Для Qwen3 это не помогает.
Утверждается, что оверхед от маппера из source в target небольшой — в 3–25 раз меньше, чем prefill.
💡 Выводы
Интересное исследование и идея, но будто бы до практического использования ещё далеко. Тесты — на простых бенчах, и будто бы подход не универсален. Для качественного отображения между разными моделями, скорее всего, потребуется более выразительная модель, и здесь возникает сложный trade-off между потенциальным выигрышем, стоимостью работы и обучения этой прокладки. | 283 |
| 3 | Cross-Model KV Cache Transfer in LLM Families: A Closed-Form Linear Mapping for Prefill Reuse
📄 Статья:
Нередко интересующую задачу можно разбить между несколькими LLM-ками, делегировав более простые куски бюджетным моделям, а сложные — самым топовым и дорогим.
Коммуникацию можно построить через текст, однако внутренние представления, в частности KV-кэш, могут содержать гораздо больше полезной информации.
В работе Cache-2-Cache рассматривается следующая постановка:
1. 🔹 Source- и target-модели делают префилл.
2. 🔹 Обучаемый fuser-модуль выдаёт добавку к target-модели, которая в некотором смысле передаёт знания из source-модели.
Практически интересны два сценария:
- 🧠 Делаем префилл большой моделью и достаточно длинную генерацию маленькой моделью. Надеемся, что мощный префилл зарешает.
- ⚡ Делаем большой префилл маленькой моделью и короткую генерацию большой моделью. Авось большая модель переварит выдачу малой модели и выдаст точный ответ.
-
Однако в исходной статье префилл, по-любому, приходится делать двумя моделями, и обучение fuser может быть недешёвым.
Ребята из NVIDIA предложили обучать проектор, в большинстве случаев линейный, из одной модели в другую, подобрав для target-модели наиболее полезные слои из source-модели, — и оно более-менее завелось. | 253 |
| 4 | 🛠️ Метод
Дабы всё можно было реализовать одним кернелом без обращения к глобальной памяти, надо расписать все вычисления так, чтобы нужные активации всегда лежали под рукой у нужного CTA (Cooperative Thread Array). А ещё хочется избавиться от лишних синхронизаций.
Есть две технические сложности:
1. В наивной реализации сначала идёт gate-проекция, а затем up, и CTA нужно тянуться далеко за нужными элементами матрицы весов.
2. Чтобы получить выход down-проекции, необходимо просуммировать по всей промежуточной размерности.
Проблема 1 решается просто — будем перемежать куски up- и gate-проекции, чтобы CTA мог достать их разом из одного места.
Проблема 2 решается гораздо сложнее, и ей посвящена, по сути, большая часть блога. Если коротко — так расписывается то, как данные подаются в тензорные ядра, синхронизируются consumer- и producer-потоки, пайплайнинг и заумный эпилог. Многие штуки зиждутся на Blackwell-специфичных инструкциях, позволяющих перекрывать в одной операции вычисления и трансфер памяти.
⚙️ Есть у них как bf16-, так и mxfp8-реализация.
📊 Замеры
Сравниваются с наивной торчовой реализацией (дико медленной, само собой, и это даже несерьёзно) и torch.grouped_mm.
В bf16 получают ускорение порядка 20% против grouped_mm и около 2 раз для mxfp8 (против торчового mxfp8). Если убрать requant из торчовой реализации mxfp8, то ускорения почти нет.
🤔 Сравнений с другими эффективными fused-кернелами — SonicMoE и Mixture-of-Kittens — нет, так что непонятно, насколько это круто. | 620 |
| 5 |  Prime Flash MoE - Faster MoE Kernels optimized for Blackwell
🔗 Блогпост
Работы по вайбкодингу реализации эффективных MoE-кернелов пошли кучно, и ребята из Prime Intellect не остались в стороне и породили свой fused-кернел Prime Flash MoE. | 659 |
| 6 | Наткнулся на интересный блог от некоего Simon Veitner.
Дизайн суровый, минималистичный, максимально дешево и сердито, но есть немало интересных статей про написание и ускорение кернелов, компоненты современных GPU, а также реализации различных алгоритмов в CuTe / CuTeDSL .
В частности:
• Making RMSNorm really fast
• Making matrix transpose really fast on Hopper GPUs
• CuTeDSL on Hopper - WGMMA and TMA intro
Будет полезно интересующимся написанием кернелов и эффективными программными реализациями алгоритмов на видеокартах, в особенности, на архитектурах Hopper и Blackwell. | 1 477 |
| 7 |  Некий стартап LithosAI предлагает сверхбыстрый инференс моделек у себя.
Обещают 800 токенов в секунду (на одного юзера) против 150 у другого стирального порошка других провайдеров.
При этом это все гоняется не на специализированных чипах Cerebras, а на какой-то обычной стойке из 8 B300.
В чем секрет такой выдающей скорости, не раскрывают, утверждают, что все дело в мегаэффективном движке инференса. Правда, по всей видимости основной фактор, определяющий latency, здесь - low-batch serving. И, само собой, удовольствие не дешевое, и чтобы не травмировать психику потенциальных юзеров, цену за мильон токенов не разглашают. | 1 383 |
| 8 | ![Иллюстрация Ping-Pong Scheduling для GEMM. [Блогпост]](data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDACgcHiMeGSgjISMtKygwPGRBPDc3PHtYXUlkkYCZlo+AjIqgtObDoKrarYqMyP/L2u71////m8H////6/+b9//j/2wBDASstLTw1PHZBQXb4pYyl+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj/wAARCAAeACgDASIAAhEBAxEB/8QAHwAAAQUBAQEBAQEAAAAAAAAAAAECAwQFBgcICQoL/8QAtRAAAgEDAwIEAwUFBAQAAAF9AQIDAAQRBRIhMUEGE1FhByJxFDKBkaEII0KxwRVS0fAkM2JyggkKFhcYGRolJicoKSo0NTY3ODk6Q0RFRkdISUpTVFVWV1hZWmNkZWZnaGlqc3R1dnd4eXqDhIWGh4iJipKTlJWWl5iZmqKjpKWmp6ipqrKztLW2t7i5usLDxMXGx8jJytLT1NXW19jZ2uHi4+Tl5ufo6erx8vP09fb3+Pn6/8QAHwEAAwEBAQEBAQEBAQAAAAAAAAECAwQFBgcICQoL/8QAtREAAgECBAQDBAcFBAQAAQJ3AAECAxEEBSExBhJBUQdhcRMiMoEIFEKRobHBCSMzUvAVYnLRChYkNOEl8RcYGRomJygpKjU2Nzg5OkNERUZHSElKU1RVVldYWVpjZGVmZ2hpanN0dXZ3eHl6goOEhYaHiImKkpOUlZaXmJmaoqOkpaanqKmqsrO0tba3uLm6wsPExcbHyMnK0tPU1dbX2Nna4uPk5ebn6Onq8vP09fb3+Pn6/9oADAMBAAIRAxEAPwB73DMfnuRj2Toari5l25MhOfQd6a+wZ5O73FNCK7gLuPc4HSgCzFK/IeZkxg8jpUZknQE78Z9KaY9uOcAjksMUhIK7TJGAPagCeK8lRcsxyaKrBF2ggpkdhmimA4Tux2sxAzgkDtQdquPLdsn1HFX309XyMnAPXIB/lQbPcylmJ2jHJH+FJvsCM7c6kfOSRjBJp0gd5vmcE+uautYKzdSM+hH+FN+wL/fb8x/hRcLFIlk+UYOTzRV1dPUtje+CeeR/hRRcD//Z){kind=small} Иллюстрация Ping-Pong Scheduling для GEMM.
[Блогпост] | 331 |
| 9 | Народная мудрость при написании кернелов с помощью агентов.
Фиксируйте бенчмарки самостоятельно, ибо агент всегда сможет под себя так наоптимизировать бенчмарк, чтобы показать выдающиеся цифры по ускорению против бейзлайнов. | 1 718 |
| 10 | Better MoE model inference with Warp Decode
🔗 Блогпост
Ребята из Cursor не остановились на Mixture-of-Kittens и реализовали ещё одну примечательную оптимизацию MoE для low-batch-инференса под названием Warp Decode.
Традиционные пайплайны инференса MoE expert-centric: они собирают токены для каждого эксперта, прогоняют вычисления и переставляют их обратно в исходном порядке. Операции перестановок занимают нетривиальное время и существенно замедляют инференс.
Курсоровцы же предлагают параллелизовать не по экспертам, а по выходам. Каждый варп отвечает за одно выходное значение. Инференс реализован через два fused-кернела — gate+up и down. Варп достаёт в потоковом режиме нужную строчку из матрицы весов и проводит операции.
⚡ Так как варпы работают независимо, то всё выходит embarrassingly parallel: вообще не нужно париться по поводу банковских конфликтов, барьеров и синхронизаций. Все редукции выполняются через warp-level-инструкции вида __shfl_xor_sync.
🛠️ Ещё из полезных плюшек стоит отметить следующее:
- 📐 Не нужно паддить до какой-то степени двойки (типа 128).
- 🗂️ Можно избавиться от scatter и combine: токены последовательности раздаются экспертам, а потом всё собирается. Также исчезает необходимость в промежуточных буферах.
🚀 В итоге оно даёт ускорение порядка 1,8× на B200.
💡 А ещё они избавляются от MXFP8-квантизации, ибо и так всё работает достаточно быстро)
📈 На батче из 32 удаётся достичь до 58% максимально достижимой пропускной способности.
Однако авторы утверждают, что их подход не полностью вытесняет expert-centric-исполнение, особенно в сценарии низкой загрузки. На больших батчах оверхеды от перестановок/перегруппировок токенов не так сильно болят. | 1 570 |
| 11 |  Dflash2 тпшнулся и теперь продаёт курсы на скиллбокс?!
Да да боже опять дифлеш… лорд Айм уан, лорд айм ту, начинали год как бодрый новичок с плюс минус новым подходом в спекдеке, даже обещали выложить пайплайн обучения, и вот конец года - тяжёлый люкс, эйай блог в тёмных тонах, пишите в Директ скинем модельки 💅
Из изменений: докинули конволюцию (стак мор лейерс) и газанули на дспарк из-за рекуррентности, хотя сами не лучше со своим path finder’ом.
Замерились опять на каких то доходягах типа meta muse glimmer это че блеск для глаз, и опять под раздачу попала КраснаяШляпаЭйАй, до отстаньте вы от них да делают средние драфт модели, да за один день, да бесплатно, но издеваться то зачем? это какая то груша для битья на все случаи жизни? если Канье Веста заменят домиником джокером в саже - пойду красной шляпе дизов насую на хф, ну чтобы знали
Крч, китайцы срубили бабла, даже им нужен один залетевший рилз, гад блес зем
https://inco.ai/blog/dflash2/ | 1 336 |
| 12 | 🛠️ Метод
По существу предлагается не так уж много:
- 📐 Берем квадратичное разложение. Вместо полного Гессиана (матрицы Фишера) берем диагональ, а ее оцениваем через статистики Адама (которые у нас и так есть).
- ⚖️ Диагональ Фишера используем для подбора оптимальных скейлов при заданных квантованных значениях (кодах). Перебирая общий скейл-фактор, находим оптимальные коды.
- 🔢 В основном фокусируются на INT2/3/4, но еще рассматривают и NVFP4, где скейлы перебираются по FP8-сетке.
Дальше много всякой теоретической лабуды, которой я не читал.
🧪 Эксперименты
Для валидации метода рассматривают QAD (дистилляцию на логитах исходной модели) предобученных Qwen3-4B-Thinking-2507 и Llama-3.1-8B-Instruct, а также SFT Qwen3-4B-Base.
По бенчам в 2 битах оно заметно лучше QAT/PTQ-бейзлайнов, в 3 и 4 битах разница не столь существенна. Лосс на обучении ниже и стабильнее.
Ablation показывает, что все компоненты дают пользу:
- 🧠 Hessian-aware взвешивание
- 🔍 Поиск скейлов
Итоговый оверхед якобы небольшой — замедление шага обучения всего на 1,5% против стандартного QAT со STE.
🧾 Выводы
Вроде бы несложная модификация STE, потенциально улучшающая качество. Но эффект провалидирован только на небольших моделях (обучение без FSDP, по всей видимости). Для больших моделей аншардирование статистик Адама может приводить к нетривиальному замедлению. Кроме того, нынче модно учить с Мюоном, а там аналога такой кривизны просто нет. При этом Мюон со STE может быть и не хуже Адама с прибамбасами, кто знает. Но для лечения GGUFов тема вполне рабочая. | 1 175 |
| 13 |  QUASAR: Lowering the Loss Floor of Quantization-Aware Training with Loss-Aware Reconstruction
📄 Статья
💻 Кода нет
Когда PTQ (Post-Training Quantization) не выдает желаемого качества при целевой степени сжатия или модель нужно адаптировать по ходу дела, неизбежно приходится переходить к QAT (Quantization-Aware Training).
Наивный STE (проброс градиента) может работать сносно, но расходится на низких битностях и вообще не очень стабилен. По факту градиент считается не из той точки, где в данный момент находится вес.
Кроме того, существующие техники не учитывают кривизну при оптимизации в STE.
И данная работа предлагает сравнительно недорогой способ сделать STE точнее и более адаптивным под геометрию. | 1 244 |
| 14 | В нынешних реалиях выражение skill issue обретает новый смысл - когда плохо дал указания агенту. | 1 783 |
| 15 |  Если гора не идет к Магомету, то Магомет идет к горе | 2 130 |
| 16 | Если учитель доступно объяснил материал - он хороший харнесс, а если плохо - то плохой. | 2 105 |
| 17 | Недавний блогпост от Alex Zhang, навеял мысль, что харнесс можно рассматривать как автокодировщик.
Харнесс задает то, как обратывается вход, а также выходное распределение.
Он может быть замороженным, а может и оптимизируемым (Darwin Godel Machine, Ouroboros).
Harness are AutoEncoders - хорошее название для статейки, чтобы набрать классов в твиттере... | 2 013 |
| 18 | 📄 Блогпост
🌵 Стартап Cactus Compute выпустил крохотную модель Needle 2 с весом чекпоинта всего 14 Mb для tool calling и работы со структурированными входа для edge устройств.
Исходная модель имеет 45M параметров, поверх нее применяется CQ-2bit квантизация (некая проприетарная техника).
Квантизация получается в процессе обучения (Quantization Aware Training).
⚡ Скорость
На префилле скорость 800+ tok/s, и 500+ tok/s на декоде на Raspberry Pi 5. Еще оно якобы быстро генерит на VR устройствах и Samsung-ах.
🏗️ Архитектура
Архитектура основана на ихней же работе Simple Attention Network. Там немало архитектурных прибамбасов:
• mHC
• Engram
• Hadamard MLP. Дабы сэкономить на параметры, параметризуют веса как произведение диагональной на Адамарову матрицу.
• GQA + Sliding Attention + синки для тулов
Needle 2 производит меньше операций на токен против традиционной трансформерной архитектуры.
📚 Обучение
На обучение потратили 115B токенов из проприетарных токенов и 38B на посттрейн, что на порядки меньше, чем у LFM.
📊 Бенчмарки
Модель оценивают на бенчмарках:
• Mobile Actions
• Droid Call
• Seal-Tools
• BFCL v4
🎯 Оно выходит по качеству близко к Function Gemma 270M, LFM 2.5 230M, Apple FM, будучи при этом гораздо меньше. | 2 373 |
| 19 |  Дарио, когда увидел openweight endpoint. | 2 010 |
| 20 | Про совсем компактные модели
Мне нравится идея крутить локальные модели, но не нравится идея забивать всю память ими. Мне всегда казалось, что самый лучший способ сделать подобную edge модель — попробовать создать что-то, что будет достаточно умным, чтобы мочь делать выводы из данных, но не иметь собственных знаний. Да и зачем модели собственные знания, когда есть тривиально настраивающийся поиск в интернете и тулколлинг? Мои коллеги из AIRI подумали о том же и сделали Optimal Cognitive Core, про который я уже писал — затюненные reasoning версии Qwen-3-0.6B и Qwen-3-1.7B, которые оптимизированы под работу с внешним контекстом и RAG. Модели в целом подходят под мои требования к железу — веса занимают 1.2 и 3.4 гб в их родном BF16, ещё столько же на длинный контекст (так как это Qwen3, там GQA, это вам не модный нынче гибрид), итого, с пивком потянет. Другой вопрос, что эти модели слишком малы, чтобы быть применимыми для general purpose задач — всё таки это 600M и 1.7B dense. В этом размере обычно бывают забавные попугаи, который могут делать парафразу или простенькую классификацию после файнтюна, но не более.
Следующий способ ужать модель в память моего MacBook Air M4 — использовать квантизацию. Тут отличились PrismML, сделав Bonsai-27B, бинарный- и тернарный кванты Qwen-3.6-27B. 27B модель в тернарном кванте занимает всего 7.2 гб после запуска инференса и вполне себе бегает на маках. К сожалению, Qwen-3.6-27B это dense модель, так что на моём маке она уж совсем медленная — если верить тому, что я нашёл в сети, генерация там будет в районе 13-14 токенов в секунду, чтение контекста — 100-150 токенов в секунду. Кроме того, это QAT (или вообще PTQ, подробностей мало), причём который скорее всего не затачивали на русский — так что я не ожидаю, что итоговая модель за пределами своего калибрационного сета/сета, на котором делали QAT сможет показать что-то интересное.
Буквально в ответ на Bonsai появился Maple-Preview. Это 20B A1B MoE, которую специально затачивали под локальный инференс на маках ещё на этапе проектирования архитектуры, обучая свою модель с нуля в тернарной точности — то есть это не квантизация чьей-то модели. В итоге, получилась модель размером в 5.31 гб, 7.5 гб с учётом 131к контекста — почти в полтора раза меньше, чем бинарный квант Bonsai — который выдаёт аж 218 токенов в секунду на M4 Mac Mini и 127 токенов в секунду на iPhone (каком — непонятно). Модель практически не знает русского, да и в целом, мало знает (путает, в какой игре босса зовут Psycho Mantis), но если дать ей поиск, она вполне себе справляется с ответами на простые вопросы. Бенчей по тулколлам они не дают, в целом, понятно почему — я прогнал Tau-2 (в качестве user sim я использовал Qwen3-235B-A22B-Instruct-2507), на Airline скор 0.48, на Retail 0.175, на Telecom 0.427. Это не соннет и тем более не квен, но на то это и Maple Preview, они специально пишут, что учить модель на агентов будут дальше.
При всех плюсах квантизации, это всё ещё почти половина доступной мне памяти. Поэтому есть ещё и третий способ как снизить использование оперативки: выгружать все веса на SSD и стримить экспертов у MoE с диска. Уже есть turbo-fieldfare, который запускает Gemma-4-26B на маке с использованием всего 2 гб памяти и есть Mference, форк turbo-fieldfare, который расширяет поддержку на Qwen-3.6-25B, DeepSeek V4 Flash и Inkling-Small 276B. Оно действительно использует очень мало памяти, но ценой того, что скорость генерации и чтения контекста падает до десятков токенов в секунду. Кажется, Apple делает что-то похожее в своей новой Siri, правда, активируя экспертов на весь промпт, а не на токен как в этих фреймворках.
И тут появляется интересная идея — а что если мы возьмём Maple Preview, которая суперэффективная, с маленькими экспертами и обучавшаяся в тернарной битности, и внесём её в Mference? Так мы сможем, в теории, получить ещё меньшее использование памяти и относительно нормальную скорость генерации — потому что модель оптимизировалась под это на этапе архитектуры.
Сказано — сделано. Спасибо кодексу и моей подписке за 200$, спустя 20 часов и 30% от недельного лимита я получил паритет с официальной имплементацией на teacher forced top-10 токенах в The Raven Эдгара Аллана По. Модель, в зависимости от контекста, занимает от 500 до 1200 мб памяти (!), на MacBook Air M4 читает и генерит со скоростями 40 и 20 тпс соответственно, может дёргать тулы и генерить текст. Такое не жалко оставить всегда включённым в фоне — кушать не просит, пусть лежит, если надо спрошу, он ответит. Попробую дотащить до мейна потом, но сейчас уже можно попробовать запуститься в моём форке на гитхабе.
Зачем это нужно? Имхо, есть два режима использования подобных моделей. Первый — интерактивный чат. Там важно, чтобы модель отвечала быстро и имела низкий латенси. Второй — когда модель в фоне, почти не используя память и не мешаясь остальным модулям системы, что-то анализирует — классифицирует сообщения, достраивает граф знаний, фильтрует почту, пишет сводку, что-то медленно ресёрчит в интернете. Во втором режиме требований к латенси нет, так что скорости в 20 тпс вполне себе достаточно. Ну а чтобы переключиться из одного режима в другой, нужно всего лишь загрузить всю модель в оперативку с SSD — что делается довольно быстро, буквально за пару секунд. Если модель умеет в тулколлы — Maple Preview умеет не слишком хорошо, но на то она и Preview — то можно строить агентные пайплайны без требований к латенси и всегда иметь умного помощника, готового к работе оффлайн даже на старых телефонах. И это прекрасно — мне было бы очень приятно, если бы будущее было локальным.
Код
Суперинтересный пост от DeepGrove про то как они дизайнили модель | 1 662 |
