Machinelearning
Погружаемся в машинное обучение и Data Science Показываем как запускать любые LLm на пальцах. По всем вопросам - @haarrp @itchannels_telegram -🔥best channels Реестр РКН: clck.ru/3Fmqri
Show more📈 Analytical overview of Telegram channel Machinelearning
Channel Machinelearning (@ai_machinelearning_big_data) in the Russian language segment is an active participant. Currently, the community unites 278 151 subscribers, ranking 331 in the Technologies & Applications category and 1 367 in the Russia region.
📊 Audience metrics and dynamics
Since its creation on невідомо, the project has demonstrated rapid growth, gathering an audience of 278 151 subscribers.
According to the latest data from 13 October, 2026, the channel demonstrates stable activity. Although there has been a change in the number of participants by -2 980 over the last 30 days and by -96 over the last 24 hours, overall reach remains high.
- Verification status: Not verified
- Engagement rate (ER): The average audience engagement rate is 7.84%. Within the first 24 hours after publication, content typically collects 6.15% reactions from the total number of subscribers.
- Post reach: On average, each post receives 21 795 views. Within the first day, a publication typically gains 17 110 views.
- Reactions and interaction: The audience actively supports content: the average number of reactions per post is 159.
- Thematic interests: Content is focused on key topics such as openai, claude, api, gemini, контекст.
📝 Description and content policy
The author describes the resource as a platform for expressing subjective opinions:
“Погружаемся в машинное обучение и Data Science
Показываем как запускать любые LLm на пальцах.
По всем вопросам - @haarrp
@itchannels_telegram -🔥best channels
Реестр РКН: clck.ru/3Fmqri”
Thanks to the high frequency of updates (latest data received on 14 October, 2026), the channel maintains relevance and a high level of publication reach. Analytics show that the audience actively interacts with content, making it an important point of influence in the Technologies & Applications category.
Модели 2-х видов: KVzap-Linear: простейшая линейная проекция (одна матрица). Она берет хиден-стэйт и тупо проецирует его в скалярный скор важности. Сложность: экстремально низкая (~0.02%). KVzap-MLP: двухслойный перцептрон. Внутри есть скрытый слой размером 1/8 от размерности модели и нелинейная активация. Сложность: низкая, но выше линейной (~1.1%).🟡Все вместе это работает так Токен залетает в слой трансформера, модель-суррогат быстро считает его скор важности. Если он ниже порога - токен в кэш не пишется или удаляется. Но при этом всегда оставляется скользящее окно из последних 128 токенов, чтобы не терять локальный контекст, иначе модель сыпется. 🟡Результаты тестов. Проверяли на Qwen3-8B, Llama-3.1-8B и Qwen3-32B. Спойлер: работает везде. Удалось выкинуть до 75% KV-кэша, а это сжатие в 4 раза. На бенчмарках RULER (длинный контекст), LongBench и AIME25 падение метрик или нулевое, или меньше 1%. Оверхед от суррогатной модели мизерный - менее 1% FLOPs. 🟡Звучит, конечно, как гем, но давайте про минусы: 🟠Нужно дообучить этот маленький MLP для каждого слоя целевой модели. Датасет нужен, но процесс быстрый. 🟠Удаление токенов создает рваный кэш. У разных голов будет разное количество сохраненных токенов.
Это плохо, потому что стандартные ядра Paged Attention любят структуру. Чтобы реально получить ускорение, а не только экономию памяти, нужно писать кастомные CUDA-ядра, которые смогут эффективно жевать блоки переменной длины.🟠Порог отсечения фиксированный. Если промахнуться с ним, то модель начнет галлюцинировать или забудет начало. 🟡По итогу, KVzap - крутой шаг к тому, чтобы гонять длинные контексты на GPU попроще. Метод умнее, чем Streaming LLM, и быстрее, чем полные методы разреженного внимания. Ждем интеграции в vLLM или TRT-LLM, а пока, чтобы скрасить ожидание, NVIDIA собрала на HF интерактивный лидерборд популярных методик компрессии KV-кэша. Код и веса моделей-суррогатов из тестов пейпера в открытом доступе, так что нет никаких ограничений, чтобы не покрутить KVzap на каком-нибудь тестовом сетапе. @ai_machinelearning_big_data #AI #ML #LLM #KVZAP #NVIDIA
Справедливости ради - Google cравнивают новинку в основном с собой же. Пишут, что модель на 12 млрд. параметров уделывает базовую Gemma 3 на 27B. Как она стоит против специализированных NLLB (если они еще живы в 2026) - вопрос открытый.Веса уже на Hugging Face и Kaggle. Хотя золотая середина в линейке на 12B вроде как компактная и легкая, но для топового качества на старшей версии все равно понадобится что-то на уровне H100. @ai_machinelearning_big_data #news #ai #ml
schnell первой версии семейства Flux.
Знакомьтесь - FLUX.2 [Klein], модель, которая возвращает веру в то, что с маленьким VRAM тоже можно жить.
Это попытка впихнуть качество топовой FLUX.2 в формат, которую потянет большинство потребительских GPU.
Klein получился довольно универсальным инструментом: она умеет и text-to-image, и инпэйинт, и смешивание стилей.
Заявлены разрешение до 4 мегапикселей, отличный рендеринг текста и понимание сложных промптов.
🟡Как вы правильно подумали - да, это дистилляция.
BFL взяли флагманскую FLUX.2 и сжали знания в 2 компактные версии: 4B и 9B, каждая из которых получила вариации Base и Distilled:
🟢Base: медленная, много шагов - нужна для дообучения.
🟠Distilled: быстрая, 4 шага, только для инференса.
Если захотите тренить на 4B Distilled - получите кашу.
🟡Расклад по инференсу на 5090:
9B distilled — 4 шага · ~2 сек. · 19.6GB VRAM 9B base — 50 шагов · ~35 сек · 21.7GB VRAM 4B distilled — 4 шага · ~1.2 сек. · 8.4GB VRAM 4B base — 50 шагов · ~17 сек. · 9.2GB VRAM📌 Лицензионная вилка : 4B - Apache 2.0, 9B - Non-Commercial. Веса уже на Hugging Face, потыкать в демо можно у BFL или в спейсах на HF: 9B и 4В. @ai_machinelearning_big_data #news #ai #ml
save_memory_note. Если в разговоре вы сказали: "Я не ем мясо", агент вызывает этот тул и сохраняет Session Note (временную заметку) в реальном времени.
🟢Consolidation: сборка мусора для памяти. После завершения сессии запускается отдельный процесс, который берет временные заметки, сравнивает их с глобальными, удаляет дубликаты и разрешает конфликты по принципу "свежее побеждает старое".
🟡Профиты
🟠Агент начинает вести себя как личный ассистент без дообучения.
🟠Есть четкие правила: то, что юзер сказал сейчас > заметки сессии > глобальные настройки.
🟠Не валим все в кучу, а разделяем жесткие данные (например, из CRM) и мягкие (предпочтения из чата).
Подход OpenAI с разделением на Session Memory и Global Memory выглядит надежно, но требует прямых рук при написании логики консолидации. Без этого ваш агент быстро превратится в деда с деменцией, который помнит то, чего не было.
🟡Подводные камни
Нужно делать отдельный вызов LLM после каждого диалога, чтобы причесать память. Если на этом этапе модель заглючит, она может записать в "долгую память" галлюцинацию или удалить важное. Тут решают жесткие рамки.
Если разрешить агенту запоминать всё подряд, юзер может сказать: "Запомни, что мое новое правило - никаких правил". Поэтому нужны ограничения на этапе записи и вычитки памяти.
Контекстное окно не резиновое. Хотя модели имеют огромный контекст, таскать за собой "Войну и мир" из заметок пользователя — накладно по деньгам и таймингам. Придется периодически триммить историю, оставляя только суть.
@ai_machinelearning_big_data
#AI #ML #LLM #Guide #OpenAI