Den4ik Research

Q-164M и Q-U-164M — новые модели от Q-Project, обучены с нуля на одной GPU. Q-164M — 164.6M параметров, претрейн на 13.1 млрд токенов (FineWeb-Edu). Тернарные веса {-1, 0, +1}, без обучаемой embedding-таблицы (замороженный отпечаток на каждый токен), и механизм точных вызовов инструментов: модель решает, когда посчитать, а сам расчёт делает детерминированный исполнитель — арифметика всегда точная. Q-U-164M — тот же чекпоинт, дообученный для диалога (chat-SFT + RL). Ушло 5 итераций, чтобы починить реальный баг с потерей вызова инструментов в живом многоходовом диалоге. Честно: модель только английская, русский не понимает. Общие знания слабые, вне задач с инструментами часто ошибается по фактам — это исследовательский артефакт, не продукт. Сравнили с другими маленькими моделями через свой бенчмарк QBench (без подсказок инструментам): заметно уступает Qwen2.5-0.5B (втрое крупнее) почти везде — кроме TruthfulQA, там чуть впереди. Не сенсация, но и обучалась на одной V100, а не на кластере. 🔗 Ссылка на веса: https://huggingface.co/collections/q-project/q-164m 💻 Код: https://github.com/Q-Project-LM/Q-164M 💬 Чат в браузере: https://q-project-lm.github.io/chat/ 📊 QBench: https://huggingface.co/spaces/q-project/QBench 📝 Разбор: https://q-project-lm.github.io/blog-q164m.html ⚖️ Лицензия: apache-2.0 Если хотите поддержать эксперименты и обучение более крупных моделей — буду благодарен за помощь со сбором на GPU 🙄 ❤️ Поддержать проект: https://t.tb.ru/pm_short/4v90jPi6NPZ 💘U💘

В копилку CPU синтезов

ребят, тыкайте, https://huggingface.co/spaces/TeraTTS/TTS, будет что то не так пишите в коменты - подправим

🎉 Подготовили статью "Dialogs: a studio-quality expressive conversational Russian speech corpus for dialog assistants", с Ильёй Латышевым, которую приняли на Interspeech 2026 Слова Ильи:

Это был мой первый подобный опыт, и теперь я могу с уверенностью сказать: если кажется, что всё, что может пойти не по плану, обязательно пойдёт не по плану — скорее всего, так и будет 😄 Переносы записей, сорванные дедлайны, организационные сложности, постоянные мелкие проблемы, которые по отдельности кажутся незначительными, но вместе сильно тормозят работу. В какой-то момент начинает казаться, что проект уже никогда не закончится. Но в итоге всё получилось, и я очень рад, что мы довели его до конца. За время работы я понял, насколько много мелочей влияют на качество речевого корпуса. Например: • желательно использовать одинаковые микрофоны и одинаковую аудиоцепочку для всех дикторов; • одинаковое расстояние до микрофонов; • необходимо контролировать уровень фонового шума и акустику помещения; • важно не менять настройки записи между сессиями; • стоит заранее продумать организацию записи, потому что именно она часто становится источником самых неожиданных проблем.

Одной из особенностей нашего корпуса стали условия записи диалогов. Два актёра театра сидели напротив друг друга и читали реплики, видя мимику, жесты и эмоциональную реакцию собеседника. Несмотря на то что текст был заранее подготовлен, такое взаимодействие делало реплики значительно более естественными и выразительными. Это заметно отличается от записи, когда каждый диктор работает в одиночку и произносит свои реплики изолированно. В результате получился открытый студийный корпус выразительной русской разговорной речи: • 20 часов записей; • 3 профессиональных диктора — актёра театра; • широкий набор эмоций и разговорных стилей; • открытая лицензия для исследований. Корпус в первую очередь предназначен для файнтюна моделей синтеза речи. В статье мы также показываем результаты обучения моделей и субъективную оценку качества (MOS) для различных разговорных стилей. 📄 Статья на arxiv: https://arxiv.org/abs/2607.14310 📄Статья на hf: https://huggingface.co/papers/2607.14310 🤗 Датасет: https://huggingface.co/datasets/langswap/dialogs-ru-emotional-conversations 🎤 Демо: https://huggingface.co/spaces/frappuccino/dialogs-ru-tts Спасибо Илье за работу над этим проектом - это было очень непросто и ресурсозатратно и я очень хочу чтобы результаты нашей работы приносили пользу таким же исследователям речевых технологий как мы. Подписывайтесь на канал Ильи, он делает крутые обзоры там! @decent_researcher И на этот канал, @voicestuff

Всем привет ребятки, выложил тут датасет с ютуба, сделан через пайплайн FireRed Vad -> двойной гигаам с мерджингом (пунктуация из е2е и текст из обычной) -> алайн через квен алайн -> отчистка через clearer voice Данные в формате опус, 48khz, mono, один спикер, у каждого опус файла есть txt файл с текстом аудио, в метадате данные в формате путь||текст(с ударениями)||время аудио в секундах https://huggingface.co/datasets/TeraTTS/betterset

Капец HF офигели там. Подскажу им идею: Если model_type != llama то Inference_api = off

ruaccent-turbo3.1 - улучшение модели в случаях с несколькими одинаковыми омографами В предыдущих версиях руакцента была одна проблема - модель в случаях с двумя и более одинаковыми омографами (например "на горе стоит замок, а на его двери висит замок.") всегда ставила один и тот же (в нашем примере зам+ок). Также существовала проблема, что модель иногда путает контексты для омографа. В обновленной версии tiny2.1 и turbo3.1 над этими проблемами была проделана работа. Метрики моделей (на усложненном датасете): ruaccent-turbo3 -> 95.86% ruaccent-turbo3.1 -> 95.98% А вот на tiny качество выросло значительно: tiny2 -> 90.18% tiny2.1 -> 95.31% Говоря о значительном росте и улучшениях, нельзя не отметить, что сегодня у меня особенный день - мой день рождения! Как и в работе над моделями руакцента, каждый новый год жизни приносит свои улучшения, опыт и достижения. Бтв, я сегодня на AI Conf, так что если хотите поболтать, велком к зоне "Онтико AI Музыка". Я здесь со своим другом @varfolomeefff. GitHub: https://github.com/Den4ikAI/ruaccent Донат: https://pay.cloudtips.ru/p/b9d86686

Ну и не могу вдогонку не высказаться по поводу набившей оскомину o1. OpenAI подают её как первую модель, умеющую рассуждать, особенно впечатлительные юзеры пишут про новую парадигму в ИИ, а я смотрю на это всё и понимаю, что это тупик и маркетинговый трюк, чтобы вырваться на месяц-полтора вперёд на некоторых бенчах и заполучить ещё несколько сотен миллионов долларов инвестиций. Наверняка мы этого не знаем, но, скорее всего, всё, что они сделали — это нагенерили 100500 рабочих трейсов CoT через Monte Carlo Tree Search, доучили модельку на них с помощью какого-нибудь DPO и дополнительно потюнили на нахождение собственных ошибок. Может быть, ещё руками разметили ветки для областей, где автоматическая верификация цепочек рассуждений невозможна. Не слишком неочевидная мысль, и, как показывает предыдущий пост, довольно ограниченная в мощности. Юзеры, которым не очень интересна математика или код — те, кто хотят поролплеить или хотят фактологической точности — от o1 плюются, потому что стало дороже и не сильно лучше. Ресёрчеры плюются, потому что после вопросов о том, как o1 работает, им на почту прилетают письма счастья от OpenAI. Дурачки радуются, что наконец то в сфт добавили информацию сколько букв "r" в слове "strawberry" и говорят, что AGI уже рядом и мы скоро заживём счастливо и богато. Имхо, OpenAI уже не те. Какое-то время назад они перестали быть open, но им это прощали, потому что они регулярно выкладывали крутые статьи или делали потрясающие продукты типа Sora, Advanced Voice Mode или GPT-4, которую аж полтора года никто не мог догнать по качеству. Ну а сейчас у них нет ни прорывного ресёрча, ни прорывного продукта (потому что o1 легко может быть побеждён генерацией программ на питоне и запуском их в репле), только top-1 скоры на Arena Hard и хайп на пустом месте. — Ну раз я такой умный, то чё делать дальше то? Есть идеи как продвинуть область или ты только рантить можешь? Есть. Двигать ресёрч в агентах (потому что решение задач чисто ллмками имеет очевидные ограничения), повышать IFEval (потому что это самое важное для агентов), учить модели пользоваться тулами (чтобы они не пытались обмануть свою токенизацию, считая число букв r в слове strawberry), пилить тру мультиязычность (а не то подобие мультиязычности с просадками в 10-15% на ммлу на чуть менее ресурсных языках не из романской группы), уменьшать галлюцинации (или хотя бы учиться их ловить!), исследовать новые архитектуры, заниматься interpretability, уменьшать стоимость и спарсити моделей через прунинг, учить большие энкдеки и сравнивать их с декодерами, море идей. Но чтобы делать всё и сразу мне недостаточно платят, так что сконцентрируюсь ка я пока что на всём, что начинается с "мульти-", а в свободное время буду рантить в канале.

RUPhon - новый открытый IPA фонемизатор для русского языка! Совместно с @intexcp мы разработали RUPhon - библиотеку для фонемизации русского текста, использующую модели RUAccent-encoder. Модель поддерживает два языка: русский и английский. Ключевые особенности 1. Модель может обрабатывать ударения на входе 2. Модель имеет относительно небольшой размер (от 55 до 120 мегабайт) Метрики (F1) charsiuG2P -> 0.9236 Omogre -> 0.9601 ru_g2p_ipa_bert_large -> 0.9868 RUPhon-small -> 0.9970 RUPhon-big -> 0.9990 А если вы хотите автоматически расставлять ударения, установите RUAccent и используйте его вместе с RUPhon! Ссылка на библиотеку: https://github.com/Den4ikAI/ruphon Донат: https://pay.cloudtips.ru/p/b9d86686 @den4ikresearch

https://gpupurse.com/ Покупаем, девачки

На RuMTEB появилась новая лошадка ru-en-RoSBERTa. Как мы это сделали? Читайте наш препринт. Кратко: хороший сет, contrastive learning, ru-en выравнивание и SLERP. И никакого дистиллята и мерджа с топ моделями ;) См. https://huggingface.co/spaces/mteb/leaderboard вкладку для Ru.

День рождения RUAccent Сегодня день, когда была релизнута первая версия расстановщика ударений RUAccent, поэтому сегодня будет сравнимый по важности релиз. 1. RUAccent-encoders RUAccent-encoder это специальная модель, для использования там, где другие модели не могут работать из-за BPE токенизации. Модель разработана для задач связанных с TTS и ударениями. Она интегрируется в качестве текстового энкодера в TTS моделях (например vits), при этом, штатный энкодер текстов удаляется из модели, в отличии от BERT-VITS, где используются два энкодера, поскольку duration predictor в VITS работает с отдельными символами. Также модель используется для расстановщиков ударений, фонемизаторов (а такой вероятно будет от меня) и т.д. Модель обучалась в три этапа: 1. Претрейн модели на задачах AMLM (Autoregressive Masked Language Modelling, очень похожа на Fill In The Middle) и NSP (Next Sentence Prediction). 2. Дистилляция CDLM (старшей сестры RUAccent-encoder, обученной на бОльшем количестве данных) в модель 3. Обучение расстановке ударений в формате Token Classification.  На этом закончилось обучение RUAccent-encoder. Теперь надо обучить модель понимать ударения на входе. Поэтому модель доучена в режиме AMLM + NSP на текстах с размеченными ударениями и появился RUAccent-stressed-encoder. 2. RUAccent-turbo3 и RUAccent-tiny2 За лето появилась идея как сделать разметчик, который сможет бесконечно снабжать относительно высококачественными данными. Это аудио, в котором почти всегда говорят ударения правильно (как оказалось нет). В итоге, где-то за месяц создана такая модель и за +- две недели размечено 500ГБ аудио (из 6ТБ). На отфильтрованных данных обучен tiny2 и turbo3. Благодаря разметчику создан более качественный тест сет, в котором нет утечек.  На этом датасете замерены метрики предыдущих моделей и получены следующие метрики: - big_poetry: 88.86% - tiny: 90.63% - turbo: 90.89% - turbo2: 91.18% - sber_proprietary: 91.91% - tiny2 (NEW): 95.80% - turbo3 (NEW): 96.37% Отдельная благодарность @Sterling239 за помощь при замере метрик сберовской системы. Также получены метрики систем расстановки ударений для обычных слов: - StressRNN (Russtress): 0.673 - Ru Word Stress Deberta (Ilya Gusev): 0.931 - Silero: 0.952 - RUAccent: 0.972 При этом, модель RUAccent вторая по размеру после StressRNN (260KB) и весит всего 803 килобайта. Модель Silero весит ~2 мегабайта (информация отсюда), а Ru Word Stress Deberta 12.8 мегабайт 3. Планы на будущее 1. Поэкспериментировать с аттеншном в моделях и поправить случаи, когда модель в предложении одинаковыми омографами выдает одно предсказание для всех. 2. Улучшить Ёфикатор для краевых случаев. 3. Сделать фонемизатор с возможностью учитывания ударений, эфикацией. RUAccent encoders: link RUAccent 1.5.8: link Донат: link @den4ikresearch

IOAI — import openai

Российские школьники взяли золото и серебро на первой Международной олимпиаде по искусственному интеллекту. Состязания проходили в Болгарии с 9 по 15 августа. Наши старшеклассники встретились с ровесниками из 39 стран, включая Китай, Японию, Канаду, Швецию, Нидерланды, США. Олимпиада IOAI 2024 состояла из двух этапов: научного и практического. В первом решали 3 задачи, имитирующие реальные научные исследования в области ИИ. Тут сборная России набрала абсолютное большинство баллов и обошла другие команды — 2 из 3 решений превзошли даже авторский вариант. Во втором туре команды занимались разработкой и проведением экспериментов о поведении программного обеспечения ИИ: ChatGPT, Dalle-2 и других. Тут россияне тоже получили золотые медали.

Вечерний анекдот

Нвидия включила режим Apple и делает экологичную упаковку

Девушки: блин я хотела айфон 15 про макс... Захар: оаоао спасибо за дряхлую деревяшку P. S. Другану привезли видюху в деревянном ящике, а мне досталась часть от него) Думаю станет отличной декорацией для фона на стримах 🙂