Den4ik Research

Q-164M и Q-U-164M — новые модели от Q-Project, обучены с нуля на одной GPU. Q-164M — 164.6M параметров, претрейн на 13.1 млрд токенов (FineWeb-Edu). Тернарные веса {-1, 0, +1}, без обучаемой embedding-таблицы (замороженный отпечаток на каждый токен), и механизм точных вызовов инструментов: модель решает, когда посчитать, а сам расчёт делает детерминированный исполнитель — арифметика всегда точная. Q-U-164M — тот же чекпоинт, дообученный для диалога (chat-SFT + RL). Ушло 5 итераций, чтобы починить реальный баг с потерей вызова инструментов в живом многоходовом диалоге. Честно: модель только английская, русский не понимает. Общие знания слабые, вне задач с инструментами часто ошибается по фактам — это исследовательский артефакт, не продукт. Сравнили с другими маленькими моделями через свой бенчмарк QBench (без подсказок инструментам): заметно уступает Qwen2.5-0.5B (втрое крупнее) почти везде — кроме TruthfulQA, там чуть впереди. Не сенсация, но и обучалась на одной V100, а не на кластере. 🔗 Ссылка на веса: https://huggingface.co/collections/q-project/q-164m 💻 Код: https://github.com/Q-Project-LM/Q-164M 💬 Чат в браузере: https://q-project-lm.github.io/chat/ 📊 QBench: https://huggingface.co/spaces/q-project/QBench 📝 Разбор: https://q-project-lm.github.io/blog-q164m.html ⚖️ Лицензия: apache-2.0 Если хотите поддержать эксперименты и обучение более крупных моделей — буду благодарен за помощь со сбором на GPU 🙄 ❤️ Поддержать проект: https://t.tb.ru/pm_short/4v90jPi6NPZ 💘U💘