Endi mavjud! Telegram Tadqiqoti 2025 — yilning asosiy insaytlari 
Техножнец
Kanalga Telegram’da o‘tish
Канал моих увлечений и поделок. Всё ,что я делаю и выкладываю здесь - делается с любовью. Поддержать канал: https://tbank.ru/cf/8Xnajl01ehm Поддержать канал: https://yoomoney.ru/fundraise/1C86E2DGIU9.250819
Ko'proq ko'rsatish5 484
Obunachilar
-824 soatlar
+157 kunlar
+50130 kunlar
Ma'lumot yuklanmoqda...
O'xshash kanallar
Ma'lumot yo'q
Muammo bormi? Iltimos, sahifani yangilang yoki bizning qo'llab-quvvatlash boshqaruvchimizga murojaat qiling>.
Taglar buluti
Kirish va chiqish esdaliklari
---
---
---
---
---
---
Obunachilarni jalb qilish
Iyun '26
Iyun '26
+255
5 kanalda
May '26
+735
9 kanalda
Get PRO
Aprel '26
+992
6 kanalda
Get PRO
Mart '26
+1 930
13 kanalda
Get PRO
Fevral '26
+227
5 kanalda
Get PRO
Yanvar '26
+195
4 kanalda
Get PRO
Dekabr '25
+38
0 kanalda
Get PRO
Noyabr '25
+117
3 kanalda
Get PRO
Oktabr '25
+95
1 kanalda
Get PRO
Sentabr '25
+39
2 kanalda
Get PRO
Avgust '25
+67
2 kanalda
Get PRO
Iyul '25
+150
7 kanalda
Get PRO
Iyun '25
+611
7 kanalda
Get PRO
May '25
+166
6 kanalda
Get PRO
Aprel '25
+50
1 kanalda
Get PRO
Mart '25
+103
2 kanalda
Get PRO
Fevral '25
+469
0 kanalda
Get PRO
Yanvar '250
3 kanalda
Get PRO
Dekabr '24
+167
3 kanalda
| Sana | Obunachilarni jalb qilish | Esdaliklar | Kanallar | |
| 15 Iyun | +2 | |||
| 14 Iyun | +3 | |||
| 13 Iyun | +1 | |||
| 12 Iyun | +8 | |||
| 11 Iyun | +2 | |||
| 10 Iyun | +8 | |||
| 09 Iyun | +15 | |||
| 08 Iyun | +12 | |||
| 07 Iyun | +13 | |||
| 06 Iyun | +10 | |||
| 05 Iyun | +26 | |||
| 04 Iyun | +40 | |||
| 03 Iyun | +50 | |||
| 02 Iyun | +58 | |||
| 01 Iyun | +7 |
Kanal postlari
| 2 | И GRPO на математике........ЗАРАБОТАЛ НА RUKALLAMA....уххх | 1 045 |
| 3 | Доброе утро... | 1 070 |
| 4 | Какие мысли по обучению без backward? В комментах давайте пообсуждаем. | 1 263 |
| 5 | Объясняю по-человечески, без умных слов.
Коротко: Делаю я, значит, свою нейросеть-собеседника на русском. Учу её нормально разговаривать. И она вдруг начала нести уверенную чушь: выдумывать про человека то, чего он не говорил, путать факты и зацикливаться.
Сначала думал — сломалась сама нейросеть. Полез разбираться. А дело оказалось в «учебниках», по которым я её учил. По-нормальному это называется данные: тысячи примеров разговоров, на которых модель тренируется.
И вот учебники оказались с хернёй внутри.
🧩 Косяк №1. Усталость
Я случайно сделал так, что почти в каждом примере человек был «уставший» или «выгоревший».
Нейросеть это вызубрила и стала каждому подряд говорить: «вы устали».
Спрашиваешь рецепт борща — «вы, наверное, устали».
Спрашиваешь про ремонт машины — «похоже, вы выгорели».
🌀 Косяк №2. Вежливые петли
Почти каждый разговор в учебнике заканчивался одинаково вежливо:
«удачи»
«берегите себя»
«до свидания»
Она это переняла и стала залипать на прощаниях:
«до завтра… до встречи… до звёзд… до новых горизонтов…»
И так без конца.
Вот эти две болячки угробили мне штук пять версий подряд. Я их обучаю — а они бредят. Думаешь, нейросеть тупая, а это я сам ей скормил мусор. 🗑
Почистил учебники от этого — и «усталость», и бесконечные прощания пропали. То есть проблема была не в мозгах нейросети, а в данных. Уже легче.
Но вылез новый прикол: она стала пустым болтуном. Вместо ответа начала выдавать:
«я здесь»
«чем могу помочь?»
«расскажите подробнее»
Потому что после чистки в учебниках осталось слишком много «расспросов» и слишком мало нормальных ответов. Перестарался.
Потом понял ещё одну глупость: разговоры в учебнике лежали порезанными на кусочки. Она видела обрывки, а не беседу целиком. Это как учить пересказу по вырванным страницам. 📄
Склеил разговоры обратно в цельные: 13 тысяч штук. Доложил нормальных ответов. Запустил новую версию.
Сейчас:
✅ бред про усталость ушёл
✅ бесконечные прощания ушли
✅ в коротком разговоре она уже держит тему
✅ если разговор про ремонт машины, она реально говорит про капот, свечи и диагностику
Но в длинной беседе всё ещё путается.
Спрашиваю: «кем я работаю?»
Отвечает: «вы строите космические корабли».
Собаку по имени Рекс может назвать колли.
В разгар обучения ещё и свет вырубило. Сейчас дотягиваю хвост. ⚡️
Что я из этого вынес:
— Бред и повторы были из-за кривых учебников. Это лечится чисткой данных.
— Держать в голове длинный разговор ей всё ещё тяжело: модель маленькая, нужен комп помощнее и версия крупнее.
— Главное: я доказал, что моя необычная математическая конструкция нейросети вообще умеет говорить по-русски. Ради этого всё и затевалось.
Маленькая версия своё отработала.
Дальше — большие мощности, большая модель и меньше херни в данных. 🫡
Вот такой цирк.
Поддержать канал:
🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7 | 1 203 |
| 6 | Синтеты, я чего такой тихий был? Это у меня новых проблем с RUKALLAMA V11 не было. А теперь есть. Читаем.
После SFT погнал добивать пост-трейн. (там же был SFT на диалогах и Reasoning модель уже прошла)
Стартанул с SimPO / teacher-corrected DPO: RUKALLAMA отвечает с контекстом, облако переписывает кривое на верное, chosen = исправлено, rejected = её ответ. 6948 пар, примерно $3. Вес - checkpoints_RLAIF_DPO_v11.
Дальше пошёл recap-in-think: учу её в <think> вспоминать факты диалога. Налепил holding v1…v6. И всё поехало.
Модель понесла уверенный бред: выдумывает персону юзера, путает контекст, зацикливается.
Думал - модель. Сел копать данные. А там recap_holding.jsonl монотонный: 10 имён, один 9-слотовый шаблон-персона ×3000. Сам переобучил модель в конфабуляцию. Выкинул.
Откатился на хороший reasoning-вес Reasoning_SFT_v11_v3_BIG4k, val 2.42. Он адекватный. Написал нормальные «кости» - gen_unified_v2.py: миллиарды комбо, 0 повторов. Свёл всё готовое в микс 152К → Unified_v2 от V3, val 2.84. Golden-тест: не лучше, косметика + новые петли. Попробовал recap-фокус от другого веса → Recap_v1. Стало ХУЖЕ.
И вот тут нашёл херню, и не одну:
УСТАЛОСТЬ. Я сам зашил в mood-кости «уставший / выгоревший». Итог: 73% hard-диалогов и 61% recap. Модель начала к ЛЮБОМУ юзеру лепить «вы устали», «вы выгорели», «вам надо отдохнуть».
ВЕЖЛИВЫЕ ПЕТЛИ. Концовки «Удачи / Берегите себя / До свидания / С днём рождения» занимали 23-25% корпуса. Потом rep-penalty разгоняет это в «До завтра… До звёзд… До новых встреч…».
Эти две херни убили примерно 5 весов подряд. Снёс обе через очистку по предложениям → recap_only.jsonl: 3325 примеров, 0% усталости, 0% петель. Обучил Recap_v2 - усталость и петли УШЛИ ПОЛНОСТЬЮ. То есть я доказал: это были ДАННЫЕ, не модель.
Но огрёб другое: модель стала пустой болталкой - «я здесь», «чем помочь?», «расскажите подробнее» вместо ответа. Recap-only учит расспрашивать, но разучивает отвечать.
Дальше дошло ещё: multiturn-датасет лежал нарезанным. Модель видела чанки, а не цельные беседы. Реконструировал 13163 полных диалога → full_dialogs.jsonl: 42597 примеров, 53% многотурновые, reasoning / coherence контент, всё чистое.
Запустил FullDlg_v1 от V3, 2 эпохи.
Итог: усталость чисто, петли чисто. Короткое и среднее держит тему: если диалог про ремонт машины, она реально говорит про капот, свечи, диагностику. Но длинный диалог всё ещё выдумывает: «кем я работаю?» → «инженер космических кораблей», собаку Рекса может назвать колли. На 78% свет вырубило, сейчас добиваю хвост.
Тираж: около 10 весов, штук 15 датасетов / сборщиков, тонна golden-тестов.
Вывод: связность-херня = ДАННЫЕ. Их можно найти, вычистить и доказать, что именно они ломали модель.
А длинный recall на 853M + обычный SDPA - это уже потолок архитектуры, не данные и не KAN.
И главное, что я реально доказал на своём картоне: KAN на Чебышёв-полиномах ВООБЩЕ учит язык в масштабе. И упирается в attention / размер ровно так же, как MLP. Не хуже.
Дальше - GQA + YaRN + 128k контекст + 2-4B + кластер. A100 отработал. 🫡
ПОЛИРУЮ И ГРУЖУ RUKALLAMA В ИИШКУ - будете общаться. С инференсом решу только - как сделать дёшево и рабочее.( но это займёт ещё немного времени - зато честно )
Поддержать канал:
🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7 | 1 078 |
| 7 | Вернул состояние системы до рабочего. Продолжаю.
Rukallama V11 LongDialog Reasoning - поставил в строй. Сейчас про Rukallama пост будет! | 1 145 |
| 8 | Делюсь! | 1 299 |
| 9 |  Matn yo'q... | 1 213 |
| 10 | Боль и неудачи рождают творчество. Сейчас выложу, что я думаю насчёт статики... | 1 250 |
| 11 | Пока что боевой дизморал, попью кофе, подумаю, прогуляюсь. | 1 238 |
| 12 | Больше не вызывает...че к чему...буду смотреть, думать. | 1 246 |
| 13 | USB от TANG MEGA 128k пошёл по п***де. Теперь любое прикосновение к панели USB вызывает перезагрузку. Буду чинить. | 1 303 |
| 14 | Комп снова выключился...пока что не могу продолжить работу. Буду чинить. | 1 311 |
| 15 | Чуть чуть подвыгорел. | 1 340 |
| 16 | Вчера ещё произошла грустная штука. Комп внезапно вырубился и мои 8 терминалов канули в лету...конечно...можно сделать Resume...но я вот моральный перерыв решил сделать перед тем как полностью снова окунуться во все эти окна и проекты. Небольшой выдох. Тем более Fable 5 подубрали...есть время подумать...как нам быть с Opus 4.8 | 1 393 |
| 17 | Синтеты. Если вы не поняли. Я не делал fine-tune никакой модели. Rukallama это уникальная архитектуру и модель обученная с нуля. Очнитесь! | 1 371 |
| 18 | Многие говорят, что программисты вымрут, что скоро эта профессия будет не нужна. Ну так почитайте вот это:
Мерцание Claude Code терминала уже существует больше года. Постоянные глюки с отображение букв, кривой рендер в терминале, выглядит местами так убого, что просто взрывается мозг и всё остальное. А они до сих пор не могу это устранить. Некоторые issue в разделе Claude Code висят месяцами без внимания...ну и в каком месте программирование побеждено?
Если бы программирование было настолько на крутом и офигенском уровне, то откуда у Антропика вообще раздел issue на github и почему ТАМ ВООБЩЕ ЧТО-ЛИБО ОСТАЁТСЯ ВИСЕТЬ БОЛЬШЕ 10 МИНУТ?
Смешно... | 1 341 |
| 19 | ах да...архитектура PIR - дал ей вторую жизнь и поправил неочевидные косепоры. | 1 284 |
| 20 | Я с помощью Fable 5 успел решить множество очень важных вопросов.
Разобрался до конца с Демоном
Разобрался до упора с процессором
Прокачал Rukallama и ещё кое-что успел сделать
Модель, правда, очень крутая. | 1 314 |
