Available now! Telegram Research 2025 — the year's key insights 
Техножнец
Open in Telegram
Канал моих увлечений и поделок. Всё ,что я делаю и выкладываю здесь - делается с любовью. Поддержать канал: https://tbank.ru/cf/8Xnajl01ehm Поддержать канал: https://yoomoney.ru/fundraise/1C86E2DGIU9.250819
Show more5 509
Subscribers
+924 hours
+147 days
+51030 days
Data loading in progress...
Similar Channels
No data
Any problems? Please refresh the page or contact our support manager.
Tags Cloud
Incoming and Outgoing Mentions
---
---
---
---
---
---
Attracting Subscribers
June '26
June '26
+292
in 5 channels
May '26
+735
in 9 channels
Get PRO
April '26
+992
in 6 channels
Get PRO
March '26
+1 930
in 13 channels
Get PRO
February '26
+227
in 5 channels
Get PRO
January '26
+195
in 4 channels
Get PRO
December '25
+38
in 0 channels
Get PRO
November '25
+117
in 3 channels
Get PRO
October '25
+95
in 1 channels
Get PRO
September '25
+39
in 2 channels
Get PRO
August '25
+67
in 2 channels
Get PRO
July '25
+150
in 7 channels
Get PRO
June '25
+611
in 7 channels
Get PRO
May '25
+166
in 6 channels
Get PRO
April '25
+50
in 1 channels
Get PRO
March '25
+103
in 2 channels
Get PRO
February '25
+469
in 0 channels
Get PRO
January '250
in 3 channels
Get PRO
December '24
+167
in 3 channels
| Date | Subscriber Growth | Mentions | Channels | |
| 17 June | +7 | |||
| 16 June | +14 | |||
| 15 June | +18 | |||
| 14 June | +3 | |||
| 13 June | +1 | |||
| 12 June | +8 | |||
| 11 June | +2 | |||
| 10 June | +8 | |||
| 09 June | +15 | |||
| 08 June | +12 | |||
| 07 June | +13 | |||
| 06 June | +10 | |||
| 05 June | +26 | |||
| 04 June | +40 | |||
| 03 June | +50 | |||
| 02 June | +58 | |||
| 01 June | +7 |
Channel Posts
| 2 | Что получилось? А вот что:
01 · MLP — внутренняя карта
02 · Глассформер — язык без backprop
03 · CNN — послойное вскрытие и алгоритмическая-свёртка
04 · glassViT — мультимодальное зрение
05 · Прозрачная диффузия — генерация | 909 |
| 3 |  +2Генерации прозрачной диффузией. Тоже алгоритмическая...очень быстрое обучение. Но это уже на GPU! Работает быстро очень...реально.
Но есть свои проблемы, которые решаю.
Glassfusion | 867 |
| 4 | SHAKESPEARE · char-level · 0 backprop · loss 1.76
ROMEO:
Pardon is banished\'?
FRIAR PETER:
O, I cry you mean not hear me bridle passing merry dump, to comforts. Sir, the sold the envious?
Nurse:
Hie to your cousin too, and the king should say, in a fiery car, gives in fame, a name as rank offend me they have been great subsidies.
FINEWEB · BPE vocab 100k · 0 backprop · 1.58 bits/byte
GEN: "The history of the world, a speaker system. The same applies to a lot of different things like... The researchers, and health care workers."
GEN: "In science, the most important factors in a more accurate representation of the human soul..."
Это результаты работы Glassformer'a! Абсолютно прозрачный алгоритмический трансформер. | 812 |
| 5 |  Нейросети можно отливать, а не растить
Привет, синтеты. Прозрачные нейросети без обратного распространения — что вышло.
Заброшенный муравейник заливают расплавленным металлом. Металл течёт по тоннелям, застывает — и в руках слепок всей скрытой архитектуры. То, что строилось вслепую месяцами, схвачено в одну форму. И её наконец видно.
Внутри обученной нейросети — та же невидимая геометрия. Только мы её не отливаем, а растим через backprop: десятки тысяч шагов, ошибка ползёт назад, веса медленно сходятся. В конце что-то работает — а как устроено, чёрный ящик.
А что если залить "свинцом"? Обучить сеть один раз как эталон, вскрыть, достать слепок — и понять настолько, чтобы строить такую же напрямую. Зная алгоритм памяти и обобщения, а не подбирая его градиентом.
Я проверил. Читается, воспроизводится.
как примерно?
Берём обученный слой и смотрим, что он делает с данными геометрически. Внутри — две вещи: часть запоминает (камеры памяти), часть обобщает (короткие маршруты между похожими входами). Обе считаются из данных напрямую, замыкающей формулой. Дальше собираешь сеть из готовых «отлитых» блоков — как муравейник из тоннелей.
эталон → вскрытие → извлечение → сборка
(0 шагов backprop)
ЯЗЫК
Прозрачная языковая модель. Учится 13 минут на обычном процессоре, генерирует связный текст, и про каждое слово видно почему оно выбрано.
1.58 - bits/byte (лучше нейро-аналога ~1.9)
13 мин - обучение на CPU
103M - токенов
0 - шагов backprop (вместо него умные шаги обобщения алгоритмические и оптимизированные, в самом конце)
Зрение
90% - качества CNN без обучения
0.60 - точность (эталон 0.665)
Генерация
Прозрачная диффузия. Нашли: «шумочистка» генератора в нужном пространстве ведёт себя линейно — совпадение с обученной моделью 98%. Собрали генератор картинок без backprop, до 512px.
R²0.98 - точность извлечения
0.50 - тест обобщения: рисует новое, не копирует
Где стена — честно (временная)
Память и обобщение отливаются идеально. А вот тонкая различающая способность — последние проценты, что отделяют кошку от собаки — упрямо требует настоящего обучения. (но я уже почти догадался в чём соль)
Бил тремя методами, включая динамические системы. Каждый раз — одна стена. Это не провал, это карта: вот докуда отливается, а здесь начинается то, что пока надо растить. А как растить? + поиск других вариантов? = в активном режиме изучения и решения.
Зачем всё это?
Отлитая сеть — прозрачна насквозь. Каждое решение объяснимо, любой кусок чинится точечно, скрытого сбоя нет по определению. Пока индустрия растит всё более огромные чёрные ящики и молится, чтобы они не сломались — есть другой путь. Не вырастить непонятное. Построить понятное.
В СЛЕДУЮЩЕМ ПОСТЕ БУДУТ ПРИМЕРЫ ГЕНЕРАЦИИ КАРТИНОК И ТЕКСТОВ!
🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN | 702 |
| 6 | Тайминг | 961 |
| 7 | Привет. Я проснулся в 11...освободился только сейчас.
Синтеты , ну что вы там? | 980 |
| 8 |  Что если нейросети можно строить алгоритмически...избегая вообще backprop? Просто зная как строить знания ...прям понимая алгоритм нейросетей и их функционала запоминания и обобщения? | 1 336 |
| 9 |  А ведь если присмотреться... | 1 302 |
| 10 |  Заброшенный (необитаемый) муравейник, с характерным конусом над землёй, если залить жидким свинцом и дать время охладиться, а потом аккуратно извлечь, то мы получим интересный узор.
Ну...в MLP слое также...надо только выловить закономерности ;) | 1 342 |
| 11 | Пока что всё. | 1 437 |
| 12 |  No text... | 1 325 |
| 13 |  No text... | 1 258 |
| 14 |  No text... | 1 216 |
| 15 |  No text... | 1 187 |
| 16 |  No text... | 1 195 |
| 17 |  No text... | 1 250 |
| 18 | Доброе утро | 1 257 |
| 19 | SETUN II* — троичный AI-процессор, который уже считает на "кремнии*"
Что это вообще
*Название будет сменяться, наследию деваться некуда
Гибрид «CPU + AI-ускоритель» на балансной троичной арифметике. Веса нейросети хранятся не как длинные цепочки из 0 и 1, а как три состояния: −1, 0, +1.
И тут вся соль. Умножение на таком весе вырождается:
× (−1) → вычесть
× 0 → пропустить (а это ~31% всех весов!)
× (+1) → прибавить
Полноценный умножитель не нужен вообще — остаётся только сложение, вычитание или пропуск. А множитель — самая дорогая часть MAC-блока, почти половина его площади (47% площади вычислительной полосы в нашем синтезе). Мы меняем его на «знак + сумматор». Плюс каждый третий вес — ноль, его можно не считать вовсе. Даровая экономия энергии на каждой операции.
"Потомок" советской «Сетуни» (МГУ, 1958) — первого в мире серийного троичного компьютера. Только теперь сегодня на вдохновении это AI-ускоритель, и синтезируется он на стандартных CMOS-ячейках. Цель — Микрон 180 нм. Узел, который Россия контролирует уже сейчас.
Главное: ядро РАБОТАЕТ на FPGA
Не симуляция. Не картинка. Процессор (управляющее ядро + троичная ткань + демон) исполнил программу на живом FPGA — GW5AST-138, Tang Mega 138K. Всё прочитано по JTAG, цифры считаны прямо с кремния:
✅ базовый matmul на кремнии — C=[[7,10],[19,22]], сошлось бит-в-бит
✅ 1091 такт матмула, точно совпало с gate-симуляцией
✅ демон принял 86% выходов на РЕАЛЬНОМ слое nanoGPT
Самый рискованный шаг — заставить кремний считать троичную математику — уже пройден.
Троичный GPT реально пишет текст
Наш nanoGPT: 4.9 млн параметров, 97% весов троичные, обучен на Шекспире. Генерирует связный текст — с именами персонажей, репликами, пунктуацией. Все его матмулы — это ровно операция нашей ткани (add/sub/skip).
И вот что важно — троичная модель обобщает лучше полноточной:
ТроичныйGPT 4.9M val loss 1.55 1.49 МБ
fp-бейзлайн 10.8M val loss 1.77 21.6 МБ
Вдвое меньше параметров, в 14 раз меньше памяти — и качество выше. Упрощение до −1/0/+1 работает как встроенная регуляризация: модель хуже «зубрит» и лучше работает на новом.
Демон — спекулятивное умножение
Аппаратный механизм, который предсказывает результат и проверяет догадку «забором» (fence) с гарантией: итоговая ошибка всегда ≤ порога ε. Угадал — пропустили пересчёт. Не угадал — посчитали честно. Скорость без потери точности.
На реальных весах: ε 5% → принято 47% (×1.9) ε 10% → принято 76% (×4.0) ε 20% → принято 95% (×16)
MNIST на нашем RTL-движке
Самую изученную сеть в мире обучили в троичном виде и прогнали потактово на нашем железе:
✅ 97.3% точности (fp-бейзлайн 98.0% — разрыв всего 0.7%) ✅ 8/8 тест-цифр классифицировано верно ✅ 16× меньше памяти весов: 49.6 КБ против 794 КБ
Энергия — где троичность рвёт всех
Энергия на одну операцию (MAC):
CPU AMD Zen fp32 — 650–1250 пДж
Наша ткань @180нм — 25–55 пДж
A100 bf16 @7нм — 3.1 пДж
Наша ткань на изо-узле 7нм — ~0.3 пДж
Уже на 200-180-нм заводе мы экономичнее серверного CPU в разы. Перенеси тот же дизайн на 7 нм — и по энергии на операцию обгоняем A100 примерно в 10 раз. (влажные цифровые мечты - прим. ред.) Выигрыш чисто архитектурный (нет умножителя + 2-битные операнды), он переезжает вместе с техпроцессом.
Архитектура — растёт как LEGO
Кристалл собран из одинаковых тайлов (как у Tenstorrent). Нужно мощнее — добавляешь тайлы, ничего не переписывая. При росте сетки в 4 раза частота держится 77→70 МГц — почти не падает. Один дизайн масштабируется от датчика в часах до стойки в дата-центре.
Где мы сейчас
Самое страшное позади: кремний считает троичную математику, демон ускоряет, модель пишет текст. Дальше — сообщу.
Поддержать канал:
🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN | 3 700 |
| 20 | Дело в том, что я уже бОльшую часть сделал...поговорить есть о чём. Причём...бумага уже примерно таковая есть на 2025 год. Но я не уверен, что стоит пока что о ней вести речь. Релевантность остаётся в степени интерпретируемости в схожую область. Оно со стороны кажется, что так...а вот нюансы распадаются на не то, что форки...а на другие вселенные. Каждая из которых гнёт свою линию.
Впрочем...там тоже неплохие успехи. | 1 370 |
