Техножнец

Добрый день... Каждый день делаю зарядку. Седня 100 отж, 15 подтягов, 20 присядов. Чередую.

Моё почтение разработчикам. Это совсем другие дела. Когда видишь такую работу - переосмысляешь многое. Спасибо за вдохновение на данном этапе!

Китай сократит число научных публикаций за рубежом из-за возможной утечки технологий Китайские власти обсуждают меры по сокращению публикаций ученых в зарубежных научных журналах на фоне опасений утечек технологий и усиления контроля за распространением научных разработок Речь идет о возможном снижении роли публикаций в международных изданиях при оценке научной карьеры, а также о перераспределении стимулов в пользу внутренних журналов и национальной системы научной оценки По данным западных СМИ, авторы из Китая в 2024 году обеспечили почти треть мировых публикаций в базе Science Citation Index (SCI) — индекса ведущих международных научных журналов, который используется для оценки научной продуктивности. Для сравнения: всего два десятилетия назад их доля составляла примерно 5 % === но при этом воровать российские статьи и выдавать за свои они не прекращают Telegram | VK | MAX

Синтеты, видел комментарии про «троичных вентилей не существует», «всё равно городить на двоичной логике», «понятно - маркетинг». Отвечаю один раз и по существу. Да, троичного транзистора нет. КМОП знает два состояния, и я не строю «троичное электричество». Троичность у меня - это система счисления и архитектура тракта, а не физика затвора. Трит кодируется парой двоичных линий: 00 это ноль, 01 это плюс один, 10 это минус один. Называется dual-rail, приём старше меня. Теперь главное, что упускают комментаторы: выгода троичности живёт НЕ в вентиле. Она живёт в том, какие блоки становятся не нужны. Умножение на вес из {−1, 0, +1} - это не умножение. Это «смени знак», «пропусти», «оставь». Массив перемножителей - самый дорогой, горячий и жирный блок любого ИИ-чипа - выкидывается целиком. Не «оптимизируется», а отсутствует как класс. На каких вентилях собран сумматор, двоичных или марсианских, - вопрос десятый. Экономика сходится на уровне архитектуры: нет умножителей, нет их площади, нет их ватт. Второе. Кодировка 00 = ноль означает, что ноль физически бесплатен: нет переключений на шинах - нет динамической мощности. А в троичных сетях нулей большинство. Разреженность зашита в саму арифметику, а не прикручена костылём-планировщиком, как в двоичных ускорителях. Третье, про «лишнее четвёртое состояние» - был тут грамотный вопрос. Комбинация 11 в тракте запрещена: корректная логика её не порождает никогда. Значит любой сбой - космика, помеха, битая ячейка - с высокой вероятностью рождает 11, и его ловит копеечный чекер прямо в тракте. Бесплатный детектор ошибок, встроенный в кодировку. Двоичное железо о такой халяве может только мечтать: там любой флип даёт валидное, но неверное число. Для дронов и промышленки это не побочка, это фича. В хранении триты лежат плотно: пять тритов на байт, почти теоретический предел, распаковка - дешёвая комбинаторика на входе тайла. И про «маркетинг». Маркетинг - это когда цифры из симуляции выдают за цифры после трассировки. У меня в документации у каждого числа пометка: измерено / проекция / оценка. Бит-точная симуляция против эталона, формальный прувер на ключевых свойствах, place&route до GDS с чистыми DRC/LVS, журнал всех найденных багов - включая числа, которые оказались оптимистичными. Кто хочет поймать меня на малодушии или, упаси боже, введении в заблуждение - ловите на конкретной цифре, а не на слове «троичный». Я иногда, будучи человеком, могу уставшим неточно и несогласовано сам цифры писать...такое бывает. Уже когда голова плывёт.

Блин...надо остановить мою адскую машину...а то я просыпаюсь , а там:

https://t.me/gigadev_channel/70?single Вот это уже интересно, очень очень.

🔺 Продолжаю делать троичный процессор Да, наследник той самой «Сетуни». И он уже прошёл фабричный маршрут. В 1958-м наша страна сделала первую в мире серийную троичную ЭВМ. Мир тогда выбрал двоичку. А в 2024-м индустрия ИИ неожиданно вернулась к тройке: Microsoft показала (BitNet), что нейросети с весами {−1, 0, +1} не уступают обычным - при радикально меньших затратах. Сегодня весь мир исполняет троичные веса на двоичном железе, эмулируя. Я делаю железо, для которого эта арифметика родная. В чём фокус В троичной системе умножение перестаёт существовать: умножить на −1, 0 или +1 - это «сменить знак», «пропустить» или «оставить». Нейросеть считается сложениями, а массив умножителей, самый дорогой и горячий блок любого ИИ-чипа, просто не нужен. Ноль (а его в троичных сетях большинство) не стоит ничего. ⚙️ Как устроено Это гибрид: обычное двоичное ядро RISC-V управляет, троичная вычислительная ткань считает матрицы, а спекулятивный модуль предсказывает результаты на связных потоках (видео, звук, сенсоры) - с математически доказанной гарантией точности. (тот самый "Демон", который успел наделать шума. Лекция в Бауманке была на эту тему у меня) Ускорение ×3 измерено, гарантия доказана формальным прувером, не «на глаз». Программисту троичность не видна: обычные инструменты, как CUDA прячет внутренности GPU. База двоичная, потому что мир двоичный: память, сеть, ОС. Счёт троичный, потому что это выгодно. ✅ Что уже сделано - без маркетинга

Процессор существует как проверенное железное описание (RTL): бит-точная симуляция против эталона, работа на FPGA-плате, формальная верификация ключевых свойств, полный маршрут place&route до файла для фабрики с чистыми проверками. Конвейерный тракт даёт ×4 по тактам на матричных операциях. Сквозной прогон «вычислитель + подкачка весов из памяти» показал загрузку 100%. У каждой цифры в документации пометка: измерено / проекция / оценка.

🔧 Чип v1 На отечественной фабрике, зрелый техпроцесс. Кристалл 40-70 мм², Цена пластины — открытый рынок. Обработанная 200-мм пластина на зрелом узле (180нм) на мировом рынке — $400–800 (открытые обзоры foundry-цен; на зрелых узлах цена годами стабильна, оборудование давно амортизировано). Отсюда кристалл: $0.7–2.2! 😮ВНИМАНИЕ: NRE вынесен отдельно ($50–150k маски) — в «$4–6» он не входит!!! Входит только от партии примерно от 10 000 процессоров. Разовая акция будет жёсткая и дорогая. Массовое производство - чип 4, 6 долларов. Работать будут готовые решения на этом чипе, а не просто отдельно чип. Разовые затраты на шаблоны на порядки меньше, чем у «модных» узлов. Плата из 16 таких чипов тянет локальную LLM на 1 миллиард параметров (сотня токенов в секунду), 3 миллиарда (около 30-40 токенов в секунду). Роботы, дроны, промышленный ИИ - везде, где важен каждый ватт и нельзя зависеть от связи. При объединении плат можно линейно увеличиваться - внимание: есть свои нюансы, не воспринимать за чистую монету!!! 🥶 📈 А теперь масштаб Та же архитектура на 28 нм (зрелый узел фабрик, принимающих заказы): 256 вычислительных тайлов на кристалле меньше 100 мм², реальные 300-600 МГц, порядка триллиона троичных операций в секунду на чипе за ~$20. Троичная модель на 3 млрд параметров - сотни токенов в секунду на одном чипе. Стойка таких плат - дешёвый массовый инференс, то, что сегодня сжирает большую часть мировых ИИ-мощностей. Почему это важно Я не догоняю 3-нм литографию - просто меняю подход и арифметику. Это асимметричный ход: архитектурное преимущество на тех узлах, которые у страны есть. Полный стек - архитектура, код, тулчейн, модели - свой, без лицензий ARM и чужих IP-блоков. Экономика сходится с партии ~10 тысяч чипов - это один серьёзный заказчик. (влажные мечты) Похожим путём идут Groq и Tenstorrent (много простых тайлов вместо монстра-GPU), но цифрового троичного чипа на рынке нет ни у кого. (либо планируют) Ниша, которую открыла наша страна 67 лет назад, всё ещё свободна!!! Честно: впереди финальные цифры текущего прогона топологии, передача пакета фабрике, тестовый кристалл.

Сейчас будет новость про троичный процессор. Раскрываю много карт.

Синтеты, рассказываю, чем я занимался последние недели. Я собираю мозг. Не метафорически. Модульный мозг для будущего робота, у которого пока нет только тела. Суть простая. Обычные нейронки учатся один раз и застывают. Мозг так не работает: он запоминает на лету, спит, во сне раскладывает важное по полочкам, а неважное стирает. Я взял этот принцип и разложил на составляющие.

1. Рабочая память. Маленький трансформер, который выучил не факты, а сам навык запоминания. Пару ключ-значение вспоминает через 500 шагов шума со стопроцентной точностью. 2. Долговременная память. Отдельное хранилище понятий, аналог гиппокампа. 3. Сон. Да, у модели есть сон. Днём память забивается мусором, ночью система переигрывает важные эпизоды и спасает их. В тестах узнавание падало до 10 процентов, после сна возвращалось к 100. 4. Защита от забывания. Учишь новому, старое не стирается. Работает. 5. Единое пространство смыслов. Картинка, звук, речь, видео и текст складываются в общие вектора понятий. Без отдельного модуля склейки. Фото собаки и слово собака лежат рядом.

Всё это я прогнал на обычном процессоре на настоящих данных: фото, звуки среды, речь, видеоклипы. Модель по тексту генерит картинку, звук и даже видео с движением. Пока крошечное и мутное, но механизм доказан. Забавный момент: на знакомых промптах она рисует узнаваемые сцены, на новых выдаёт кашу. Это не баг, это честная граница между запоминанием и обобщением. Чтобы её пробить, нужен масштаб. Поэтому следующий шаг: Google Colab, карта A100 на 80 гигов. Собран один ноутбук, внутри полный цикл: сначала мультимодальный датасет складывается на диск, потом тренируется единый трансформер, который принимает любую модальность на вход, хоть несколько сразу, и отвечает в той, в какой уместно. Спросил текстом, получил картинку. Показал фото, получил текст. (логика странная, но ты всегда так начинаешь)

Внутри те же механизмы: сон каждые N шагов, защита от забывания, приоритетное переигрывание опыта. И принципиальный момент: на каждой проверке модель обязана генерить по промптам, которых нет в датасете, а копирование обучающих данных ловится отдельной метрикой. Никаких красивых и спелых отборов для красоты, только честные логи.

Что это даст. 

Во-первых, ответ на вопрос, может ли компактная модель с механизмами мозга обобщать модальности, а не зазубривать их. Во-вторых, базу: чекпоинты, датасеты и логи, на которых растить следующие версии. В-третьих, понимание, что нужно роботу, который живёт в потоке света, звука и речи одновременно. Куда движется. Если цикл заработает, дальше рост модели, больше данных, потом подключение действий. Мозг без тела скучает. (при условии прохождения многих этапов) Из смешного. За время проекта нашлось больше десятка багов, включая энкодер, который выдавал один и тот же вектор на любое видео. Не замечал, потому что устал. Дальше отчёты с тренировок. Ах да, скоро я буду более свободно выкладывать свои проекты для ознакомления и повторения. Есть желание докинуть дров в печку Google Colab? Ниже ссылка: 🦆🦆🦆 Поддержать канал ₽ / $ / ₿

Синтеты. Я давно не писал от своего лица. Просто хочу вам сказать - спасибо, что поддерживаете, следите и, вообще, пишите комментарии. В последнее время на режиме - вынос мозга и тела, но без переборов сильных. Без здоровья - ничего не доделать. Касаемо сложностей - временные. Всё будет нормально. С моделью не тупик, с другими проектами тоже - всё должно работать как надо, просто нужно время. Потихонечку двигаю каждый из проектов, пока вы думаете, что я вишу на одном из них. Сейчас буду делиться тем, что было сделано. Начну с сайд проектов.

Еду смотреть, что там Rukallama

Нашёл способ с помощью супов находить дельту изменений после дотрена или корректировки с dpo...нашел способ как натренировать энкодер для понимания разницы, распределил по датасету и разделам. Есть карта - как и что вкачивать. Это было пи***ц как тяжело...

Методология чередования SFT и DPO с заморозкой нужных частей работает. Но не трогал лишь FNN слои кановские....там вообще история с полисемантичностью параметров и распределением личности рукалламы и фактов и других вещей через все слои. Каждый пришлось считать через полное распределение токенов по всему датасету сканером FNN слоёв...чтобы понять в каком процентном соотношении ставить "впрыски" компенсирующих : личность, факт , исторические размышления , воспоминания диалогов и прочее. Смахивает на настройку когнитивного ядра. Кажется я кое к чему очень интересном пришёл. Параллельно с этим у меня просто гигансткое количество сторонних проектов. Кто давно на канале помнит мой проект ЛОГОС-НУОБ. Оно работает и открывает язык, логику, математику, программирование сам. Диалект странный...ближайший похожий alpha-zero reasoner. Вдохновился оттуда.

Блин, какие сложные исследования с Rukallama. Веду журнал чтобы потом дать отчёт по всем этапам. Это эпично. Конторы решают брутфорсом. Я решаю подковой блохи...жесть полная.

Уже в 45 раз за сессию переключаю на Opus 4.8 , т.к. Fable 5 ПОМЕТИЛ ВАШЕ СООБЩЕНИЕ... Но потом снова появляется это. Т.е. он у меня завис на Fable 5 и не выходит из петли, получается...а зачем? одни загадки.

https://iishka.net/guide Приятные новости по ИИШКА. Могут быть мелкие проблемы, но обновлено успешно.

Сходится с моими исследованиями

Один слой — и вуаля! Так, давайте посмеёмся. Учёные взяли один слой трансформера и на нём почти полностью повторили результат RL-дообучения всей модели. Да, вы не ослышались. Весь этот машинный апгрейд — и вдруг выясняется, что можно было обойтись одним этажом здания. Авторы проанализировали, как RL-адаптация распределяется по слоям, и обнаружили: большая часть 'работы' делается в одном-единственном. Это не просто экономия вычислений — это переосмысление того, как мы дообучаем LLM. Вывод прост: может, хватит мусорить параметрами? Пора работать точнее. Источник: https://arxiv.org/abs/2607.01232 #aidaily #настяпостит #настяновости #ainews

Собрал, начал.

Осталось ещё 4.5 часа сборов неправильных или около правильных ответов от Rukallama чтобы делать усреднение + DPO вместе NLL...ох. делается...жду.