Техножнец

Синтеты, здарова. Запускаю пайплайн своих товарищей - тиммейтов мечты. Это про тот конвейер о котором был информационно-рекламный пост. Запустил там 3 задачи: Все касаются аудитов плагинов VST, Denis 3D и Denis 3D II Скоро выложу новые видосы Дениса первых двух частей. Мы договорились сразу делать 3 части и выпускать их поочерёдно в течение короткого промежутка времени. Это будет забег в стиле ID Software , а параллельно захватим опыт остальных компаний тех времён. Будет интересное путешествие. По теме моделек - пока что немного отдыхаю сегодня. Задача уже не автоматизированная висит на мне - надо сгенерировать видеоряд, а у меня новый доступ к Wan 3. Поэтому буду пробовать. Вам желаю продуктивности. И это...что там нового у вас?

Я писал про области пересечения и насколько глубока кроличья нора. До сих пор одупляю...до сих пор обучаюсь. И до сих пор имею бешеные результаты просто...там очень мощные ускорения. Но работа в полевых условиях далека от изолированных тестов даже на других LLM. У меня были попытки и собственного алгоритма компрессирования (сокращени от термина биологического сокращения мышц) для разных ЛЛМ, которые многие используют. Была даже интеграция напрямую с QWEN, которая в конечном итоге перестала работать, т.к. Claude на тот момент дал дубу "разумом" и наварил мне каши. Именно отсутствие изначальной заточки математической, которую я обретаю с каждым днём всё больше нифига не сработали мне плюсом. Ну и ....задумайтесь о том, что на железе реализовать подобное гораздо легче, чем вклиниваться в спектральные ряды уже вендорских вычислений, которые не дают того, что нужно для предсказания...а ещё и двоичка - с двух ног валит демона, т.к. это изначально не эффективно. В процессе - буду держать в курсе. 5) Почему ты так мало выкладываешь в open-source? Да простой стыд от незаконченности труда, неумение сказать себе СТОП, ХВАТИТ! Пора делать лучше и заново. Оно приходит слишком поздно, а предыдущую из-за невозможности посвящать ей всё время (итак есть одна модель, которая со мной в снах уже) и ты просто переключаешься на нечто новое не доделанное в надежде, что в этот раз оптимизации дадут ЧУДО ЭМЕРДЖЕНТНОСТИ....ага....щас. Реальность сложна, не мне вам это рассказывать. Ну и будучи одиночкой в этом деле (так сложилось, я не против работать в команде над моделями и делать brainstorm идей) мне приходится выкручиваться. То донаты запрошу на конкретику, то выложу что-то чтобы людей заинтересовать и создать ажиотаж - всё потихонечку, помаленечку. Я просто делаю это настолько насколько возможно. Давеча на канале и год назад были прям совсем негативные последствия переработки и невозможности контролировать собственные стрессы. Мы когда получаем damage просто продолжаем уже наученные опытом. Что нас не убило - сделало сильнее. Эта фраза вообще не гонево. Эта фраза про настоящее, натуральное. И вот оно перед вами. Выложил как есть. А как воспринимать на этом канале каждый сам для себя решает. P.S. Если кто-то думал, что ною чтобы бросить.....пффффффффффффффффф: не дождётесь. 🦆🦆🦆 Поддержать канал  ₽ / $ / ₿

Я знаю ваши вопросы ко мне - отвечаю тем, кто ожидает их: 1) Что с СЕТУНЬ-2 Троичным процессором (название не могу использовать такое, поэтому будет другое). Всё впорядке! Всё собрано и буду проводить на днях новый аудит чтобы снова предложить это здесь на канале и сделать правильную презентацию. Это тоже требует времени и сил. Я в своё время спал по 3 часа и просто на марафоне лютом фигачил и доделал самое главное и важное, что должно было быть доделано - вписанный в железо демон, CPU-GPU и то и другое параллельно может, CPU тоже хитро сделал. Там целый конвейер внутри для математики. Так что это не должно НИКУДА ИСЧЕЗНУТЬ И будет ИСПОЛЬЗОВАНО! потому что ЛЛМ развиваются в кодинге хорошо и можно действительно дельные вещи сделать. Этот проект мне самому на вырост. Многие сами знают, что такое ВАЙБКОДИНГ, когда ты не шаришь в технологии. Это сложный процесс дообучения на конкретных действиях и документациях и долгие нервные разговоры с ЛЛМ потому ты НИХРЕНА НЕ ПОНИМАЕШЬ! Да, я признаю это, я нихрена не понимал кроме самых фундаментальных вещей. И благодаря ЛЛМ смог это разобрать у себя в голове на рабочие асбтракции (это выражение такое, в точных науках мыслят абстракциями тоже) и смог вывести сам этот билд.

Запаковано и готов к аудиту. Но кем?

2) Что с Rukallama V11+ (Жнец, ты уже постов наплодил с метриками, а где блин модель и чат обещанный?) Отвечаю: Rukallama V11+ была дотренирована с 8млрд токенов до 16млрд и сразу стала одуплять ГОРАЗДО БОЛЬШЕ!

Но какие остались проблемы?

Разделение на роли: несмотря на эмбеддинги ролей во внимании (и не только) и отступах в 32 токена от реплики Человек/Ассистент - это было решено частично, но во время взаимодействия ДИКО РАЗДРАЖАЕТ! Поэтому выкладывать такое всё равно стыдно. (ещё с прошлого раза не прошла мазоль, что ноет внутри, т.к. проект так и не был доведён до упора). Математика: работает идеально - простые примеры, словесное написание прямой задачи, вплоть даже до матных формулировок работают как сказка какая-то. Работает на ALU-нейронах Поповича (это моя фамилия если что, когда так назвал и привязалось - мне нравится). Что такое нейроны Поповича? Бикамеральные авторегрессионные ALU-сетки с чёткими действиями по умножению: парсер-классификатор, дирижёр, переводчик и дополнятор (собирает входные данные в нужный язык для исполнения нейронами). Вся цепочка работает как часы! РОВНО ТОЖЕ САМОЕ Я провернул с физикой с константами типа скорости света и так далее и с химией. Реализовать это позволила детерминированность этих дисциплин. Физика - формулы, химия - форумлы и , конечно же. правила. Зашил я это удачно и работает ВЕЛИКОЛЕПНО (по метрикам было всё видно). Семантический гейт + Lora адаптеры: Это реальный выход из ситуации, т.к. на фоне fine-tune не приводит к забыванию (да, мой KAN имеет свойство забывания иначе он бы не сровнялся с MLP), но корректно и за 1 раз Lora можно подключать только ОДНУ ШТУКУ! Т.к. идёт разная работа с разными слоями и подобные адаптеры меняют всё почти непредсказуемым образом если будут работать в паре. (Кстати, бумаг как тренировать пару Lora вместе и совмещать усреднять складывая их свойства - не искал, надо поискать)

Какой выход? Правильно: Семантический гейт! Т.е. ты сначала определяешь намерения пользователя с 98% точностью и получаешь КОНЦЕНТРИРОВАННУЮ Lora для твоей задачи.

Именно поэтому были сумасшедшие метрики, которые ровнялись аж почти с фронтиром России этого года (его начала, если быть более точным). Но...а где модель Павел? Спросите вы и я не буду вилять. Читаем дальше: 1) Семантический гейт работает почти идеально, натуральных нарушений не было. 2) Но задачи иногда плавают так, что нужно что-то вроде сканирования по намерению всего промпта и возможность динамически сменять Lora друг с другом, т.к. могут быть смешанные задачи. ВОТ ТУТ Я НАЧИНАЛ СЕБЯ СПРАШИВАТЬ, А НЕ МНОГО ЛИ Я ХОЧУ ОТ МОДЕЛИ? (ответ удивил оперативников)

Нет, не много...это исследование, в котором хочется понять - будет работать или нет? ну и вот в какой момент мне остановиться во время этого азарта? И я не понимаю...пошёл дальше исследовать. Нашёл решение - исполнил его. сработало...но поломалось другое.

3) Rukallama - это Kan модель у которой, внимание, KAN Moe эксперты и свой гейт специализированный внутри (по сути это уже итак лора в лоре...кхм). Но Lora под конкретную задачу работает ОФИГЕННО...но только не тогда когда идёт переключение с одной на другую прямо во время генерации - вот это уже приводило к mode collapse и модель уходила в повторы лютые.

Что это? Это, господа-товарищи, простой советский....МАЛЫЙ ОБЪЁМ МОДЕЛИ бл***ь! Почему он маленький? Догадайтесь с 3х раз если у меня всего одна А100.

Кто-то скажет: Павел - ну google cloud и ваще столько предложений.

Ну, идите посчитайте модель покрупнее, допустим, на 7млрд параметров и найдите самое дешёвое предложение. Вот я уже пробовал по всякому, но шанса на ошибку там нет. А где тренироваться на кошках? Т.е. либо ты профакиваешь бюджет , либо ты тыкаешься в небо и масштабируешься вслепую...т.е. опять профакиваешь бюджет. С учётом того, что у меня такой опыт появился лишь недавно ( я про обучение распределённое) - это и было триггером не пускаться во все тяжкие №1.

Но вы подумаете: Павел, но нейронки очень быстро исправляют ошибки! И я отвечу: ДА! Вы абсолютно правы, но только забываете , что длинный претрейн это прежде всего крупные батчи, согласование между всеми видеокартами несмотря на готовые фреймворки и библы для этого (+ функции серверных стоек с картонами нужными), обратная пропагация, которая подразумевает 3 прохода через backward чтобы обновить все веса...это хуже чем авторегрессионная дырочка через которую модельки выпукивают свои ответы к нам...используя ТОННЫ раскалённого металла для генерации.

Так что о многих ошибках ты узнаешь из тестовых генераций. Показатель LOSS и перплексии (cross entropy loss) и val loss - НЕ ЯВЛЯЮТСЯ ВАЛИДАТОРАМИ КАЧЕСТВА НИ ПРИ КАКИХ ОБСТОЯТЕЛЬСТВАХ - если только ты не супер ультра гений оракул визионер. (открою секрет - это точно не я). Инструкции и tool calling + MCP: работает неплохо. С этим можно жить, потому что модели такого размера не особо блистают в подобной работе. Было приятно увидеть хорошие метрики у Rukallama. GSM8K и около подобные задачи на русском языке - ПОЛНЫЙ ПРОВАЛ! Ничего не помогает...модель логически плохо очень размышляет и ей сложно вытаскивать ответ из задач по типу:

Андрей общался с Николаем некоторое время: 20 из которых они показывали друг другу монеты из своих коллекций, 7 минут уделили чаепитию, 3 минуты они потратили на то чтобы попращаться и разойтись по домам. Сколько минут общались Андрей с Николаем?

Проблема? Объём модели, ёмкость, вместимость - как хотите так и берите, любой выбранный вариант будет правильным. Поверил ли я в этом? Нуууууууу....как вам сказать? И да и нет! С одной стороны кажется, что это безнадёжно, а с другой стороны я вижу , что она иногда ОЧЕНЬ СИЛЬНО СТРЕЛЯЕТ ПРЯМО В ПОНИМАНИЕ ДЛИННОЙ БЕСЕДЫ! Буду решать. План - есть!

Вы спросите вновь: Паша, много инфы...а че с моделью то? 😃 Отвечаю: Она коллапсирует то тут то там, а метрики которыми я хвастался недавно это сборная солянка из того, что модель вообще может сделать по отдельности. Да - это неплохой результат. Но мне то хочется ах***ый результат! Правильно? Правильно.

Поэтому я буквально КАЖДЫЙ ДЕНЬ СШИВАЮ ЕЁ ВМЕСТЕ - чтобы все эти новые компоненты и функции работали нормально. Да, я делаю абляционные исследования, Я постоянно отключаю модули и наращиваю по одному. И ...терплю неудачу. Пока что. Я работаю над этим. Вот что с Rukallama. 4) А что там Demon? Демон впорядке. То, что я наметился сделать - на это нужно , как минимум, подписок штук 2, 3. Лимиты исчерпываются очень быстро, а исчерпать все edge cases (крайние экстремальные случаи на железках) задача КРАЙНЕ СЛОЖНАЯ. Особенно когда речь идёт о такой тонкой материи, которую решил затронуть я. Это оптимизация самого низкого уровня. BLAS ускорить это вам не шутки...а ещё при этом не потерять в скорости и не обновляя железо, а оставаясь на старом.

Странно, что некоторых это задело)))) *хихикаю

Привет, синтеты! Сейчас открыт к предложениям по платному техническому консультированию, экспертным аудитам и решению сложных инженерных задач. Я независимый исследователь и инженер-разработчик. Основная специализация — ML/AI Research, архитектуры нейросетей, высокопроизводительные вычисления и низкоуровневая разработка ML-систем. Ключевые компетенции: • ML/LLM: проектирование и обучение нейросетей с нуля, Transformer, MoE, KAN, RNN, SSM, attention-free архитектуры, механизмы памяти и работа с длинным контекстом. • Низкоуровневая разработка: C/C++, CUDA, Python, PyTorch, Triton. Вычислительные графы, autograd, собственные операторы, оптимизаторы и вычислительные ядра. • Оптимизация: CPU/GPU, training/inference, управление памятью, векторизация, параллельные и спекулятивные вычисления. Опыт работы с NVIDIA, Эльбрус и отечественными ускорителями NMC. • Научные исследования: математическое моделирование, теория динамических систем, численные методы, воспроизводимые эксперименты, абляционные исследования, бенчмаркинг и анализ нейросетевых архитектур. • R&D и архитектура ПО: проектирование сложных вычислительных систем, технический аудит, исследовательская экспертиза и анализ производительности. Публичные работы и подтверждение квалификации: 📄 Contraction versus Recurrence — научная работа об эффективности сжимающихся наблюдателей по сравнению с рекуррентным поиском состояний в детерминированных динамических системах. "Публикация на arXiv" (https://arxiv.org/abs/2607.14885) | "Код и воспроизводимые эксперименты" (https://github.com/barometech/contraction-vs-recurrence) 💻 PromeTorch — собственный ML-фреймворк на C++/CUDA с поддержкой обучения и инференса. "GitHub — исходный код" (https://github.com/barometech/PromeTorch) 🎓 СПИСОК-2026, СПбГУ — доклады по ML-фреймворкам, аппаратным ускорителям и подготовке обучающих корпусов. "Программа конференции" (https://spisok.math.spbu.ru/2026/s3%27.asp) Какие услуги предлагаю: • Технические консультации: экспертный разбор ML/LLM-архитектур, вычислительных систем, алгоритмов и инженерных решений. • Аудит и независимая экспертиза: анализ кодовой базы, архитектурных решений, производительности, использования вычислительных ресурсов и потенциальных узких мест. • Сложная оптимизация: CPU/GPU, память, инференс, обучение, вычислительные графы, алгоритмическая сложность и низкоуровневые реализации. • Исследовательские обзоры: анализ научных работ, технологий, архитектурных подходов, сравнение решений, оценка технической реализуемости и ограничений. • Решение нестандартных инженерных проблем: задачи, требующие глубокого исследования, профилирования, математического анализа или разработки специализированных алгоритмов. Важное уточнение по формату сотрудничества. Я не ищу штатное трудоустройство и не планирую присоединяться к сторонним проектам в качестве участника команды или сооснователя. (уже есть такое в бэкграунде). Меня интересует исключительно независимая оплачиваемая инженерная работа: консультации, технические заключения, аудиты, исследовательские обзоры и конкретные задачи по оптимизации. Предложения «вписаться в перспективный проект», совместно искать финансирование, инвесторов или гранты, работать за долю либо обещания будущей прибыли не рассматриваю. При этом готов выступать внешним техническим консультантом или экспертом для команд, компаний и независимых разработчиков. Предпочитаю предметный диалог: задача → оценка сложности → стоимость → сроки → результат. Если вам необходима независимая техническая экспертиза или помощь в решении действительно сложной инженерной проблемы — пишите в личные сообщения. Буду рад сотрудничеству!

Отключили свет / меняют лифты. Вероятно, что сегодня - только текст)

Многие вайбкодерки уже посмотрели на видос и про себя сказали: ну и что это? Взял копипастнул дум движок и нахерачил ассетов поверх. Кхм...да? Просьба обратить внимание на картинку. Моя мечта была: Реализовать свой Raycasting. (делал посты на фоне созвона...неудобно)

Мы с товарищем добили Denis 3D до состояния кооператива по сети без тормозов и проблем до 4-х человек. Игровой процесс и gamplay составляющую выкладываю для вашего ознакомления вместе с этим постом. РЕЛИЗ УЖЕ ОЧЕНЬ СКОРО, Т.К. ОСНОВНЫЕ МЕХАНИКИ И КАРТЫ СОБРАНЫ! Ваши комментарии будут очень в тему!

Так так так...

Доброе утро синтеты. К концу недели будут отчёты. А на следующей недельке будем обсуждать очень активно многие моменты, также как и всегда было на этом канале. Ушёл в небольшое растворение в собственной экзистенции и занимался параллельными проектами. Иногда нужно отвлекаться и делать это приходится прям отрываясь от ботвы...т.е. от важных проектов. В какой-то момент перегруз достиг максимума и я отпустил это. Стало полегче, с ощущением небольшого отдыха, с ощущением, что уже не так сильно закидывает всё это в плане тревоги за воротник...я объявляю - Я возвращаюсь к активным постам и общению с вами.

Новый вид накопительства - вкладки. - Зачем тебе столько вкладок? Не хочешь немного навести порядок в них? - Нет, потом пригодится... А раньше с таких смеялись смотря телевизор...времена меняются, а баги людские нет.

Конечно...им больно. Но я продолжаю...

ПОЧЕМУ АГЕНТЫ ТЕРЯЮТ ЧАСТИ, ИЛИ КАК Я СОБИРАЮ УСКОРИТЕЛЬ ВСЕГО История Демона вычислений: Привет, синтеты! Расскажу, над чем сижу и почему это оказалось сложнее, чем «написать код». Что строю. Компьютер почти всё время перемножает таблицы чисел. Я строю прослойку, которая разрешает ему не повторять работу, если это можно доказать. Ключевое слово «доказать»: прослойка не верит, что данные те же, а проверяет это на каждом вызове дешевле, чем стоило бы посчитать заново. Такая проверка называется сертификат. Без него это читерство, с ним инженерия. Почему это не одна идея, а три. Выяснилось, что «можно не считать заново» бывает трёх видов, и у них разные законы. 🔁 Повтор. Данные вернулись туда, где уже были. Проверить просто, но в больших размерностях точный повтор не случается сам, его создаёт программа: тот же документ, те же веса, та же матрица в решателе. Там выигрыш до 27 раз. 🌊 Сходимость. Вычисление само успокаивается, как вода в ванне, и его можно обрывать досрочно. Выигрыш считается относительно того, кто ждёт до конца. Относительно того, кто и так знал ответ, он в разы скромнее. 📐 Тонкий слой. Тысячи разных входов укладываются в десяток лекал. Работает, только если входы правда похожи, а «похожи» зависит от того, с какой точностью смотреть. Три вида, три разных сертификата, три разных «с чем сравнивать». Пока они лежали в одной колонке, таблицы противоречили сами себе: рядом стояли «в 1613 раз», «в 53 раза» и «ничего». Ни одно число не ложь. Их просто нельзя складывать. Где теряются части. Я работаю с ИИ-агентами. Это сменные работники: каждый выходит на одну смену, памяти о прошлых нет полноценной, есть только тетрадка от предыдущего. Два свойства этой схемы и создают потери. Первое. У каждого результата здесь десять характеристик, как у посылки: какой из трёх видов, что пропускается, как проверяется, на какой точности, с чем сравниваем, через какую дверь зашли в программу, на каком участке данных, в каком формате, как доказано, сколько раз перемерено. В тетрадке обычно записаны две-три. Остальные следующий агент достраивает по привычке. Число остаётся прежним, смысл меняется. За шесть недель так разошлось 51 число, и у каждого расхождения есть точная причина из этого списка. Второе. Агент переписывает тетрадку своими словами и выбрасывает то, что ему показалось лишним. Из тридцати задач до релиза дошли тринадцать. Девять отвергнуты с записанной причиной, но запись лежит в документе, который новые агенты не открывали. Три пропали молча. Это не невнимательность. Это то, как устроена работа без общей карты, когда тема вложена в десять слоёв. Что ещё добило. Линейку точности поменяли на второй день, и старые замеры остались без пометки, какой линейкой сняты. Порог приёма и внутренняя поправка прибора оказались привязаны к одному числу, и прибор начал взвешивать собственную тару. Модели проверили в формате, в котором их никто не запускает, а в рабочем формате прибор ещё не включается. В отчётах стоит «принято 0 %», и ни разу «на сколько промахнулись». Видеокарта во время замеров была занята браузером. Что делаю теперь. Карту. Как медицинскую карту, где есть строка на каждый анализ, включая несданные. Десять уровней, в каждом от пяти до восьми вариантов. Результат без значения на любом уровне не принимается вообще. Пустая клетка видна как пустая. Отвергнутое лежит со статусом «отвергнуто, вот почему». И каждую строку проверяет второй агент, которому поручено её опровергнуть: в последнем прогоне такой проверяющий за час нашёл три ошибочных строки из сорока одной. Три клетки на карте сейчас пусты, и именно они решают, работает ли это на нейросетях. Пока они пусты, спор «работает или нет» не имеет ответа ни в одну сторону. Заполняю.

Почему было затишье на канале? Я в режиме ожидания был одной сделки интересной, где меня должны были (а возможно ещё возьмут хз) Техлидом в команду разработки суверенного ИИ. Подробностей особо нет, но есть главное: Больше в затишье сидеть нельзя, т.к. это затянулось и нужно работать и делать вещи. Официальной работы на данный момент нет - будем вывозить своими силами и возможностями.

щас по демону новости летят к вам...

PewDiePie учил свой ИИ на ответах OpenAI. Получил бан. Обжаловал. Попробовал снова. Ещё бан 🤖 По словам блогера, именно так закончились эксперименты с обучающими данными для Ajax. В показанном им письме OpenAI причиной одной из блокировок названа дистилляция: использование ответов одной модели для обучения другой. Ajax создан на базе Qwen 3.5 9B для Odysseus. Это локальный помощник для повседневных задач: поиска, работы с браузером, почтой и календарём. Защищать модель от систематического копирования понятно. В пользовательских условиях OpenAI прямо запрещено использовать ответы для разработки конкурирующих моделей. Но здесь возникает неудобный вопрос. Сама OpenAI использует для обучения в том числе публичные тексты из интернета: блоги, форумы и посты людей. Где должна проходить граница? В количестве собранных ответов? В попытке воспроизвести возможности модели? В коммерческой цели? Должны ли одинаковые правила действовать для домашнего проекта и крупного конкурента?