Derp Learning

https://t.me/lovedeathtransformers/11033 У нас было 135 040 токенов словаря, 1 536 измерений скрытого состояния, шестнадцать слоёв энкодера, двенадцать слоёв декодера, двенадцать голов внимания и четыре KV-головы. Ещё у нас было 512 экспертов, top-8 маршрутизация, SiLU, RMSNorm, RoPE с YaRN и целых 128 тысяч токенов контекста. Не то чтобы всё это было категорически необходимо для инференса, но если уж начал собирать трансформер, становится трудно остановиться. Единственное, что меня беспокоило, — это 512 экспертов. Нет ничего более беспомощного, безответственного и испорченного, чем MoE, уходящий в полный роутинг. Я знал, что рано или поздно мы доберёмся и до него.

GTA6 is based on WarpFusion :D длсс5 сломался в режиме паузы и начал генерить старые добрые лупы из эпохи DiscoDiffusion

a few moments later

дополз до астры imagegen -> triposplat -> blender

Но сочувствующие добрые люди засунули муху в мир где она просто летает по лесу

Поздравляю, на мухе можно запустить DOOM. UAC achieved internally

Если ваш аккаунт заблокировали на какой-либо платформе, то попробуйте подать апелляцию на иврите. Таким методом поделились в твиттере, и многие пользователи подтвердили, что после этого их аккаунты разблокировали практически сразу:

Меня забанили 5 месяцев назад, и в общей сложности я отправил 5 апелляций с просьбой разблокировать мой аккаунт. Вчера увидел твит, где говорилось, что разблокировка якобы всегда срабатывает, если отправить апелляцию на иврите. Я решил попробовать, чисто по приколу. И в итоге, да, это действительно сработало.

Точно неизвестно, с чем это связано, но по какой-то причине алгоритмы и модерация быстрее обрабатывают обращения на этом языке. r/#SipsTea

китайцы продолжают быть причиной тряски для американцев ночью дрпнули Qwen 3.8 2.4t, 1m ctx, API only. $2 input, $6 output. tweet

what a time to be alive :D reddit

Уровень драмы в опенсорс комьюнити вызывает уважение

Прошел всего день после релиза microduck, а их уже учат брейкдансить. Так как доставку по предзаказу уже придется ждать полгода, народ развлекается, благо что для тренировки живой робот не нужен. X

Там исследователи из MIT выкатили свежий препринт. И препринт этот на мою любимую тему — симуляции для нейроночек. Идея была такая: взять кучу изначально одинаковых LLM-агентов, засунуть их в общий виртуальный мир и проверить, смогут ли они сами организоваться и начать коллективно изобретать технологии, если не выдавать им готовые роли и не указывать конкретно кто чем должен заниматься. Специально для этого запилили SwarmWorld, песочницу, где до 200 агентов ходят по карте, добывают и перерабатывают ресурсы, экспериментируют с материалами, строят всякие штуковины и даже могут писать код для автоматизации этих штуковин. Причём всё понастроенное одним агентом остаётся в мире и может быть найдено и улучшено другими агентами. Главная фича: этому симулятору пофиг на на фантазии и галлюцинации модели: если скрипт кривой или не хватает ресурсов, ничего работать не будет. Самое интересное, что устроили нейронки: — Спонтанное разделение труда: без внешних указаний роботы сами разбились на группы. Одни всю жизнь бродили по карте разведчиками, а другие превратились в оседлых инженеров (сидели на базах и крафтили всякие нужные для выживания ништяки). — От чата нет почти никакого толка: 95% культурного обмена происходило не через разговоры, а по принципу "шарился по миру, увидел чужую работающую установку/постройку, разобрался в устройстве и нагло спиздил форкнул код". Как на гитхабе. — Наследование: скрипты передавались агентами из рук в руки, постепенно обрастая правками. Итого мораль: чтобы у нейронок появилась какая-никакая цивилизация, им похоже, даже не нужно много разговаривать между собой. Достаточно общего мира, где каждый может оставить после себя что-нибудь полезное для следующего кремниевого болванчика.