The ExtremeCode Times

Главный нейропогонщик из нашего чата научил муху играть в подкидного дурака 😄 Она сыграла 1 лям партий для обучения. Ей подаются правила, какими картами можно сходить, и как можно отбиться (т.е картами которыми ходить нельзя — маскируются), затем делает распределение вероятностей карт по нейронам.

10 ♣️ 2.7 K ♣️ 0.4 6 ♥️ 1.1 TAKE -0.8

https://github.com/KremlevLev/flydurak

Тем временем муха уже умеет вайбкодить 😄 А ты нет 😄

Крч, тут недавно чуваки из гугла выложили оцифрованный мозг мухи-дрозофилы. Ученые пчелы сразу начали ставить на этой нейросетке безумные эксперименты. Например, прямо сейчас муха учится играть в Doom.

Пиксели игры превращаются в «зрительные сигналы» для нейросети, её активность управляет кнопками. В мозг встроены дофаминовые клетки и пластичность памяти: когда муха получает урон, в две конкретные клетки подаётся ток, и это меняет силу 4184 связей между клетками Кеньона и MBON — то есть обучение идёт через «боль», а не через скрипт. Память и нейросостояние сохраняются между раундами. Арена: четыре стреляющих монстра, каждые 3 секунды может появиться новый (до 4 импов и 4 зомби), патроны пополняются ящиками и выпадают с трупов, смерть — рестарт с 100 патронами. Симуляция идёт 1:1 по времени, без пропуска шагов, зрители смотрят один общий запуск и не могут влиять.

Заценить в реальном времени можно здесь https://fly-brain-doom.awormuth.chatgpt.site/ 😄

ИИ в кибератаках обычно обсуждают в теории. 6 октября на форуме «Цифровые решения» на действия искусственного интеллекта можно будет посмотреть со стороны защитника. На киберучениях Standoff команды расследуют атаки двух типов: одни проведут специалисты, другие — ИИ-агенты. Кто именно атаковал, заранее не скажут. Участникам предстоит восстановить цепочку событий и определить природу атаки. За лучший результат будет отдельная номинация «хакер или ИИ». Хороший шанс увидеть, насколько вообще отличаются человек и ИИ внутри инфраструктуры. Заявки до 15 сентября

Украл из камментов. Ну а вы че думали? Все ваши сообщения в нашем чате — собственность ехтримцоде 😄

Стоило только мне написать в сценарии, что искусственные слабаки абсолютно не пригодны для математики. Так сразу же, чятгпт решил одну из задач "тысячелетия" за 88 часов (Параллельно над задачей пахало 10 тыщь агентов — как они синхронизировались? Да хер его знает, мне кажется они просто пикнули рандомное случайное большое число, чтоб все кипятком обоссались и начали разгонять тему AGI). Но как выяснилось, господа Тристан Бакмастер и Левент Альпёге уже в течении года решали эту задачу с использованием различных LLM, и благополучно сливали все свои черновики бездушным машинам. А чуваки из Open AI начали решать проблему с пару недель назад, как только до них дошли слухи, что какие-то челы активно промптят в духе "реши Навье‑Стокса, без ашибок по брацке". Мораль? Да хер его знает. Я кстати в видосе сделал здоровенный акцент о бенчмаркинге на зафаршмаченных данных, и даже разобрал косвенные признаки, того как модель шпарит по "зазубренному" тексту. Это особо актуально для локальных тупорылых моделек. Более того, через дистилляцию это все рано или поздно может утечь и к другим диллерам нейрослопятинки, так шо скриньте, скоро свежий локальный qwen 0.8B вам решит "Навье‑Стокса" за 5 наносек

Уже соскучились по отсутствию рекламы? Я монтажирую, по 15 минут хронометража в день на черновой вариант, это примерно еще неделька на то что б основной костяк забить. Когда до G.0.V.N.O. дойду, вероятно замедлюсь, там просто 150 графиков надо вставить будет. Потом это все еще полирнуть и приправить мемесами надо будет. Думаю уйдет на все от 2-х недель до конца года (но какого?). Крч, уже матерюсь, т.к. слишком плотно инфы нагородил, приходится дохрена визуала пилить под это все дело, пушо только на слух сложно воспринимать всю инфу.

Ебобаная привычка после 10-и минутных видосов писать кратко, емко и самое главное в быстром темпе, что б вы, СДВГшники, не заскучали 😄 Крч, я каким то хреном умудрился в первые 40 минут впихнуть следующий список тем: 1. LLM 2. Промпт 3. Обучение модели и инференс как разные процессы 4. Пост-тренировка в формате «инструкция → вывод» 5. Веса / параметры модели 6. Предсказание следующего токена 7. Токены и токенизатор 8. Особенности токенизации латиницы и кириллицы 9. Число параметров 10. Dense-модели 11. Эмерджентные свойства 12. Типы данных и точность весов (в т.ч. 16-бит) 13. Оценка потребления памяти по числу параметров 14. Квантизация 15. Floating point, мантисса и экспонента 16. FP8 и низкобитные форматы 17. Аппаратное ускорение низкобитных вычислений 18. Влияние квантизации на качество модели 19. Запуск квантованных моделей на CPU (в т.ч. SIMD) 20. Слои модели 21. Статическая квантизация по шаблонам 22. Защита отдельных слоев при сжатии (эмбеддинги, нормализация, ключевые блоки) 23. Адаптивная квантизация слоев с разной битностью 24. iMatrix и i-кванты 25. QAT (Quantization-Aware Training) 26. Сверхнизкобитная квантизация 27. Формат GGUF 28. Дистилляция (Distilled-модели) 29. Прунинг 30. Fine-tuning 31. LoRA и QLoRA 32. MoE (Mixture of Experts) 33. Роутер / маршрутизатор экспертов 34. Активные параметры 35. REAP 36. Спекулятивное декодирование 37. MTP (Multi-Token Prediction) 38. Reasoning 39. Мультимодальность 40. Vision 41. Speech-to-Text 42. Контекстное окно 43. Attention 44. Квадратичная сложность Attention 45. KV-кэш 46. Prefill / обработка промпта 47. Flash Attention 48. Квантизация KV-кэша 49. Paged Attention 50. Lost in the Middle Теперь думайте, а чё же там происходит дальше 😄

Ура, я наконец-то закончил запись. Осталось каких-то жалких 4/5 неделек, чтоб эту пиздецому смонтажировать 😄

Старые законы устарели, предлагаю ввести закон ЭхтримКода-Мура

Каждые 2 года стоимость транзистора на печатной плате удваивается

Сбер открыл доступ к новому поколению моделей GigaEmbeddings   Линейка включает три модели разного размера: 480M, 3B и 10B-A1.8B. Они переводят тексты в числовые векторы для семантического поиска, построения RAG-систем (Retrieval-Augmented Generation), классификации и кластеризации.   Команда разработки изменила архитектуру модели, чтобы упростить интеграцию со стандартными открытыми инструментами. На vLLM GigaEmbeddings 3B работает в 1,6 раза быстрее предыдущей версии, а 10B-A1.8B — в 2 раза.   Объём данных для обучения увеличился в несколько раз. В частности, за счёт открытых датасетов Nemotron, F2LLM и KALM.   На всех этапах применяли мержинг экспертов для сохранения языкового баланса. Самую компактную модель обучали с помощью дистилляции: она усваивала ответы более крупных и точных моделей.   По результатам тестов 10B-A1.8B заняла первое место в рейтинге ruMTEB. У модели 3B качество обработки кода выросло на 14,5 пункта. При этом самая компактная модель 480M стала лучшей на русском языке среди решений до 500 млн параметров.   Ищите веса под лицензией MIT на GitVerse и HuggingFace. Модели бесплатно доступны разработчикам и бизнесу под открытой MIT-лицензией: HF: 480M | 3B | 10B-A1.8B Gitverse: 480M | 3B | 10B-A1.8B   Подробности читайте в посте команды ↖️

Сидел тут выборочно осматривал на чем конкретно определенные модели факапились. Решил поисправлять за ними тупые баги, что б узнать как конечная имплементация пашет. Ну просто поразительный перформанс листа, особенно когда тебе ниче не нужно рендерить 😄

Продолжая ИИшную аксиому Эскобара Есть 2 варианта, локальной "one-shot" генерации: 1) Модель выдает архитектурно слабое решение, но зато это полностью рабочий каркас, который без проблем запускается. На такую генерацию уходит ~5 минут 2) Модель выдает классный архитектурны анализ, но полностью факапится в написании кода, допустив тупорылые логические ошибки. На такую генерацию уходит ~15 минут На какой стул сядешь?

Погоняли тут тесты для ИИ. Выяснилось, что градацию тупости можно измерять следующим образом: > Не может решить вообще ничего > Может решить Python задачи > Может решить React задачи > Может решить Бекенд задачи на не python Кто-то объяснит это тем, что в датасетах больше данных по питону, чем по другим языкам, а кто-то тем, что чтобы писать код на питоне надо быть чуть умнее собаки. Мнение?

☁️☁️☁️☁️☁️☁️☁️ 24 сентября Yandex Cloud проведёт флагманскую технологическую конференцию — Yandex Scale 2026.

🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨 🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨 🎨🎨🎨🎨🎨🎨🎨🎨🎨 В программе четыре продуктовых трека — AI, Data, Security и Hybrid Infrastructure & DevOps, — и отдельный углублённый технологический трек DeepTech, который пройдёт только онлайн.

🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨 🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨 🎨🎨🎨🎨🎨🎨🎨🎨🎨 В треке DeepTech откроем программу докладом о том, как мы ускорили Lua в Valkey — добавили LuaJIT и Lua 5.5 без патчей интерпретатора и получили прирост скорости до 2–5 раз. Расскажем, как строим экономически эффективный инференс LLM для агентских сценариев в Yandex AI Studio — на примере DeepSeek-V3.2 и DeepSeek-V4-Flash. Разберём, что разваливается в поиске, когда он должен быть одновременно распределённым, транзакционным и линейно масштабируемым — на примере векторного, полнотекстового и гибридного поиска в YDB. Покажем, какая инфраструктура превращает недетерминированную модель в управляемый и наблюдаемый сервис, когда агент выходит из демо в продакшн. Расскажем, как мы первыми в РФ научились мониторить ИИ-агентов внутри «чёрного ящика» LLM. И заглянем под капот сети облака — Interconnect, Private Link, Inbound DNS и DNS Firewall, которые складываются в герметичный контур между Yandex Cloud, on-premises и другими облаками.

🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨 🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨 Плюс демозоны, питчинг решений, IT-квест и мерч для тех, кто в Москве. А кто смотрит онлайн, помимо трека DeepTech, есть ещё отдельная онлайн-студия: розыгрыш призов и секретный гость.

Полную программу можно посмотреть на сайте, там же — зарегистрироваться. Участие бесплатное!

Ну как бы ёпта всё, сбор циферок официально закончен 😄 Осталось дописать выводы, сделать финальную мощнейшую вычитку, и можно записываться-монтажироваться

Скоро чуваки, скоро все будет, я почти закончил с бенчмарками. Скинуть вам мини-спойлер или не надо?

Нынче айтишный рыночек просто “чистый кайф”. Все ругаются, что всё, время поиска увеличилось до полугода. На моей памяти айтишка помирает уже четвёртый раз. В 2012 году ныли, что в айти вкатываться уже поздно. Бывает такое, что тучи над рыночком сгущаются как в горах, это будет ещё не раз. Что делать в таких ситуациях? Практикум PRO и АльпИндустрия разобрались. Мастер спорта по альпинизму поделился опытом сумасшедших восхождений и советами, как не потерять голову даже на самом крутом склоне. А ИИ-архитектор из промышленного сектора и арт-директор из Яндекса рассказали о трендах на рынке IT и навыках, которые стоит прокачивать цифровым спецам, чтобы устоять на любой вершине. Подготовиться к переменам тут >>>

⚡️OpenAI остановила обучение новых моделей ИИ из-за киберрисков, сообщила компания

Эксперты из каментов, я с этими бенчмарками скоро с ума сойду. Почему так ёпта? PCI-E 4 / x4, на ЖПУ также только 4 линии распаяно. В теории должны упираться в шину, какого хрена iMatrix, и уж тем более 8-и битки быстрее, чем очереднярные Q4? Все в интернетах пишут типа, "АРРРЯЯ IQ медленные", какого хрена у меня они стабильно быстрее? Даже на нормальной жпу в pcie5 со всеми линиями (скрин в каменты к посту закину) Параметры бенча дефолтные [--fit-target 1024], контекст 512 на pp, и 128 на tg