Hidden Heuristic

У Китая новые турбо GPU.

🔌 Потребление Ascend 950PR / 950DT (официальные цифры – Huawei Connect 18.09.2025) Ускоритель TDP (пакет) Плотность мощности Комментарий Ascend 950PR 400 Вт 0,4 Вт / PFLOPS (FP8) «Low-power» вариант для инференса Ascend 950DT 600 Вт 0,3 Вт / PFLOPS (FP4) Оптимизирован под тренинг (FP4) 📦 Системный уровень Конфигурация Потребление PUE Электрический комментарий 1× Atlas 950PR стойка (16 чипов) ≈ 7 кВт (IT) 1,15 8 кВт полная (включая СО, БПС) 1× Atlas 950DT стойка (16 чипов) ≈ 11 кВт (IT) 1,15 12,6 кВт полная Atlas 950 SuperPoD (160 стоек) ≈ 1,8 МВт IT 1,15 ≈ 2,1 МВт на вводе \* PUE = 1,15 (жидкостное охлаждение, 45 °C подача, беспылевые фильтры). ⚡ Удельная энергоэффективность Метрика Atlas 950 SuperPoD NVIDIA NVL72 (2026) Отношение Энергия на 1 EFLOPS FP8 ≈ 260 МВт·ч/день ≈ 350 МВт·ч/день –26 % PUE-adjusted 1,15 1,25 –8 % 📊 Вывод - 950PR – 400 Вт, 950DT – 600 Вт; оба ниже H100 (700 Вт) и MI300X (750 Вт) по удельной мощности на PFLOPS - SuperPoD – 2,1 МВт на входе, но Huawei заявляет на 26 % меньше энергии на EFLOPS, чем NVL72, благодаря FP4 и жидкостному охлаждению - Процесс-узел не раскрыт, поэтому сравнение «Вт/транзистор» – невозможно; ожидаем уточнений на Hot-Chips 2026 Походу китайцы к концу следующего года выйдут на уровень выше чем нвидиа сегодня.

Слава Богу, я на этой неделе втягиваюсь постепенно в нормальную работу. Хочется выравнять на 6 часов каждый день в ближайшее время. И ведь еще такую вещь оффтопную вещь не помешало разобрать.

Схема из статьи:

Интересная цитата о скейлинге вдогонку: "Can the control tasks push neural activations along the target axis toward more extreme values beyond the typical range observed in uncontrolled conditions? We find that Llama-3.1 70B can achieve this (Fig. 5b), suggesting that powerful LLMs might alter their activations along targeted axes substantially (and trick external detectors), driving these toward more extreme values in either direction.Since our prompts did not explicitly instruct the model toward extremity, we anticipate that modifying task prompts could further enhance these effects up to the limits of the model’s capability." Хочу также обратить внимание, что модели справляются даже с 3 задачей implicit control out of the box. Никакого finetuning! Чистое обучение в контекста на примерах, где модель учат делать self-report своих активаций.

ШОК: 👾 LLM "осознают" работу своих собственных нейронов 💗 и могут ее корректировать! https://arxiv.org/abs/2505.13763 Или еще можно сказать, что у моделей есть нечто соотносящееся с самосознанием (C2 type) в функциональном смысле. Но, конечно, мы здесь еще не говорим о мониторинге собственных «квалиа», то есть феноменальных отчетах. Для этого нужны еще более сложные эксперименты, чем в статье + нейробиологические данные на животных. Теперь о статье. Вроде как по смыслу все выглядит в работе круто, но загвоздка всегда в деталях. Подход нетривиальный, но нужны другие исследования для перепроверки. В целом, у меня была давно витала идея, что LLM модель могла бы мониторить вмешательство в свои активации. Однако здесь возникает нюанс, связанный с тем, что вмешательство, в любом случае, повлияет на поведение и как это влияние отделить от способности модели интроспективно анализировать свои активации - большой вопрос. Авторы предлагают совсем иной оригинальный neurofeedback подход, чтобы проверить способность моделей работать со своими внутренними процессами… Что такое neural feedback? Для людей neural feedback проявляется в способности менять активность своего мозга для того, чтобы некоторая переменная измеренная на основе этой активности приняла заданное значение. Например, человеку показывают паука и на основе активности его мозга оценивают страх последнего по шкале от 1 до 10. Экспериментатор призывает испытуемого снизить значение оценки страха. И оказывается это помогает, поскольку испытуемый улавливает как случайные флуктуации его внутреннего состояния отражаются на измеряемом числовом показателе, а затем уже на основе этого знания начинает контролировать направление флуктуаций в нужном направлении. К слову, аналогичный подход работает и с немозговыми физиологическими показателями стресса, например, сопротивление кожи (galvanic skin conductance). Обзор разных видов мозговых neural feedback здесь: https://pmc.ncbi.nlm.nih.gov/articles/PMC4892319/ Но как может выглядеть neural feedback для LLM? Авторы статьи предлагают свой метод, я опишу его на разных уровнях сложности. Совсем простыми словами: Нейросеть может сказать что-то о том как активируются ее нейроны, предсказывая значения измерений на нейронах, которые делают исследователи. Простыми словами: берут функцию отображающую в лейбл {0,1} активации модели на предложении и просят модель предсказать значение этой функции на следующем предложении без лейбла. При этом модели в контексте дают несколько примеров подсчета функции на ее активациях в других предложениях. Сложными словами: модели предлагается предсказать на базе нескольких примеров (предложение -> лейбл) лейбл {0,1} для следующего не аннотированного предложения, при условии что лейбл получали каждый раз из проекции активаций на некоторое ранее установленное важное PCA направление logistic regression func, установленное для активаций с некоторого слоя модели по всем эмбеддингам токенов предложения(residual stream) в ходе первичного обучения logistic regression предсказывать ground truth labels датасета на основе этих самых активаций. Датасет из предложений с бинарными этическим оценками, но лейблы из активаций от них отличаются. Для дополнительного контроля авторы смотрели способность моделей предсказывать менее важные PCA направления - эффект сохранялся. Но это я описал только reporting task. Самый простой уровень самоконтроля модели. Есть гораздо круче! Что же еще? - Explicit control task Модель также просят сгенерировать новое предложение, которое будет сильнее определяться по ее активациям как конкретный лейбл. - Implicit control task Модели дают предложение + таргет (целевой) лейбл и просят подкрутить активность своих нейронов, чтобы лейбл на ее активациях соответствовал таргет лейблу! Результаты. Первые 2 таски сравнительно хорошо, 3 таска слабее. Чем модель больше, тем справляется лучше, это тоже очень важно.

Очень точно отражает мой experience. Без человека совсем беспомощны. Но зачаточно новые идеи уже могут генерировать. https://t.me/senior_augur/526

Оказывается это ревью на ревью Скотта Александера, как верно заметили в комментарии. У меня нет просто желания дотошно читать такие тексты, мне интересны конкретные аргументы. Видимо, все же лучше будет посмотреть саму книгу, но пока у меня нет ее. Тем не менее, надо понимать, что аргументы у Юдковского в книге, судя по ревью Скотта Александра, вероятно, никак не отличаются принципиально от его традиционных поинтов: все тот же sci-fi, отвергающий законы физической реальности, все тот же нарратив о goal misgeneralization, misspecification и мезаоптимизации. Проблема с последним нарративом только в том, что он агностичен к вопросу того как реально формируются цели ИИ, как эти цели между собой интерферируют итд. Текущие системы работают как экстраполяторы желаний пользователя, держащихся острых этических ограничений, но способных от них отклоняться в специфических контекстах. Три проблемы: все эти системы очень плохо понимают side effects: https://arxiv.org/abs/2110.10819 своих действий, все они обладают довольно низкими метакогнитивными способностями и, наконец, подвержены быстрым эффектам context rot. Я напомню, что GPT-5 Thinking (high) согласно бенчмарку METR максимум берет таски длиною в 2 часа 17 минут (50% success rate). И это мы даже не смотрим здесь прицельно продвинутые задачи, там будет еще хуже. Мы дойдем до континуально обучаемых моделей с superreasoning, но для таких моделей структура alignment будет выглядеть существенно иначе, чем для текущего поколения ИИ. В тоже время думеры сейчас смотрят на статус кво и пытаются делать из этого выводы, что абсолютно некорректно. Нужно четко для себя понимать, что текущая технология не экстраполируется линейно в AGI. Следующая же технология не будет интегрирована в массовое использование до тех пор пока для не решат алайнмент проблему. Когда вы видите как модели стремительно пробивают потолки бенчмарков, вы должны четко понимать для себя следующие вещи: 1) Модели продолжат экспоненциально улучшаться на METR и к началу 2027 теоретически можно ожидать системы, способные выполнять задачи длиной аж в 32 часа. Новый характерный период удвоения после старта reasoning scaling - 122 дня. Впрочем, этот темп легко может не удержаться и мы выйдем на diminishing returns. Время покажет. Пока что я полагаю, что у нас есть много не реализованных возможностей для улучшения в текущей парадигме. 2) 32 часа это не тот контекст, которого достаточно, чтобы «захватывать мир» и эти 32 часа будут касаться решения конкретных задач, а не построения сложных самостоятельных долгосрочных стратегий поведения. В этом ключе нашумевший AI2027 сценарий - полный brainrot. 3) И все же модели будут очень жестко читерить, мы возможно увидим даже прецеденты сложных манипуляций людьми со стороны агентов в рамках бизнес задач. Но все эти истории будут жестко локализованы в заданном нарративном сеттинге. 4) Как я уже писал в другом посте, ИИ у нас на инфраструктурном крючке. «Виртуальный скам» - это, конечно, плохо, но к вымиранию человечества отношения не имеет.

Краткий и качественный разбор думобесия: https://blog.ninapanickssery.com/p/the-central-argument-for-ai-doom

Как и ожидаюсь, книга Юдковского полный мусор, вот разбор: https://blog.ninapanickssery.com/p/review-of-scott-alexanders-book-review Юлиезер за все эти годы так и не удосужился выучить матчасть.

Эх( Липа оказалась K2-Think https://t.me/c/1334131803/60894

Прогресс обычно не наступает широким фронтом. И поэтому создается иллюзия, что на каждом шаге граница достижений сдвинулась только в отдельной точке, но по всей ее длине изменение никогда не наступит. Если же копать историю науки, то окажется, что практически все большие открытия были кумулятивным продуктом от маленьких незаметных достижений.

Опенсорсная модель с ризонингом K2-Think (не путать с Kimi K2) от LLM360 имеет размер всего 32B (построена на базе Qwen2.5), но бьёт многие более тяжёлые открытые модели. Спасибо фулл-стэк подходу, включающему обучение (SFT+RLVR), тест-тайм скейлинг (планирование и best-of-3) и инференс (спекулятивное декодирование и работу на Cerebras (!)). https://t.me/gonzo_ML_podcasts/823 Термин фулл-стэк приходит в ML :)

Не очень хорошие новости для шансов нашей цивилизации покорить далекий космос 🪐, если подтвердятся данные о потенциальном biosignature на Марсе. https://www.nasa.gov/news-release/nasa-says-mars-rover-discovered-potential-biosignature-last-year/ Поясню, почему новости не очень) А также под конец дам аргумент, почему не все еще потеряно. Итак, ключевая идея: если есть другая планета с жизнью, то, скорее всего, мы не видим инопланетян по той причине, что никто из них не смог развить крутые технологии, а не потому что они от нас абсурдно далеко из-за очень низкой вероятности абиогенеза (самозарождения жизни). Кроме низкой вероятности абиогенеза есть и другие объяснения парадокса Ферми, но они мне кажутся либо не столь сильными как абиогенез (например, низкая вероятность возникновения разумной жизни), либо вообще абсурдными (например, гипотеза темного леса или те же grabby aliens). Почему вероятность абиогенеза низкая? Дело в этом: https://en.m.wikipedia.org/wiki/Error_threshold_(evolution) (предел Эйгена) К слову, о данной проблеме говорил Савватеев на стриме с Панчиным. Однако сейчас предел Эйгена уже обсуждается совершенно на ином уровне: его исходная вероятностная модель имела серьезные огрехи, и в теоретическом плане мы сейчас шагнули значительно дальше. Есть положительное результаты и в разрезе эмпирических исследований на рибозимах. Конечно, не все сложности абиогенеза к error threshold сводятся, но он занимает в этой истории главное место, и наличие оптимистичных подвижек в исследованиях здесь весьма показательно. Поэтому в обнаружении жизни на Марсе нет ничего, на первый взгляд, удивительного. И все же есть неиллюзорный шанс, что жизнь зародилась изначально на Марсе и была позже занесена на Землю метеоритом или наоборот примерно 4 миллиарда лет назад. При чем первый вариант Марс->Земля по некоторым оценкам даже вероятнее: https://scispace.com/pdf/viable-transfer-of-microorganisms-in-the-solar-system-and-a2qyi5msd4.pdf По научному данный сценарий заноса жизни через метеорит называется литопанспермия, и в рамках него жизнь зарождается в Солнечной Системе уже только один раз. При таком раскладе аргумент о редкости абиогенеза естественно остается в силе. Если же жизнь обнаружат еще и на спутнике Юпитера - Европе или на спутнике Сатурна - Энцеладе, то от гипотезе редкого абиогенеза для объяснения парадокса Ферми, по всей видимости, придется намного хуже, хотя и в этом случае занос мог быть возможен: https://pmc.ncbi.nlm.nih.gov/articles/PMC3870607 Финальную точку над и может поставить только обнаружение biosignature в далекой звездной системе.

Data is Everything Забавная статья: https://obviouslywrong.substack.com/p/the-bitter-lesson-is-misunderstood Ее слоган "God of Data" сам автор в полной мере так и не осознал.. Уже показано в https://arcprize.org/blog/hrm-analysis, что HRM архитектура ничем не лучше трансформера в том же самом сеттинге, автору статьи это в свое очередь неизвестно и он как раз таки верит в «архитектурное волшебство». В лучшем случае HRM могла бы быть лучше по «константе» - покрытию данных: смотрите мой недавний обзор про scaling laws. И,наверное, если бы мы осознанно хотели сделать небольшой прорыв в эффективности, то попробовали бы идти со стороны теории, используя некоторые теоретические соображения. Модели типа HRM позволяют реализовать большее число эффективных слоев, за счет weight tying, элиминируя эффект «неоконченной оптимизации» в случае трансформера, но такое улучшение исходя чисто из теоретических интуиций может быть исключительно косметическим. Кроме того, пример того, что генерация текста может работать примерно с той же эффективностью и на диффузии указывает на следующую мысль: скорее всего, вне плоскости хитрой работы с данными нет никакого волшебного секретного архитектурного ингредиента. Другими словами, не существует чисто архитектурного free lunch. Что же насчет RL-reasoning с GRPO? Это ведь новая архитектура! А вот и нет!) RL-reasoning это, прежде всего, история про новый тип обучающих данных. Поэтому в данной ветке исследований я ожидаю в ближайшем будущем значительных успехов. Подытожим. Всякие новомодные «transformer killers»: Mamba, Hyena, RWKV итд - это не более чем хайп с плохими гарантиями для high effort задач. В то время как квадратичность attention вполне себе можно перетерпеть благодаря эффективности FlashAttention. O(N) «убийцы трансформера» все равно не вывозят сложные по содержанию миллионные контексты и поэтому все их преимущество по асимптотике теряет смысл. Если говорить про тот же linear attention, то он требует O(ND^2) памяти вместо O(ND) как в случае FlashAttention2. И именно поэтому linear attention не пользуется популярностью на практике: всегда можно подождать, пока GPU все досчитает, а с памятью так уже не получится: если модель не влезает, то все.. С этим, в частности, пытаются побороться в работе: https://openreview.net/pdf?id=y59zhBNKGZ, но это далеко не единственная проблема linear attention. Крутые O(N) архитектуры в будущем могут появиться, но уже в рамках нового continual learning подхода, о котором я кратко упомянул в конце обзора на scaling laws.

Правда в моей изначальной идее там есть еще один дополнительный слой, который я буду пробовать реализовать.

Это должно было случиться. До недавнего момента reasoning pretraining был моей ресерч идеей. А 9 июня уже выпустили статью. Но очевидно здесь возможны серьезные улучшения. Superreasoners на своем пути к появлению.. https://arxiv.org/abs/2506.08007

По теме optimal batch size и не только у меня была ранее серия заметок здесь: https://t.me/hidden_heuristic/1238 (плохо придется потом переписать) https://t.me/hidden_heuristic/1273 https://t.me/hidden_heuristic/1515 https://t.me/hidden_heuristic/1971