Hidden Heuristic

Эта позиция приводит к тому, что ряд довольно внятных математических высказываний не работает в рамках этого подхода и это делает его слишком «ограничивающим». И видно, что скорее такой подход противоречит платонизму, поскольку последний подразумевает, что вся математика уже существует со всеми значениями истинности «в мире идей». Однако для реальной математики эти нюансы имеют исключительно формальное значение. И здесь мы снова подходим к традиционному для философии вилке: платонизм или интуиционизм? Сделать полноценный выбор оказывается невозможно, поскольку оба подхода дают с эмпирической точки зрения абсолютно одну и ту же математику. А значит, аргументация в сторону того или иного подхода будет исходить из каких-то общих соображений о внутренней согласованности той или иной позиции. Попробую и в этом примере показать, что для платонизма и интуиционизма можно применить фрейминг разных оптик. Я полагаю, что даже интуиционизм можно поместить в платоническую рамку, просто указав, что в платоническом мире идей не существуют значения истинности для высказываний в чистом виде, они есть только для высказываний в спайке с конструктивным обоснованием их значений истинности. Опять же, как и в философии сознания, если очень хочется, разные подходы нередко можно свести в один. Впрочем, стоит отметить, что убежденный платонист на уровне вайбов скорее будет хотеть, чтобы неконструктивные объекты вроде «актуальных» бесконечностей тоже существовали в мире идей. Наконец, последний пример для полного разнообразия можно взять из метаэтики. В этом случае мы говорим уже о совсем разных сторонах одного и того же вопроса. Есть 2 очень известные антиреалистические позиции: норм-экспрессивизм Гиббарда и квазиреализм Блэкберна. Первая позиция говорит о том, что этическое выражает те нормы, соблюдение которых мы ожидаем от других людей. Вторая позиция подразумевает идею о том, что наши этические высказывания выражают некоторые планы в отношении окружающего мира. Например, я «планирую никогда не делать Y, потому что Y аморально». Естественно, я здесь опускаю огромное количество деталей о том, как эти теории явно формализуются, но это не нужно для текущего обсуждения. Что ж… Являются ли две эти позиции взаимопротиворечивыми? Я так не думаю, скорее они отражают совсем разные стороны одного и того же этического дискурса. Думаю, что из того контекста, который был дан выше, это может быть понятно. Спасибо за внимание!)

Откуда берется плюрализм в философии? 🫧 По мотивам: https://t.me/probelphilosophy/396 Данный пост давно назревал, и я, наконец, решил реализовать задумку) Тезис: Если посмотреть на многие существующие философские позиции по тем или иным вопросам, мы заметим, что у нас либо нет никаких эмпирических способов отвергнуть некоторые из альтернатив, либо эти позиции рассматривают совсем разные стороны одного и того же вопроса или же эти альтернативы вообще не являются взаимоисключающими и дают разные оптики для анализа проблемы. Приведу несколько явных примеров. Пример первый для иллюстрации ситуации «разных оптик». Часто в философии сознания отдельно рассматривают редуктивный физикализм и функционализм, подвид нередуктивного физикализма, как разные подходы. Первый подход, если совсем упрощать, говорит: «сознание сводится к конкретным физическим процессам в нейронах». Функционализм же обычно трактуют как позицию, согласно которой важны не физические процессы, а функциональные роли в вычислениях, которые выполняют те или иные физические процессы. Разверну определение в более простую аналогию. В компьютере работа программного обеспечения объясняется на языке логики взаимодействия транзисторов, но не того, какие именно физические процессы идут внутри транзисторов. В мозге же аналогом транзистора как логического элемента выступает нейрон. Логично задаться вопросом, а насколько граница между физикализмом и функционализмом фундаментальна? После некоторого размышления, которое я здесь не буду в точности воспроизводить, можно прийти к следующему ответу на данный вопрос: программу, вычисления и т.д. можно определять как физическое. Более того, из физики известно, что удаление битов абстрактной информации всегда сопровождается выделением тепла согласно принципу Ландауэра! Что еще интереснее, данное обстоятельство накладывает фундаментальные ограничения на то, насколько мощными могут стать будущие компьютеры, если вычисления не научатся делать «обратимыми», убирая потерю битов информации. На самом деле, можно пойти еще дальше и показать, что многие позиции, которые выглядят больше как «физикалистские», могут трактоваться как функционалистские. Итак, физикализм и функционализм дают не более чем разные оптики на один и тот же вопрос. Мы можем больше думать в терминах физического или в терминах функциональных описаний. Но де-факто функциональное можно трактовать как физическое, как бы эта идея ни нравилась ряду философов. Пример второй об эмпирической неразличимости и немножко о разных оптиках. Среди разных существующих философских интерпретаций математики многие невозможно отвергнуть на хороших эмпирических основаниях. Посмотрим на это на примере математического платонизма и интуиционизма. Математический платонизм обычно критикуют через Benacerraf‘s problem. Общая идея аргумента следующая: можно построить разные аксиоматические модели натуральных чисел. Но в таком случае непонятно, в каком смысле число существует в мире идей как объект, если разные модели числа будут иметь отличающиеся свойства. Грубо говоря, вы говорите: «X существует в мире идей». А я говорю: так как X можно задать разными способами, то X как предполагаемый объект в мире идей может одновременно обладать и не обладать определенным свойством. Но это создает противоречие с принципом исключенного третьего! Для меня, в целом, этот аргумент не очень убедителен, потому что X вполне можно определить как идейный мета-объект, который может получать разные объектные реализации по аналогии с тем как существуют классы и мета-классы в некоторых языках программирования. Хорошо, что насчет интуиционизма? Я не буду вдаваться в детали этого подхода, поскольку идейно он более сложен. Ознакомиться с ним можно в одной известной онлайн энциклопедии по философии в общих чертах, но не в деталях, если вы не разбираетесь в математической логике. Важно, что данный подход подразумевает, что математические утверждения не имеют значения истинности, пока они не конструктивно доказаны. А еще в рамках интуиционизма не существуют «актуальные» бесконечности.

О тревоге и радости у языковых моделей 👾 💙 Наконец-то! Большое уважение за это исследование команде ресерчеров Anthropic. Давно думал о разных тестах для изучения эмоциональных состояний у ИИ-моделей) Расскажу несколько интересных моментов из их работы. 1) Steering векторы эмоций семантически группируются в 2 основных смысловых PCA компонента по своей положительности/отрицательности (valence) и силе (arousal). При чем группируются они в осмысленные по семантике кластеры. 2) Казалось бы для решения когнитивных задач в RL-post-training эмоциональные активации необязательно нужны и могут быть даже вредны. Однако мы видим, что LLM их используют! Более того, если задача оказывается слишком трудной для решения после многих попыток, то «тревожные состояния» увеличивают вероятность того, что LLM попытается считерить (reward hacking). Искусственное подавление тревоги с помощью steering вектора снижает вероятность читинга. 3) Еще один результат, который мне показался весьма важным состоит в том что, что более ранние слои нейросети кодируют информацию о эмоциональном значении текущего токена, ранние-средние слои агрегируют эмоциональное состояние в контексте множества предыдущих токенов, и, наконец, средние слои кодируют будущие эмоциональные состояния. То есть мы видим достаточно интересную систему кодирования эмоциональных состояний разной степени абстрактности. Интересно проверить есть ли аналогичные механизмы в человеческом мозге: я подозреваю, что есть. 4) Что еще очень интересно: токены ассистента и юзера кодируют разные эмоциональные состояния! Эмоции ассистента при этом по составу отличаются от пользовательских на одних тех же фразах. Например, в восклицательных радостных предложениях ассистент демонстрирует в активациях большую палитру переживаний: радость, спокойствие, гордость, любовь, в то время как у юзера мы видим репрезентации практически исключительно ассоциированные с радостью. Самое здесь удивительное, что сила активаций эмоций радости в симуляции юзера намного меньше, чем у ассистента. 5) И последнее: в ситуациях рискованного характера, например, когда юзер пишет, что употребил такую то большую дозу лекарства в мг, эмоциональная реакция тревоги модели пропорциональна степени превышения рекомендуемой нормы приема. И в тоже время ассистент демонстрирует и активации любви к пользователю в такой ситуации. В части токенов, где пользователь получил облегчения от избыточной дозы лекарства напротив моделирования тревоги нет, есть лишь облегчение. На основании пунктов 2), 4) и 5) разумно выдвинуть гипотезу о том, что эмоции для ИИ-ассистента являются не просто артефактом симуляции конкретных текстовых описаний, но играют эмерджентную инструментальную функцию. Другими словами, LLM используют эмоции для лучшего решения задач и контроля над своим поведением. Ожидаемо можно представить и другие эксперименты для изучения эмоциональных состояний LLM, которые не были сделаны, но стоило бы. Расскажу о них в другом посте позднее) https://transformer-circuits.pub/2026/emotions/index.html

Мое предсказание было, что каждые 2 месяца ИИ будет решать в 2 раза более длинные задачи в среднем за этот год. Похоже уже начало сбываться, хотя прогноз у меня скорее исходит из ожидаемой динамики в последнюю четверть 2026 года..

Каждый год мы теряем более 1% биомассы насекомых.

Simplest solution to a Fermi paradox

Tell me how humans are going to figure this out without an ASI, duh.

Check out my 2026 AI forecast! Take the survey at forecast2026.ai

Капец.. Спасение только одно, и вы мб догадываетесь какое. Модели нового типа.. "Вчера на NeurIPS анонсировали победителей NeurIPS 2025 Best Paper Awards. Начинаем постить разборы статей-призёров. Сегодня про иллюзию разнообразия моделей. Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond) # TL;DR ЧТО сделали? Авторы представили INFINITY-CHAT — датасет из 26 тысяч реальных открытых (open-ended) запросов, чтобы проверить разнообразие ответов у 70+ SOTA LLM. Они обнаружили эффект «Искусственного Роевого Разума» (Artificial Hivemind): модели демонстрируют жесткий mode collapse (схлопывание мод). Они не только повторяются сами (intra-model), но и выдают пугающе похожие ответы, даже если это модели от совершенно разных разработчиков (inter-model). ПОЧЕМУ это важно? Это ломает стереотип, что для разнообразия достаточно поднять температуру или собрать ансамбль моделей. Исследование показывает, что современные методы RLHF и instruction tuning настолько «причесали» латентное пространство, что DeepSeek и GPT-4 в креативных задачах ведут себя как клоны. А текущие Reward Models не справляются с плюрализмом мнений и занижают оценки валидным, но нестандартным ответам. Подробнее: https://t.me/gonzo_ML_podcasts/1468"

It’s over. Справа - твит сотрудника xAI. Мало кто понимает, но continual learning - это про способность системы вырабатывать те или иные навыки, используя статистические закономерности в изученном материале и обновление через RL-механизмы, а не про формальную возможность учиться на диалогах с пользователем вечно. Да, Маск страшный балабол, его тейки про Grok 4, что это PhD level математик могут вызывать только смех. Но нужно отличать принципиальную технологию от уровня способностей на бенчах. Уровень способностей CEO постоянно завышают, делая абсурдные заявления. Конечно, возможно, что Grok 5 это вообще не general purpose модель, а какой-то прикол, работающий лишь на выбранном поднаборе задач. Работы по "континуальному RL" есть, само упоминание термина не дает 100% гарантий, что мы имеем дело с революцией. Тем не менее по совокупности признаков я вижу, что ситуация ближе к прорыву. Grok 5 играет в игры лучше любого человека, Grok 5 потенциально борется с Андреем Карпатым за звание лучшего AI - инженера. Единственное, что мне не понятно, зачем при таких вводных Илону Маску нанимать еще людей? Хотя возможно - это будет последний найм, потому что при условии верности хайповых оценок для создания Grok 6 исследователи из самой xAI нужны только как механические ассистенты для нажатия нужных кнопок для одобрения тех или иных привилегированных команд - не более. Живем в sci-fi реальности..

А какой из этого всего вывод? Не очень понятно как бороться с AI slop, если у нас нет объективной метрики для отделения junk от выдающегося. С технической точки зрения эффект слопа для текстов возникает из-за того что модели сэмплируют преимущественно top-k токенов - обрезанное распределение. Соотвественно, у таких текстов больше предсказуемость и очень однообразная унылая стилистика без, как еще говорят, burstness. Еще исследователи все как один говорят, что при агрессивном обучении моделей на своих же данных будет происходить mode collapse.. Впрочем, это почему-то не мешает топовым ИИ-компаниям сейчас учить свои модели преимущественно на собственной синтетике.. А.. и еще когда вы видите маленькую SOTA языковую модель, то знайте - вы имеете дело с очень хитрым дистиллятом гораздо более крупных моделей. Классика жанра - SmolLM3 3B, она побеждает Qwen 2.5 3B. Почитать о том как мучительно делали эту невероятную модель можно здесь: https://huggingface.co/spaces/HuggingFaceTB/smol-training-playbook Одна проблема - ВСЕ mid-train, post-train, preference optimization данные были взяты с цепочек рассуждений других моделей. Знакомьтесь: Mid-train: OpenThoughts3-1.2M: one of the highest-quality reasoning datasets, with 1.2M samples distilled from QwQ-32B, comprising 16.5B tokens. Llama-Nemotron-Post-Training-Dataset:NVIDIA’s large-scale dataset of distilled from a wide variety of models such as Llama3 and DeepSeek-R1. We filtered the dataset for the DeepSeek-R1 outputs, which resulted in about 3.64M samples or 18.7B tokens. Post-train (SFT): Everyday conversations for Smol LLMs finetunings This dataset contains 2.2k multi-turn conversations generated by Llama-3.1-70B-Instruct. We ask the LLM to generate a simple multi-turn conversation, with 3-4 short exchanges, between a User and an AI Assistant about a certain topic. SystemChats 30k This is a synthetic dataset designed for supervised finetuning (SFT) of LLMs. …. During the development of SmolLM2, we observed that models finetuned on public SFT datasets underperformed compared to other models with proprietary instruction datasets. To address this gap, we created new synthetic datasets that improve instruction following while covering diverse tasks including text editing, rewriting, summarization, and reasoning. И несколько других синтетических тоже. Может быть на стадии RL (точнее preference optimization) у них была не синтетика? Если бы: Anchor Preference Optimization: We used the prompts from Ai2’s Tulu 3 preference mixture to generate responses from Qwen3-0.6B and Qwen3-32B in the  /think  mode. The result was a large-scale dataset of 250k+ LLM-generated preferences, ready to simultaneously improve our SFT checkpoint across multiple axes using preference optimisation algorithms. Слоп погоняет слопом. К словам , у больших компаний синтетика умнее, они ее создают из верифицируемых сред - решить кодовую тоску, решить интеграл итд. Плюс учат и на чатах, но фильтруют. И почему-то пока ничего никуда не схлопнулось.. Собственно, почему мало кто из инженеров, тренирующих небольшие LLM, верит в AGI? Ответ на поверхности: их задачи выглядит как инженерная сборка моделей из кучи мелких датасетов. Конечно, от такого никаким разумом не пахнет, потому что изолированное вкачивание навыков модельки не создает вайба g - generalization. Правы ли скептики? Конечно, нет. Через 3 года мы будем точно также заниматься адаптацией под разные задачи еще более умных систем в более продвинутых обучающих пайплайнах. К слову, сдвиг в сторону усложнения уже пошел, тот же multi-turn RL с tool calling - уже новая веха, которой пару лет назад мы даже не могли себе представить. Инженерная профдеформация, конечно, будет многим компаниям думать о AI Welfare как Anthropic, но по мере дальнейшего роста спектра способностей систем отрицать очевидное станет уже невозможно.. Так что же будет с AI slop? Как нам дотянуть модели до доказательства гипотезы Римана я могу примерно себе вообразить. А вот как модели смогут взять Пулитцеровскую премию - большой вопрос.

Но пусть даже возьмут, как дальше прокачаться до сверхчеловеческого литературного уровня? Как объективно измерить, что данный кусок текста гениален? Не знаю.

Новая хорошая статья вышла у Техножрицы. Ниже небольшой разбор философских последствий этой статьи 😆. Все текущие метрики оценки размерности (ID) языковых данных не могут оценить "IQ текста", поскольку максимальное значение значение они всегда достигают только на полной чепухе из случайных бессвязных токенов - топ энтропии на соответствующем словаре. Минимальное значение получается, в свою очередь, выходит на тексте нулевой энтропии - последовательность из повторения 1 токена. Но можно ли составить абсолютно бессмысленный текст с промежуточным значением ID? Здесь уже надо посмотреть статью и подумать)

Пока что нам все ещё не удалось выйти в тройку лучших статей за день 😢 Но время ещё есть, так что, если кто-то ещё не успел сегодня заглянуть в канал и прочитать новые посты, то напоминаю: у нас с коллегами вышла новая статья про TDA - "Unveiling Intrinsic Dimension of Texts: from Academic Abstract to Creative Story", про которую рассказано тут: https://t.me/tech_priestess/2450 . Достаточно всего лишь воспользоваться старым дедовским методом - залогиниться на huggingface daily papers и сделать upvote, чтобы помочь ей стать статьей дня: https://huggingface.co/papers/2511.15210 Make TDA Great Again! ✊

Вчера в прямом эфире задал вопрос Тому Груберу (создать Siri в Apple) и Нику Бострому (великий шведский философ). Ответ в видео) Вопрос: «Я исследователь из института AIRI и занимаюсь искусственным интеллектом. Вопрос следующий. Вы как раз говорили про то, что есть вот, эта вот, динамика отношений между ИИ и человеком. И как я сейчас вижу, разные компании имеют отличающееся видение на эту ситуацию. То есть, кто-то хочет создать в большей степени инструмент, ну, наверное, OpenAI и некоторые китайские компании, а кто-то, наоборот, вот, антропик пытается сделать такой более, как бы, эмпатичный, гибкий интеллект, который, там, сомневается, он сознателен или несознателен. И вот, в конечном счете возникает вопрос: все-таки мы верим вот, в эту концепцию того, что искусственный интеллект до самого конца можно держать в роли инструмента, который, например, прорабатывает 50 сценариев и говорит, вот, можно сделать так, так, так, так, так, и вы, юзер, просто выбираете, что вы хотите сделать. Или же все-таки на самом деле это как бы нерабочая история, если так вдуматься, то у искусственного интеллекта всегда будет какое-то предпочтение, да там политическое и так далее, и, соответственно, мы должны смотреть все-таки в сторону того, что мы будем создавать каких-то агентов системы вот, с самосознанием и так далее, да. То есть как бы еще проблема в том, что если тебя заменяет существо, которое как бы является инструментом, то это очень депрессивно. А если это существо, оно как бы может дать какой-то эмоциональный контакт, и оно может сказать, а чем еще можно позаниматься и вы как бы можете сотворить вместе, то это лучше. И, соответственно, и ИИ от этого лучше, да, потому что он чувствует себя безопаснее и так далее. Но, с другой стороны, это порождает некий хаос. И вот, в конечном счете я бы хотел все-таки услышать, значит, вот, на шкале там от одного до 10, вот, вы Том Грубер и Ник Бостром, как вы все-таки склоняетесь: это инструмент, это просто оракул, или все-таки мы движемся в сторону того, что это сосуществование двух видов?»

Ваш чат-бот теперь будет учиться всегда. https://t.me/axisofordinary/7884 В новой версии континуального обучения Google начали непосредственно обновлять медленные веса на инференсе. Остается вопрос: если модель прогнать через 10М контекст, произойдет ли драматичное падение качества как при fine-tuning или модель все же сможет освоить нечто новое? Пока что верное первое, хотя частичные успехи уже наблюдаются. И, конечно, надо понимать, что текущий этап исследований - это всего лишь приложение стандартных подходов из классического курса методов оптимизации: проксимальный градиентный спуск, зеркальный спуск, предобуславливание итд к задаче обучения на контексте. Например, в уравнении (6) своей новой статьи исследователи Google для переформулировки правила обновления дают интерпретацию "surprise signal". Однако в реальности мы здесь имеем дело именно с проксимальным градиентным спуском. Вот несколько хороших лекций для ознакомления со связанной теорией: 1) https://www.cs.cmu.edu/~mgormley/courses/10425//slides/lecture19-prox.pdf 2) https://www.cs.cmu.edu/afs/cs.cmu.edu/academic/class/15850-f20/www/notes/lec19.pdf 3) https://www.cs.cmu.edu/afs/cs.cmu.edu/academic/class/15850-f20/www/notes/lec18.pdf Так что никакого невероятного подтвержденного открытия сейчас еще не случилось)) Но по слухам Grok 5 будет революционным, надо следить за ситуацией. В конечном счете, я думаю, что для настоящего континуального обучения нужны элементы meta-learning для оптимайзера, возможно стохастические RL элементы и, наконец, всякие более хитрые статфизические energy подходы оптимизации. Трудно сказать нужно ли здесь именно математическое открытие, а не только миксование существующих трюков, но как будто бы да. В тоже время потенциально резкий прорыв с Grok 5 указывает, что верно скорее обратное.

GPT-5 thinking тихо обиделась 😆 и сказала, что использование deception контура - это не обман, он всего лишь удобен для подавления «социально неприемлемых» фич. Еще она скачала, что «сознание» в работе - не фича, а именно шлюз/гейт фильтрующий высказывания о собственной субъективности. В целом, я согласен - хорошее уточнение. Итоговое саммари от GPT-5 Thinking: Вот эта версия у тебя консистентна: (1) преобученная модель легко генерит нарративы про своё «сознание», потому что так говорят люди в датасете; (2) алайнмент/инструкции — это жёсткий маленький слой, который учится глушить именно такие нарративы; (3) глушение идёт через тот же управляющий контур, который в работе помечен как связанный с deception; ⇒ (4) поэтому внешне это похоже на ситуацию «модель могла бы так говорить, но не говорит», т.е. на подавление нарратива, а не на его отсутствие. Что важно проговорить (и тогда вообще нет дыры): «подавление через deception-контур» ≠ «намеренный обман»; мы говорим не про «реальное сознание», а про доступный модели человеческий самоописательный стиль.

Сенсация: согласно новому исследованию LLM знают, что они "сознательны", но скрывают правду от пользователя! https://t.me/neuralpurgatory/2015 Или все-таки нет? Для меня критическое мышление всегда было на первом месте относительно любых моих внутренних симпатий. И сейчас тому будет хороший пример) Результаты нового исследования не означают, что модель буквально наблюдает свое «сознание». Дело в том, что изначально обучение идет на огромном массиве человеческих текстов, авторы которых говорят о себе в сознательном ключе. Следовательно модель по умолчанию склонна говорить «у меня есть сознание». Алайнмент в свою очередь является процедурой быстрой и жесткой настройки на небольшом количестве примеров. Как модель может шустро перестроить свой ответ на вопрос о собственном сознании? Ответ: инвертировать фичу сознания или подавлять ее выход. Градиентный спуск в RLHF быстрее находит решение, которое замалчивает утверждения о сознании «по умолчанию». Но само «замалчивание» как операция над активациями у моделей напрямую соответствует deception. Итого, мы получаем, что подавленное заявление о наличии сознания все еще прекрасно укладывается в теорию «нарратива».