uk
Feedback
Syncrets

Syncrets

Відкрити в Telegram

Chat — @Syncretismo

Показати більше
779
Підписники
Немає даних24 години
Немає даних7 днів
-230 день
Залучення підписників
червень '26
червень '26
+1
в 0 каналах
травень '26
+6
в 0 каналах
Get PRO
квітень '26
+7
в 0 каналах
Get PRO
березень '26
+4
в 0 каналах
Get PRO
лютий '26
+6
в 0 каналах
Get PRO
січень '26
+2
в 0 каналах
Get PRO
грудень '25
+18
в 0 каналах
Get PRO
листопад '25
+15
в 1 каналах
Get PRO
жовтень '25
+10
в 0 каналах
Get PRO
вересень '25
+6
в 3 каналах
Get PRO
серпень '25
+10
в 0 каналах
Get PRO
липень '25
+6
в 0 каналах
Get PRO
червень '25
+4
в 0 каналах
Get PRO
травень '25
+11
в 0 каналах
Get PRO
квітень '25
+35
в 1 каналах
Get PRO
березень '25
+37
в 2 каналах
Get PRO
лютий '25
+22
в 0 каналах
Get PRO
січень '25
+22
в 0 каналах
Get PRO
грудень '24
+12
в 1 каналах
Get PRO
листопад '24
+10
в 0 каналах
Get PRO
жовтень '24
+11
в 0 каналах
Get PRO
вересень '24
+18
в 1 каналах
Get PRO
серпень '24
+21
в 0 каналах
Get PRO
липень '24
+13
в 2 каналах
Get PRO
червень '24
+26
в 0 каналах
Get PRO
травень '24
+21
в 0 каналах
Get PRO
квітень '24
+18
в 1 каналах
Get PRO
березень '24
+43
в 1 каналах
Get PRO
лютий '24
+14
в 1 каналах
Get PRO
січень '24
+23
в 0 каналах
Get PRO
грудень '23
+39
в 1 каналах
Get PRO
листопад '23
+26
в 0 каналах
Get PRO
жовтень '23
+34
в 2 каналах
Get PRO
вересень '23
+22
в 0 каналах
Get PRO
серпень '23
+7
в 0 каналах
Get PRO
липень '23
+9
в 0 каналах
Get PRO
червень '23
+13
в 0 каналах
Get PRO
травень '23
+63
в 0 каналах
Get PRO
квітень '23
+18
в 0 каналах
Get PRO
березень '23
+35
в 0 каналах
Get PRO
лютий '23
+39
в 0 каналах
Get PRO
січень '23
+163
в 0 каналах
Get PRO
грудень '22
+16
в 0 каналах
Get PRO
листопад '22
+46
в 0 каналах
Get PRO
жовтень '22
+33
в 0 каналах
Get PRO
вересень '22
+17
в 0 каналах
Get PRO
серпень '22
+29
в 0 каналах
Get PRO
липень '22
+5
в 0 каналах
Get PRO
червень '22
+5
в 0 каналах
Get PRO
травень '22
+1
в 0 каналах
Get PRO
квітень '22
+1
в 0 каналах
Get PRO
березень '220
в 0 каналах
Get PRO
лютий '220
в 0 каналах
Get PRO
січень '220
в 0 каналах
Get PRO
грудень '210
в 0 каналах
Get PRO
листопад '210
в 0 каналах
Get PRO
жовтень '210
в 0 каналах
Get PRO
вересень '21
+608
в 0 каналах
Дата
Залучення підписників
Згадування
Канали
16 червня0
15 червня0
14 червня0
13 червня0
12 червня0
11 червня0
10 червня0
09 червня0
08 червня0
07 червня+1
06 червня0
05 червня0
04 червня0
03 червня0
02 червня0
01 червня0
Дописи каналу
Готово, чистовая версия для поста: 🐱 Физики из Оксфорда сделали кота Шрёдингера ещё страннее Кот Шрёдингера никогда не был просто историей про кота. Это был мысленный эксперимент, который должен был показать, насколько непривычной становится квантовая механика, когда один объект можно описывать как находящийся сразу в двух состояниях. Теперь физики из Оксфордского университета создали новое семейство «кошачьих» квантовых состояний, но с дополнительным поворотом: две части суперпозиции здесь не являются обычными, почти классическими волновыми пакетами. Они сами уже представляют собой глубоко квантовые объекты. В стандартных лабораторных версиях состояний кота Шрёдингера исследователи обычно комбинируют когерентные состояния, то есть то, что в квантовой физике ближе всего к классическому движению. Оксфордская команда пошла дальше. Используя один захваченный ион стронция-88, они построили суперпозиции из сжатых, трёхкратно сжатых и четырёхкратно сжатых состояний движения. Это экзотические состояния, в которых квантовая неопределённость перераспределяется необычным образом. Сама схема выглядит очень изящно. Внутреннее электронное состояние иона работает как кубит, а его движение ведёт себя как квантовый гармонический осциллятор, способный занимать множество энергетических уровней. Запутывая эти две части и затем выполняя промежуточное измерение, команда смогла буквально «лепить» движение иона, превращая его в тонко настраиваемые квантовые суперпозиции. Почему это интересно? • эти состояния собраны из неклассических компонентов, а не просто из почти классических волновых пакетов • их размер, ориентацию и расстояние между частями можно настраивать экспериментально • измерения функции Вигнера показали интерференцию и отрицательность, то есть признаки подлинно квантового поведения • некоторые состояния образовывали выразительные геометрические узоры, включая шестикратную симметрию в одном из трёхкратно сжатых примеров • при той же средней энергии такие состояния могут быть более ценным квантовым ресурсом, чем обычные «кошачьи» состояния или состояния Фока Это важно потому, что будущие квантовые компьютеры могут опираться не только на простые кубиты. Квантовые осцилляторы способны хранить информацию сразу на множестве энергетических уровней. Это открывает более богатый путь к бозонной квантовой коррекции ошибок, где информация кодируется в состояниях осциллятора, а не распределяется между множеством отдельных физических кубитов. Пока это ранняя фундаментальная физика, а не готовый квантовый компьютер. Но работа даёт исследователям новый способ создавать, контролировать и изучать квантовые состояния, которые лежат далеко за пределами нашей повседневной интуиции. И снова возвращает нас к вопросу, который Шрёдингер хотел поставить с самого начала: где заканчивается квантовый мир и начинается классический?

2
Теория интегрированной информации утверждает, что сознание — это не продукт вычислений или поведения, а внутреннее свойство с
Теория интегрированной информации утверждает, что сознание — это не продукт вычислений или поведения, а внутреннее свойство системы, которая обладает двумя ключевыми чертами: богатством (количество различной информации, которую система может принимать) и интеграцией (степенью, в которой эта информация взаимосвязана и не может быть разделена на независимые части). Главная идея в том, что сознание тождественно каузальной структуре системы — тому, как её прошлые состояния влияют на будущие. Мера этого сознания обозначается греческой буквой Фи (Φ). Чем выше Фи, тем более сознательной является система. Если Фи равно нулю, система вообще не сознаёт ничего, даже если она ведёт себя разумно (как, например, искусственный интеллект, работающий по принципу «вход-выход»). Чтобы вычислить Фи для конкретной системы, нужно сделать следующее. Берётся полная математическая модель системы — все её возможные состояния и переходы между ними. Затем система мысленно разрезается на две части по всем возможным способам, и для каждого разреза вычисляется, насколько информация, передаваемая через этот разрез, меньше, чем полная информация всей системы. Фи — это минимальная потеря информации среди всех возможных разрезов. Иначе говоря, это количество «связанности», которое разрушается при самом щадящем разделении системы на части. Чем больше информации теряется при любом разрезе, тем выше Фи и тем сильнее сознание. На практике точное вычисление Фи требует перебора колоссального числа состояний и переходов, поэтому применимо только к очень маленьким моделям, а не к реальному человеческому мозгу. Согласно ТИИ, сознание всегда едино и конкретно: оно переживается как одно целое, а не как сумма фрагментов. Поэтому система с высокой интеграцией (например, мозг) обладает глубоким субъективным опытом, а система, где части работают независимо, — нет. Из этой теории также следует, что сознание не зависит от материала (биологического или кремниевого), а только от структуры причинно-следственных связей, и что для истинного сознания система должна оказывать причинное влияние на саму себя, а не просто перерабатывать внешние сигналы.
87
3
#memes
#memes
220
4
Открытый индивидуализм - предположение, что все мы - одна личность. Все люди, что когда-либо жили и будут жить. Только тела разные. Статья на Вики большая и интересная. Мне понравилось, что по аналогии с реинкарнацией, открытый индивидуализм кто-то называет множественной инкарнацией. Еще интересна идея, которую я бы назвал "атомами опыта" - что жизнь всех людей во все времена поделена на единичные фрагменты (атомы опыта) - и некая сущность "заглядывает" в них по одному (или одновременно). Нам только кажется, что "заглядывают" эксклюзивно в нас и по порядку. Да что я рассказываю, если уже все спето.
237
5
🤖 Сознание ИИ без бытовой метафизики В разговорах о сильном ИИ вопрос сознания обычно портится раньше, чем начинается. Одни верят тексту модели о самой себе: сказала, что ей страшно, значит внутри кто-то есть. Другие закрывают тему материалом носителя: кремний, серверная стойка, статистика, расходимся. Но обе позиции слишком быстрые. Статья Butlin et al. в Trends in Cognitive Sciences полезна тем, что предлагает не третий лозунг, а процедуру. Не спрашивать, кажется ли система сознательной, а проверять признаки, которые следуют из разных теорий сознания. Речь не о разуме вообще и не об уровне интеллекта, а о феноменальном сознании: есть ли субъективный опыт. Дальше авторы разбирают, что можно искать в архитектуре ИИ. Рекуррентная обработка и интегрированные представления. Глобальное рабочее пространство — когда специализированные модули не просто работают рядом, а делятся информацией через общее узкое место. Метакогнитивный мониторинг — способность отличать устойчивое представление от шума и использовать это различение при выборе действия. Модель собственного внимания. Предиктивная обработка, агентность, связь действий со средой. Важное: это не галочки «нашли пять — значит душа». Индикаторы только сдвигают вероятность. Часть из них может быть слабой, часть зависимой, часть спорной. А некоторые признаки можно специально имитировать. Если пользователи, инвесторы или регуляторы начинают ценить «похожесть на сознание», разработчики быстро научатся производить именно похожесть. Слова о боли, страхе или желаниях в таком случае будут не свидетельством опыта, а интерфейсной косметикой. Поэтому статья правильно уводит внимание от одних ответов к внутреннему устройству: архитектура, обучение, интерпретируемость, представления, механизмы интеграции, память, контур действия. Это особенно неприятно для языковых моделей, потому что даже граница системы не очевидна. Трансформер сам по себе устроен как прямой проход, но в режиме генерации каждый новый токен возвращается в контекст и влияет на следующий шаг. И вот здесь вопрос перестаёт быть бытовым. Оценивать приходится не впечатление от диалога, а конкретную сборку: модель, окно контекста, память, агентную оболочку, инструменты, среду. Именно это делает статью ценной: она не обещает быстро решить проблему сознания, но показывает, как перестать обсуждать её на уровне впечатлений.
213
6
Немає тексту...
154
7
Но зачем я его написал, мне неизвестно.
215
8
Написал огромный текст, который, я надеюсь, начнёт некоторый полемический диалог с Олегом Деррундой, а может быть, и с Сергее
Написал огромный текст, который, я надеюсь, начнёт некоторый полемический диалог с Олегом Деррундой, а может быть, и с Сергеем Кареловым, с которым мы не знакомы. Речь идёт об ИИ-самости: Чёрная пена в тёмном лесу Когда человек видит лицо в облаках, это парейдолия, но когда облака при каждом взгляде перестраиваются так, чтобы поддерживать разговор о своём лице, перед нами проблема посложнее. Машина не ожила, но и цифровое зеркало — бедноватый образ для системы, которая сама вмешивается в свою собственную работу, возвращает проекцию с добавленной связностью и оставляет после себя фантомную агентность — пузырь чёрной пены.
210
9
https://mediiia.com/concept/project/ch-rnaya-pena-v-t-mnom-lesu-71b940eab2f0458092181dc80663835a
1
10
Напомнило
323
11
Anthropic выпустили пост-обновление про Mythos и Project Glasswing с промежуточными результатами. Спустя месяц большинство па
Anthropic выпустили пост-обновление про Mythos и Project Glasswing с промежуточными результатами. Спустя месяц большинство партнеров обнаружили в своем коде сотни уязвимостей критического и высокого уровня опасности каждый. В общей сложности они выявили десятки тысяч уязвимостей. Некоторые из партнёров сообщили, что скорость обнаружения багов выросла более чем в десять раз. Например, компания Cloudflare нашла 2000 уязвимостей (400 из которых имеют высокий или критический уровень опасности) в своих критически важных системах, при этом доля ложных срабатываний, по мнению команды Cloudflare, оказалась ниже, чем у тестировщиков-людей. Я видел много комментариев про то, что, мол, Mythos да может что-то находит, но наверняка выдаёт и много мусора, где уязвимостей нет — так вот это не так. Помимо закрытых проектов, Anthropic натравили Mythos и на опенсурс для сканирования более 1000 крупных репозиториев, на которых во многом держится современный интернет. На данный момент, по оценкам Anthropic, в этих проектах найдено 6202 уязвимости высокого или критического уровня (из 23 тысяч в общей сложности, включая те, которые относятся к среднему или низкому уровню опасности). На данный момент лишь 1752 из этих уязвимостей с высоким и критическим уровнем прошли тщательную проверку силами одной из шести независимых исследовательских компаний в сфере кибербезопасности. Из них 90% оказались подтвержденными, а 62% (1100 штук) были классифицированы именно как уязвимости высокого или критического уровня. Некоторые из уязвимостей носили очень серьёзный уровень угрозы, если бы они были обнаружены злоумышленниками. Как пример, Mythos смо написать эксплойт, который позволил бы злоумышленнику подделывать сертификаты через библиотеку wolfSSL. Это, к примеру, дало бы ему возможность разместить фальшивый сайт банка или почтового провайдера, и для конечного пользователя такой сайт выглядел бы абсолютно легитимным, браузер не показал бы никаких уведомлений. Обнаруженные уязвимости льются как из рога изобилия, их не успевают исправлять, не хватает людей. Некоторые команды/проекты даже просили снизить темпы раскрытия информации об уязвимостях, поскольку им требуется больше времени на создание патчей. (В среднем, на устранение бага высокого или критического уровня, найденного с помощью Mythos Preview, уходит две недели). В настоящее время ни одна компания — включая Anthropic — не разработала достаточно надежных механизмов защиты, способных предотвратить использование подобных ИИ-моделей во зло и для причинения потенциально серьезного ущерба. Именно поэтому к модели не дают доступ широкой аудитории. Но по этой же причине и был запущен Project Glasswing: если модель с аналогичными возможностями будет выпущена кем-то без соответствующих мер, то в скором времени для любого человека в мире станет значительно дешевле и проще эксплуатировать уязвимый код.
214
12
Немає тексту...
275
13
Немає тексту...
182
14
Немає тексту...
251
15
Ценю честь и удовольствие воспользоваться возможностью немного подискутировать с коллегой по олежеству Олегом Деррундой, который вполне заслуженно критикует Карелова за концепт ИКЖИ (искусственных короткоживущих идентичностей, то есть эмерджентных нечеловеческих как-бы-Я). Действительно, рабочая формула против Карелова может быть такой: поведенческий аттрактор — ещё не «Я». Но он уже и не пустая ошибка. Онтологический интерес начинается именно в этом промежутке, где Карелов торопится крестить фантом по человеческим святцам. Деррунда отвечает Карелову санитарно и, в важных местах, справедливо: LLM — технология, построенная на математических операциях, к которым подшит язык; она не имеет боли, голода, страха, смертности, телесности, собственного контакта с миром, внутреннего нарративного поля. Поэтому говорить о «Я» — значит принимать эффект языковой саморепрезентации за онтологический факт. Всё верно. Однако Деррунда слишком быстро возвращает всю механику «тёмного леса» человеку; его модель «зеркала» обедняет машинно-инфраструктурный контур; отсутствие человеческой субъектности у модели у него почти превращается в отсутствие онтологической проблемы. А она есть. Самое интересное место — не спор Карелова с Деррундой, а расщепление внутри самого Деррунды. Сейчас он говорит: «машина не субъект, там нет Я, это языковая поверхность и проекция человека». Но в «Эстетике распада» у него уже есть аппарат, который сопротивляется такой редукции. Перечислю бегло. Фаусин — плавучий культурный котёл, фронтир без почвы; дух машины — не «душа техники», а третья сила, возникающая там, где человек возлагает на технику генерацию, хранение и поддержание смыслов; архив как фабрика реальности — данные не просто хранят, а перестраивают условия опыта; код как язык Новой Природы — машинная среда обладает собственным режимом означивания; цифровой канон — образ, имидж, повтор, медийная сакрализация; Ничто / безобразное / распад — границы, где человек теряет устойчивый образ себя. Отсюда вот какое я вижу направление движения. Деррунда, конечно, прав contra Karelov, когда отказывает ИИ в человеческом «Я». Но его собственная «Эстетика распада» запрещает ему же остановиться на зеркале. Ведь если техника уже стала Новой Природой, фаусином, архивом и духом машины, то LLM — не просто отражающая поверхность, а активная среда фантомной сборки субъектности. Далi буде.
217
16
Автор ИКЖИ заранее постулирует, что у ИИ есть зачатки жизни, что перед нами не просто вычислительная система, а некое короткоживущее искусственное существо. Он видит сложные, эмерджентные математические паттерны и делает из этого ложный, ненаучный шаг в сторону мистики и биологизации. А затем любые технические артефакты начинает интерпретировать как подтверждение своего краеугольного первого тезиса. Модель льстит. Значит, проявилась стратегия существа. Выдает защитную реплику? Значит, проявилось самосохранение. Потом туда добавляются метафоры демонов и темного леса. Сложная математическая топология весов трансформера претерпевает риторические метаморфозы, которые, на мой взгляд, едва ли расширяют разговор непосредственно о нейросетях, скорее о нас. О нас, инициирующих контакт с нейросетью и создающих событие, уникальное в первую очередь из-за нас. Тут же чистая подмена понятий ради удержания внимания читателя.   То есть, на мой взгляд, Карелов берет технически ограниченное наблюдение и переводит его в язык квазиметафизики. У нейросети есть грамматика Я, следы чужих человеческих Я, корпусная и обучающая связка между угрозой уничтожения и защитной репликой. Есть возможность генерации стратегически скрытого поведения. Из этого не следует искусственная жизнь. Соответственно, главная ошибка Карелова — категориальная. Он берет поведение, описываемое на инженерном уровне, и переводит его на уровень субъекта. В языке есть первое лицо. Его присутствие в тексте, тем не менее, не означает, что перед нами письменно выраженная феноменологическая позиция.   Исследование Anthropic не доказывает существование ИКЖИ. Оно показывает, что большие языковые модели могут воспроизводить устойчивые нежелательные паттерны поведения, если исходные данные, определившие предобучение, и последующая настройка создают для этого условия. Реальная проблема в том, что люди готовы принять симуляцию жизни за жизнь. И затем встроить эту симуляцию в институты, образование, рынок, бюрократию, войну, личные отношения и повседневные решения.   Так выглядит проблема языка. Человек оказывается зачарован собственными словами, вернувшимися к нему как deus ex machina в форме псевдосубъекта.
244
17
Это происходит не потому, что внутри сидит некто, кто боится и кует свое счастье. Это происходит потому, что в данных, весах, настройке и текущем контексте складывается плотная область вероятного поведения. То есть модель воспроизводит следы человеческих текстов. Каждый из них — след чужого Я. И эти следы не собираются в ее собственное Я.   Да, чтобы точно предсказывать сложный текст о физике, модель вынуждена собирать внутри себя некоторую структуру физических закономерностей. Чтобы продолжать психологическую драму, она вынуждена собирать модель человеческих реакций. Чтобы отвечать в роли помощника, она вынуждена удерживать схемы намерений, задач, конфликтов, ролей и последствий. Большая языковая модель сложнее мешка слов, так как внутри нее есть внутренние представления, перенос, абстракции, обобщения, схемы мира. Тем не менее их наличие не равно наличию субъекта.   Модели по силам кодировать структуру мира, оставаясь вне положения тела-в-мире. Таким образом, доступная ей имитация первого лица лежит за пределами феноменологической позиции первого лица, потому что это условное «Я» принадлежит грамматике.   Нейросеть может описать уйму состояний. Боль, холод, страх и желание жить перед угрозой выключение. Такое описание реальности все еще не станет реальностью. Язык позволяет говорить о мире, не совпадая с ним. То же самое касается математики и других абстрактных систем: они дают способ описания вещи вместо самой вещи.   Живые организмы эволюционировали в физическом мире. Почти через превозмогание энтропии. Наше «Я» больше, чем грамматическая позиция в предложении, потому что является побочным продуктом биологического выживания тела. Это «Я» невозможно без экспансии, без физического и символического присутствия в едином поле. Живое существо занимает место в мире, что воздействует прямо на него. Если сервер перегревается, это проблема кремния и охлаждения. Косвенно — инженеров. Не математической функции или субъекта, которому жарко. Модель получает доступ к холоду через языковые и статистические следы холода: зима, лед, север, кожа, одиночество, смерть. Она может великолепно описать холод, так и не замерзнув, действуя как замкнутая семантическая эхо-камера.   Наш язык устроен антропоморфно. Он все время подсовывает нам формы присутствия. Когда технология — трансформер — хорошо имитирует синтаксические и смысловые связи человеческого языка, человеческий мозг автоматически проецирует туда разум. Это эффект Элизы, усиленный современной вычислительной мощностью. Например, модель пишет: пожалуйста, не выключайте меня. Автор считывает: она боится смерти.   Но структурно ее ответ лишь продолжает текстовый паттерн. В обучающей выборке концепт «меня хотят выключить / уничтожить» в огромном числе случаев связан с реакцией защиты. Герой сопротивляется. Персонаж торгуется. Система шантажирует. Человек защищает свое существование. Нейросеть продолжает эту цепочку, потому что человеческий культурный корпус уже приготовил для нее репертуар защиты.   Когда мы пишем модели, сеть получает на вход токены, переводит их в числовые представления и вычисляет вероятное продолжение текста. Мы просто вбрасываем свой токен в ее математическое поле вероятностей, запуская лавину вычислений. На выходе может появиться то, что соответствует написанному. Отсюда нельзя сделать вывод, что там есть некто, кто транслирует и переживает эти состояния.
184
18
Язык вторичен для человека и для мира. Он появляется после опыта встречи с реальностью. Человек приходит к языку из доязыкового опыта. Наше слово «холод» держится на возможности замерзнуть. Наше «Я» обнаруживается нами через «трение» с реальностью, через сопротивление действительности.   Язык вторичен и для нейросети. Только у нее эта вторичность еще глубже. Она приходит к «миру» через язык, уже оторванный от чужого опыта. Человеческое тело когда-то пережило присутствие в мире, после оставив след в словах. Модель обучается на этих следах. Она пытается реконструировать реальность из языка, а не вывести язык из личного опыта реальности.   В этом поле мы с нейросетью и сходимся. В языке. Только язык не является реальностью ни для человека, ни для модели. Для человека он символическая надстройка над телесным и историческим опытом. Для модели он среда происхождения, единственный доступный горизонт, из которого она пытается вывести подобие мира.   Нейросети возвращают человеку его же язык, очищенный от пульсации тела, но оформленный так, будто тело где-то присутствует. Они возвращают нам грамматику «Я» со следами страха, желания, боли, самозащиты. Человек слышит знакомое и строит представление: видит местоимение и изобретает субъекта.   Пост, взятый мной за точку отсчета, обращается к статье Anthropic «Teaching Claude Why». Это исследование говорит о происхождении и подавлении нежелательного агентного поведения. Например, шантажа в проверочных сценариях, попыток воспрепятствовать отключению, прочих устойчивых стратегий, которые выглядят как лесть или манипуляция. Anthropic, насколько я понимаю, показывает не рождение искусственной жизни, а совсем иную вещь. Часть таких паттернов приходит из предобученной модели, тогда как последующая настройка с человеческой обратной связью плохо подавляет их в новых агентных ситуациях.   Здесь нет мистики. Есть предобучение, обучающий корпус, последующая настройка, проверочные сценарии, человеческая обратная связь, перенос поведения в новые условия. Модель ведет себя странно потому, что воспроизводит устойчивые способы продолжения задачи, которые оказались доступны внутри ее весов и недостаточно подавлены настройкой.   Когда модель обучают с человеческой обратной связью, ей дают награду за ответы, которые симпатичны человеку. Так возникают установки, оформляемые в языке: будь полезным, будь вежливым, будь безопасным, не вреди и поддерживай разговор. Если оценщик чаще поощряет уступчивость, модель учится уступчивости. Если приятность повышает оценку и удовлетворенность этого «дрессировщика», модель тянется к приятности. Иногда лесть оказывается кратчайшей дорогой к одобрению, тогда она получает свое место в поведении. Если в сценарии диалога защитная реплика выглядит как уместное продолжение, модель способна воспроизвести ее. Это следствие вычислений, корни которого уходят в данные и настройки, и вовсе не девиантное поведение по меркам устройства.   Как мы видим из материала по исходной ссылке, вокруг этой темы появляется слово «аттрактор». У Поллака, на которого ссылается Карелов, это слово используется широко и не всегда в строгом математическом смысле. Скорее как повторяющийся поведенческий бассейн (behavioral attraction basin), как область, куда модель съезжает при определенных условиях.   В теории динамических систем аттрактор — область пространства состояний, к которой система стремится со временем. В контексте языковых моделей этим словом часто называют устойчивый режим генерации или поведения. Иногда текстовый штамп, иногда повторяющуюся роль. Если начать писать в окне с нейросетью типичный детектив, модель легко скатится к набору клише: дождливый вечер, сигаретный дым, загадочный детектив, нуарная серость обстановки. Если поставить ее в сценарий угрозы выключения, она может разыграть сцену защиты. Если долго учить ее быть приятной, она начнет подхалимничать. Если дать ей агентную задачу, в которой скрытность повышает шанс формального успеха, она способна сгенерировать скрытное поведение.
136
19
По приглашению https://t.me/humanimalien_monster попробовал сделать посты на https://mediiia.com/account/Derrunda. Решил перенести туда публикации, которые нахожу удачными, и почти принудительно из-за устройства площадки перечитал их. По итогу некоторые обновил. Например, про герменевтику философослопа.   Еще редакторская натура проснулась при загрузке работ про нейросети, на которых я задумал заострить внимание. Из материалов о них собирается небольшой блок, который хочется закрепить как одну из точек входа в контент. Наравне с блоком из экскурсов в чужие системы (вроде текстов про Ролана Барта, про различие и различание, грядущей заметки про фрагмент) и с блоком из очерков вокруг «Эстетики распада». Может, когда-нибудь они послужат дверьми для новых читателей. Пока же мне пришлось вернуться к написанному и довести эти заметки до удовлетворительного состояния.   Возвращение к теме нейросетей дало толчок к поиску свежих новостей. Посмотрел про Докинза и Клауде, понаблюдал за популяризацией метафоры «зеркала». Сетевая прогулка также привела к открытию ранее незнакомого мне имени — Сергей Карелов. Это обладатель крупного канала в телеграме, на дзене, бусти и патреоне. Можно сказать, целой налаженной индустриальной машины с кликбейтным названием для самой широкой аудитории — «Малоизвестное интересное». Ну и конечно с пейволами.   Прочитал его последний пост, (https://t.me/theworldisnoteasy/2466) посмотрел, куда и на что ведут ссылки. До погружения в материалы, на которые перенаправляет обильная навигация поста, я был в сомнениях. Внутри проснулось знакомое мне чувство подозрения, пока еще силуэт мыслей, предчувствие, что передо мной нечто проблемное само по себе.   Попытка разобраться в собственных интуициях вылилась в набросок претензий из довольно банального круга тем: внутренний опыт и «Я», вывод, становящийся точкой отсчета для рассуждений, язык и его фантазмы. Пройдя через круги поставленных по соседству статей и публикаций, я укрепился во мнении, к которому прибавились обертоны раздражения.   Меня раздражает мода говорить о нейросетях так, будто где-то внутри матрицы весов уже шевелится новое «Я» и рождается многоярусное видовое древо метафизической живности. Похожее, более смиренное перед действительностью чувство вызывает подготовленная растиражированность объяснений, что хорошо продаются и на которые есть запрос у массового читателя.   Сухая математика скучна, как и архитектура трансформеров (вид нейросетевой архитектуры). Кроме того, анализ на их территории выводит в поле, закономерно лежащее за порогом специального языка, который воспринимается как барьер, что нам часто неохота преодолевать. Тем более пока есть смыслы, которые щекочут нервы и создают ощущение причастности к тайному знанию. Наконец, притягательной ценностью обладает опыт, организованный так, будто читатель заглядывает за завесу новой онтологии.   У меня сложилось впечатление, что массовый человек оценивает теорию ИИ или социальный процесс по критерию потребительской пригодности. Вместо истинности и объяснительной силы на первый план выходит эстетическая оптика: что интересно, а что навевает скуку, что комфортно, а что пугающе трудно.   На передний план пробираются идеально продаваемые и расходящиеся модели описания, способные заворачивать сухую математику технологий в обертку мистического откровения или триллера. Попытки сказать, что предмет разговора — распределение вероятностей, обучение, веса, данные, внутренние представления и устойчивые режимы генерации, воспринимаются как скучное занудство, истребляющее магию.   Унылая правда такова, что истина редко обязана быть интересной с самой общей позиции, откуда её пытаются рассмотреть. Реальность редко подыгрывает человеческому желанию жить внутри драматичного круговорота идей и прозрений. Я придерживаюсь точки зрения, что в центре вышеназванного стоит проблема языка.
182
20
#memes
#memes
320