Канал Кольца

https://naked-science.ru/community/959037?utm_source=yxnews&utm_medium=desktop #Психоновости

https://www.gazeta.ru/science/news/2024/05/23/23077093.shtml?utm_source=yxnews&utm_medium=desktop #Психоновости

Опубликованная вчера Anthropic работа «Картирование разума большой языковой модели» [1] скромно названа авторами «значительным прогрессом в понимании внутренней работы моделей ИИ» Во-первых, это не значительный (количественный) прогресс, а революционный (качественный) прорыв в понимании работы разума. Во-вторых, с большой вероятностью, это прорыв в понимании механизма не только машинного, но и человеческого разума. В-третьих, последствия этого прорыва могут позволить ранее просто непредставимое и даже немыслимое – «тонкую настройку» не только предпочтений, но и самой матрицы личности человека, как это сейчас делается с большими языковыми моделями В посте «Внутри маскирующегося под стохастического попугая ИИ таится куда боле мощный ИИ» я писал об открытии исследователями компании Anthropic, сделанном ими в рамках проекта «вскрытия черного ящика LLM» [2] Осенью прошлого года было установлено, что: • внутри нейронной сети генеративного ИИ на основе LLM симулируется физически не существующая нейронная сеть некоего абстрактного ИИ, и эта внутренняя нейросеть куда больше и сложнее нейронной сети, ее моделирующей • «виртуальные (симулируемые) нейроны этой внутренней сети могут быть представлены, как независимые «функций» данных, каждая из которых реализует собственную линейную комбинацию нейронов • механизмом работы такой внутренней нейросети является обработка паттернов (линейных комбинаций) активаций нейронов, порождающая моносемантические «субнейроны» (соответствующие конкретным понятиям) Из этого следовало, что любое внутреннее состояние модели можно представить в виде нескольких активных функций вместо множества активных нейронов Точно так же, как каждое английское слово в словаре создается путем объединения букв, а каждое предложение — путем объединения слов, каждая функция в модели ИИ создается путем объединения нейронов, а каждое внутреннее состояние создается путем объединения паттернов активации нейронов. Та работа была 1м этапом проекта «вскрытия черного ящика LLM», проводившегося на очень маленькой «игрушечной» языковой модели 2й же этап, о результатах которого мой рассказ, «вскрыл черный ящик» самой большой и совершенной модели компании Claude 3.0 Sonnet Результаты столь важны и интересны и их так много, что читайте сами Тут [1] есть и популярное, и углубленное, и видео изложение Например, авторы научились: 1. Находить внутри «черного ящика» модели не только конкретные моносемантические «субнейроны» (соответствующие конкретным понятиям, типа «Мост Золотые Ворота»), но и поиском «близких» друг другу функций обнаруживать в нейросети изображения (это мультимодальность!) острова Алькатрас, площади Гирарделли, команды «Голден Стэйт Уорриорз», губернатора Калифорнии Гэвина Ньюсома, землетрясения 1906 года и фильма Альфреда Хичкока «Головокружение», действие которого происходит в Сан-Франциско Это очень похоже на эксперименты нейробиологов, обнаруживающих в нашем мозге мультимодальную связь нейронов, связанных с понятиями, словами и образами объектов Но там, где гиперсетевые теории мозга (типа когнитома Анохина) упираются в огромные трудности экспериментальных практических манипуляций (измерений) на уровне нейронов, в «черных ящиках» LLM все можно легко «измерить» 2. Манипулировать функциями, искусственно усиливая или подавляя их. Что приводит (если стоите, лучше сядьте) к изменению матрицы «личности» модели Например, усиление роли функции «Мост Золотые Ворота» вызвало у Клода кризис идентичности, который даже Хичкок не мог себе представить Клод стал одержимым мостом, поминая его в ответ на любой вопрос — даже в ситуациях, когда он был совершенно неактуален Если такое будут делать с людьми, то все примут Ислам 1 https://www.anthropic.com/news/mapping-mind-language-model 2 https://t.me/theworldisnoteasy/185

Искусственный интеллект нуждается в законодательном регулировании, как и любое технологическое новшество. Об этом заявил глава комиссии Совфеда по взаимодействию со СМИ Алексей Пушков в своем Telegram-канале. По его словам, на этой неделе комиссия проведет заседание с привлечением ведущих экспертов, посвященное ИИ. Они обсудят вопрос законодательного регулирования нейросетей. Сам Пушков уверен, что ИИ нужно регулировать так же, как и социальные сети, интернет-платформы. Подписывайся на АиФ

ИИ от Google феерически облажался На днях Google представила новую версию своего ИИ, которая совмещает функции классического помощника, как все чат-боты, и поисковой системы. На беду, в презентации говорилось что-то вроде «если вам нужно срочно разобраться, что с вашим авто, ИИ поможет». Один пользователь решил проверить, и пожаловался боту, что клаксон не издает звука. В ответ ИИ посоветовал «заменить жидкость поворотников». Э? Даже я знаю, что такой жидкости не существует. Стали копать, и выяснили, что когда-то, на каком-то лохматом форуме шутник дал такой совет «чайнику», ИИ это выхватил и выдал за откровение инженерной мысли. За несколько дней таких и других ляпов накопилось много, а причина в том, что ИИ берет данные из Сети, не понимая, где шутка, где не шутка, где достоверный источник, а где нет. И эта проблема еще какое-то время с нами побудет. Обучение ИИ становится главной задачей, и именно по этой причине Microsoft на днях представил опцию, когда все ваши действия на ноуте используются для обучения ИИ. Другое дело, каким надо быть дураком, чтобы поставить себе такую опцию. Ну, Microsoft поставит сам, нас не спросит. С вами был научный журналист Евгений Арсюхин. Подписаться на КП Наука Мой личный канал – там можно задать мне вопросы Пишем о науке на KP.RU - серьёзно, просто и иногда весело! @kpnauka

Красавец мужчина мальчишка: появился первый кадр с ПОХУДЕВШИМ Картманом из «Южного Парка». Преобразился Эрик благодаря «Оземпику» — лекарству, что сейчас хайпит на Западе. Спецвыпуск с ним покажут 24 мая. Теперь мы видели всё. 🙂 Не баг, а фича

Очень приветствуем, когда такие таланты хотят возвращаться на родину.

Это комментарии Андрея Белевцева о возвращении Ильи Суцкевера в Россию! Понятнее ситуация от этого не стала. 🙂 Не баг, а фича

Today we report a significant advance in understanding the inner workings of AI models. We have identified how millions of concepts are represented inside Claude Sonnet, one of our deployed large language models This is the first ever detailed look inside a modern, production-grade large language model This interpretability discovery could, in future, help us make AI models safer https://www.anthropic.com/news/mapping-mind-language-model