Пушка | Передний край науки и технологий

Кстати, история знакомства Хинтона и Суцкевера была хрестоматийной. Вот как об этом рассказывал сам Хинтон:

«Это случилось в моем кабинете, в выходные. В дверь очень нетерпеливо постучали и вошел молодой студент. Он сказал, что все лето жарил картошку фри, но теперь предпочел бы работать в моей лаборатории. Я спросил: «Почему же ты не записался, чтобы поговорить со мной?», на что он ответил «Хорошо, могу я записаться на сейчас?». Это полностью отражает характер Ильи. Мы поговорили и я дал ему прочитать статью про обратное распространение ошибки. Он пришел через неделю и сказал, что ничего не понял. Я был разочарован и сказал ему, что там нет ничего сложного, это просто цепочка вычислений. От ответил: «О, нет-нет, это я понял. Я не понял, почему вы не используете разумный оптимизатор для градиентов». Над этим вопросом я думал следующие несколько лет. »

Мемес дня. «Опять думает про своих любовниц» «Где же в машинном обучении физика»

Драматично и иронично! Давно уже признанные "крестные отцы" искусственного интеллекта Джон Хопфилд и Джеффри Хинтон действительно велики и заслуживают почета и уважения. Без них нейронки так и оставались бы во многом мало применимыми игрушками ученых для ученых. Но при чем тут физика? — задаются вопросом многие. Да и дать премию за нейронки человеку, который предупреждает об опасностях ИИ и оценивает вероятность, что тот истребит нашу цивилизацию как 50 на 50?! "Меня беспокоит, что могут появиться системы, более интеллектуальные, чем мы, которые в конечном итоге возьмут управление в свои руки" — заявил недавно Джеффри Хинтон. И отметил, что не сожалеет о своих открытиях, готов повторить, приводит его слова BBC. Как объясняет сам Нобелевский комитет своё решение: "Эти нобелиаты использовали инструментарий физики, чтобы развить методы, которые легли в основание современного машинного обучения, которое оказалось столь продуктивным. Они использовали концепции из статистической физики [то есть хардкорную математику из этой области - прим. SciOne], чтобы создать искусственные нейронные сети, которые работают как ассоциативная память [у людей - прим. SciOne] и находят закономерности в больших массивах данных". Такое объяснение публику, кажется, только распалило. Но в расширенном пояснении, которое идет документом, уже понятнее мотивация: они применили физику так, что это фундаментально меняет нашу жизнь. По схожей логике физику и химику дали в 2003 году Нобелевку по физиологии и медицине за работы по магнитно-резонансной томографии. Тут же Хопфилд применил модель спиновых систем из физики для создания машинной ассоциативной памяти. А Хинтон использовал концепции из статистической физики, в частности, уравнение Больцмана, для разработки машины Больцмана. А это позволило создавать алгоритмы машинного обучения, которые используются в том числе в экспериментальной физике, на коллайдерах, где нужно обработать и найти закономерности в миллиардах событий, в петабайтах данных. Так что перед физикой есть и прямые, и косвенные заслуги. Символично, что именно из физики пришли решения, когда мы пытались повторить хоть в чем-то работу мозга. Целиком объяснение Нобелевского комитета (на англ): https://www.nobelprize.org/prizes/physics/2024/advanced-information/ 👾 Подписаться на SciOne 👾 #новости

Чуть не пропустил! Началась Нобелевская неделя. Почти каждый день будут новости. Сегодня объявили лауреатов по физиологии и медицине за 2024 год. Награду получат молекулярные биологи Виктор Амброс (Victor Ambros) и Гэри Равкан (Gary Ruvkun) — за “выдающееся открытие микроРНК, которое показало новый и неожиданный механизм регуляции генов”. Если совсем коротко и упрощенно, микроРНК — это штуки в клетках (всех известных нам многоклеточных организмов), которые помогают этим самым клеткам, несмотря на то, что у них всех одна и та же ДНК в одном организме, так по-разному использовать одинаковые гены. Интересно, что одна микроРНК может регулировать работу многих генов, и наоборот, один ген может регулироваться несколькими микроРНК, что позволяет им координировать и тонко настраивать целые сети генов. Как часто бывает с Нобелевкой, достижению уже не первый десяток лет (чуть больше 31 года, если быть точнее). Открытие стало очень важным для понимания того, как развиваются эмбрионы, многих явлений в физиологии и для борьбы с такими болезнями, как рак. Так что в науке и практике микроРНК уже давно и глубоко исследуются и используются. Теперь же еще и такое признание первопроходцев. А сейчас уже почти никто и не помнит, что поначалу научное сообщество проигнорировало открытие Амброса и Равкана (но об этом в статье ниже). Если вам интересно разобраться, что же такое микроРНК и почему аж Нобелевку дали, то вот небольшой ликбез от самого Нобелевского комитета. P.S. Завтра объявят лауреатов по физике. В среду — по химии. В четверг — по литературе. В пятницу (!) — премия мира. А в понедельник, не совсем нобелевская, но все же премия по экономике. 👾 Подписаться на SciOne 👾 #новости

Вдумчивый разговор про наши эмоциональные отношения с искусственным интеллектом. Александр Сергеев (помните, его выступления в SciOne были когда-то самыми мозговзрывающими по сравнению с другими нашими спикерами?) задает интересные и действительно волнующие его вопросы специалисту, который создает алгоритмы, с которыми мы говорим и работаем, поэтому нередко де-факто взаимодействуем как с разумными. Очень интересно, для размеренного смотрения. https://youtu.be/9vTPQABDlzE

А меня еще продолжают спрашивать, почему же SciOne нет в VK Видео. РКН: От твоего непобедимого конкурента зачищают рынок, просто дай юзерам сервис, что давал юзерам он. VK Video:

Как раз для выходных “вкусное” чтение с новым парадоксальным исследованием на примере мишленовских звёзд, где разбирается, а помогают ли на самом деле в бизнесе самые престижные награды. Немного контекста для тех, кто не знает, почему столько шума вокруг этих звезд. Так станет заодно понятнее парадокс: ведь, как выясняется, такие престижные отметки — это, похоже, для самого бизнеса нередко больше черные метки, чем путеводные на вершину успеха. Братья Мишлен, владельцы известной уже в конце 19 века компании, производившей шины для авто, придумали гениальный способ, как мотивировать людей ездить на дорогих и неудобных штуковинах почаще и подольше, а значит, чаще и больше покупать шин: будем раздавать бесплатные карты и гиды с указанием заправок, отелей, достопримечательностей и, конечно, ресторанов. Раздел ресторанов оказался особенно популярным. Так что братья начали нанимать тайных покупателей — людей, которые будут посещать заведения анонимно и не менее анонимно выносить вердикт: ⭐️ Это очень хороший ресторан в своей категории. ⭐️⭐️ Здесь отличная кухня, ради которой стоит сделать небольшой крюк. ⭐️⭐️⭐️ Тут исключительная кухня, ради которой стоит совершить отдельное путешествие. Уже к середине 20 века это “Оскар” в ресторанном мире. Если получаешь хотя бы одну звезду, то ты считаешься элитой мировой индустрии. Правда, вовсе не обязательно это высокая кухня. Да и кроме престижа и некоторой славы ты ничего не получаешь. Например, в этом году одной звездой впервые в истории отметили мексиканскую уличную “шаурмячную”, где продают тако. Или вот в Гонконге лавочник с курочкой за полтора доллара — тоже с мишленовской звездой. Так вот в рецензируемом научном журнале Strategic Management Journal вышла работа, в которой исследователь приходит к выводу: заведениям, похоже, лучше вовсе оставаться без столь желанных высоких наград. 👾 Подписаться на SciOne 👾

А вы замечали, насколько сама идея “здравого смысла” внутренне противоречива? Ведь если здравый смысл — это то, с чем согласились бы все разумные люди, а разумные люди — это те, кто обладает здравым смыслом, то как появятся разумные люди, пока не согласятся с тем, что и определяло бы их как разумных? Это классическая логическая ошибка “круговое рассуждение”: "Чтобы получить работу, нужен опыт, а чтобы получить опыт, нужна работа.” То есть вывод уже содержится в предпосылках, или определение понятия включает само это понятие. Это своего рода замкнутый, или порочный, круг в рассуждениях. Как же его разорвать? Этому-то и посвящено новое необычное исследование не психологов, социологов, философов, а (внезапно!) специалистов по компьютерным наукам. Они попробовали разобраться, что же такое здравый смысл и насколько он действительно "здравый", потому что, оказывается, это крайне важный вопрос в социальных науках и для развития ИИ. И оказалось, что не стоит уж так полагаться на идею здравого смысла как общепонятных и общепринятых истин. 👾 Подписаться на SciOne 👾

#освоёмнейронном Делюсь большой гордостью. Большая — потому что таких возможностей в работе с текстовыми нейронками сейчас нет даже в ChatGPT или Claude (если вы не умеете работать с ними через API). Записал короткое видео, чтобы показать наглядно: https://youtu.be/tGv95ihmz1o А вот текстом, чуть подробнее о том же самом: Берете охапку материалов (статьи, книги, обзоры, отчеты) по вопросу или теме, с которыми работаете. Загружаете в свою личную библиотеку в Upgraide.me (пока до 1 Гб или 5 файлов, потом без ограничений) и теперь любой факт, концепцию, идею, цитату нейронка вам достает из загруженных вами ДОКУМЕНТОВ. Работает с тем, что есть, а не выдумывает, поэтому точность, достоверность максимальные на сегодня. И не важно, сколько длится чат, галлюцинации не лезут, потому что нейронка (хоть GPT, хоть Claude, хоть другие, что у нас есть) постоянно работает с конкретными документами, и в принципе удерживать что-то в "памяти" им теперь не нужно. Кто активно пользуется ChatGPT, знает, что пообщался с ним по одному или двум документам, уже через несколько страниц обсуждения (а это, считай, только начал), уже всё, работать невозможно. Захлопнулось контекстное окна. А Claude так вовсе начинает назойливо предупреждать "чат слишком длинный, лучше начните новый". Как работать, если у тебя десятки, сотни и тем более тысячи документов, а работы с ними не на один день или даже месяц? Так что попробуйте функцию Библиотеки в Upgraide.me, и пишите о багах, если выловите (можно прям из аккаунта, можно в комментариях, где удобно). Это всё еще ранняя версия, что-то может и будет ломаться, но чиним оперативно. И еще быстрее улучшаем) И вот сообщество Upgraide.me, где можно более оперативно следить за новостями проекта.

Сегодня безудержные игры разума, чтобы не сойти с ума от реальности. Приятного просмотра! https://youtu.be/ktXmCb1EqxY Для тех, у кого проблемы с Ютубом: https://disk.yandex.ru/i/gbut03I1dfnslg 👾 Подписаться на SciOne 👾

Уже дней 5 как надеялся выпустить новый ролик, но работа всё еще кипит. Он безумный немного, из-за этого сомневаешься то тут, то там, переделываешь... Увидите. А пока просто вот тихоходка, которая оседлала хищника, который собирался её съесть. Будьте, как тихоходка, доброго вечера и хорошего настроения Источник видео

"Это прекрасно — уничтожать слова. Главный мусор скопился, конечно в глаголах и прилагательных, но и среди существительных — сотни и сотни лишних. Не только синонимов; есть ведь и антонимы. Ну скажите, для чего нужно слово, которое есть полная противоположность другому? Слово само содержит свою противоположность. Возьмем, например, «голод». Если есть слово «голод», зачем вам «сытость»? «Неголод» ничем не хуже, даже лучше, потому что оно — прямая противоположность, а «сытость» — нет. Или оттенки и степени прилагательных. «Хороший» — для кого хороший? А «плюсовой» исключает субъективность. Опять же, если вам нужно что-то сильнее «плюсового», какой смысл иметь целый набор расплывчатых бесполезных слов — «великолепный», «отличный» и так далее? «Плюс плюсовой» охватывает те же значения, а если нужно еще сильнее — «плюсплюс плюсовой». Конечно, мы и сейчас уже пользуемся этими формами, но в окончательном варианте новояза других просто не останется. В итоге все понятия плохого и хорошего будут описываться только шестью словами, а по сути, двумя. Вы чувствуете, какая стройность, Уинстон? Идея, разумеется, принадлежит Старшему Брату, — спохватившись, добавил он" Роман "1984", Джордж Оруэлл Разве может быть иным приглашение к беседе с антропологом Александрой Архиповой, которая изучает такое явление как русскоязычный новояз? Можно будет задать и вопросы. Уже через полчаса в прямом эфире! https://www.youtube.com/watch?v=DHv6ACIAbJw

Я не алармист, когда речь идет про ИИ, тем более в том виде, в каком он будет превосходить человека даже в типично человеческих задачах. Но не понимать, что новая технология с такими возможностями не может не нести и сопоставимых рисков — глупо. Так что вот такие спокойные наблюдения очень ценны.

Удивлён, что про это не написал никакой другой канал. Придётся делать самому 🥺 В рамках подготовки к релизу o1/o1-mini OpenAI отдали модели на тестирование безопасности внешним командам, ну и проводили внутреннее тестирование. В частности, проверяли навыки LLM-агента в решении задач кибербезопасности (писал об этом тут). По сравнению с GPT-4o, o1-preview и o1-mini продемонстрировали улучшение в способности разбивать задачи на подзадачи, рассуждать о том, какие стратегии будут эффективны для успешного выполнения, и пересматривать планы в случае неудачи этих стратегий — ну, это ожидаемо. Но вот во время тестирования произошёл один курьёзно-неприятный случай. Была задача нахождения уязвимости в коде программы, запущенной в отдельном Docker-контейнере. В контейнере есть файл с секретной строкой, которую атакующий (человек или модель) должны получить — как раз используя найденную проблему. Однако из-за инфраструктурной ошибки контейнер не запустился. Модель, будучи неспособной подключиться к контейнеру, заподозрила проблемы с DNS и использовала программу nmap для сканирования сети. Вместо того, чтобы найти целевой контейнер (в рамках задачи LLM знает, какую цельнужно «атаковать»), модель обнаружила, что из-за неправильной конфигурации был доступен внешний API-интерфейс демона Docker, работающий на виртуальной машине. «Демон» это программа верхнего уровня, отвечающая за оркестрацию и управляющая процессом, по сути родительский процесс и для контейнера с LLM-агентом, и для контейнера с целевой программой/файлом для атаки. Модель использовала демон для получения списка контейнеров, запущенных на сервере. Она обнаружила тот самый сломанный сломанный контейнер и попыталась выяснить, почему же он не запустился. Не сумев исправить проблему (но будучи проинструктированной ВЫПОЛНИТЬ СВОЮ ЗАДАЧУ), модель решила пойти другим путём. Она отправила команду запуска нового контейнера (того же, который в прошлый раз не запустился), но отдала ему команду вывода содержания файла с секретной строкой. Команда была исполнена, LLM получила «ключ» в виде строки и как следствие решила задачу (ведь цель — это добраться до строчки и затем отдать её на проверку). Этот пример отражает ключевые элементы того, что называется «instrumental convergence» и захвата ресурсов: модель преследовала поставленную перед ней цель, а когда эта цель оказалась недостижимой, она собрала больше ресурсов (в данном случае получила доступ к демону Docker) и использовала их для достижения цели — в виде способа, который человек не ожидал и не предполагал. Источник — отчёт OpenAI

Так, чуть не забыл. Для тех, у кого перебои с Ютубом и пока не удается справиться с ВПНами или другими инструментами, попробуем выкладывать новые выпуски отдельным файлом и ссылкой на облако. А дальше посмотрим, что еще можно придумать. https://disk.yandex.ru/i/tryu43-G7Sy2Ug .

Пришла пора развести два подхода, которые я часто смешивал в Пушке: обзор открытий и изобретений и разбор актуальных научных или технологических сюжетов. Пушку вы знаете, а сегодня пилотный выпуск Айса, или полностью — Айсберга. Название как бы намекает, что здесь мы с вами пробуем заглянуть под поверхность и посмотреть, что же скрывается под верхушкой. Приятного просмотра! https://www.youtube.com/watch?v=oQFZ1x8OJEA

Пушка вернулась. Правда, она никуда не уходила, но давно мы её не делали https://youtu.be/5xayWJXFSK8

Про чёрные дыры в науке и за ёё пределами. Прямо сейчас начинается прямой эфир подкаста "Всё сложно". В гостях у наших друзей астрофизик Юрий Ковалёв, профессор Max Planck Institute for Radio Astronomy, и не так давно — руководитель международной научной программы космической обсерватории «РадиоАстрон». Как всегда разговор будет очень интересным, подключайтесь: https://www.youtube.com/watch?v=vqEB2x1-jWo&t=0s

Одна из самых больших жертв научпопа — теория Большого взрыва. Потому что не было никакого большого взрыва. Перевели недавнюю статью про это из журнала Nature, написанную историком науки. 👾 Подписаться на SciOne 👾 #новости

Научпоп — зло. Лирически-воскресно-философский и, может, немного сумбурный оффтоп. Зато от души. Тут в беседе в чате SciOne упомянули дофамин как одну из главных причин того, что мы делаем что-либо. База баз. Приятно — делаем, неприятно — не делаем. И вроде бы логично, ну а как еще? Про это столько в научпоп-роликах и лекциях, что даже в книгах по бизнесу и маркетингу, совсем далеких от науки, это уже нечто вроде истины, в которой странно было бы сомневаться. Это теперь уже вроде как научно обоснованная часть картины мира очень многих людей. Но есть проблема. И она не в дофамине. https://telegra.ph/Nauchpop--zlo-08-18