Новости сообщества LessWrong

Котятки, тут такое. Пока разбиралась, куда самой податься на финансирование по AI safety, я свела все открытые гранты, фонды, compute-кредиты и fellowships в одну большую карту. Получилось прилично - от «горит, дедлайн через неделю» до «откроется осенью, готовься заранее». Раз уж все равно собрала - делюсь. Пусть кому-то повезет )) Что горит прямо сейчас: grantmaking.ai — раунд $1M ($5k–$50k), приоритет 13 июля / закрытие 27 июля, через Manifund Heron AI Security — 8 июля (без стипендии, для кибербез-специалистов) GovAI DC и UK Winter Fellowship 2027 + ARENA 9.0 — дедлайн 12 июля PIBBSS Winter Fellowship — 20 июля, $3k/мес + жилье (Кейптаун) PIBBSS × Iliad Fellowship — 27 июля, $6k/мес (Лондон) DeepMind × Schmidt Multi-agent AI Safety call — 8 августа, пул до $10M Плюс десятки rolling-грантов (LTFF, Coefficient Giving, Manifund, SFF), compute-кредиты (TRC, Prime Intellect, fal.ai, HF) и осенние программы (MATS, SPAR, CHAI, AI Safety Camp). Вся карта тут, с суммами, дедлайнами и ссылками (живой документ, буду обновлять) Дисклеймер: суммы и дедлайны меняются, перед подачей сверяйтесь на официальной странице. Санкционные, визовые и налоговые нюансы у каждого фонда свои - уточняйте отдельно.

⭐️AI Safety × Philosophy Reading Group Онлайн группа чтения 📍Где: онлайн 🗓Когда: июль - сентябрь 2026 ⏰Дедлайн подачи: 15 июля Англоязычная группа чтения материалов по философским основам AI Safety: x-риски, alignment, ценности, агенты, сознание, control problem и good futures. Программа рассчитана на 8 недель. Формат — еженедельные встречи на 1,5 часа. Материалы включают статьи, эссе, главы книг и видео. Иногда будут необязательные к посещению сессии с исследователями: Q&A, дискуссии или дебаты. Что предоставляют: ⭕️подборку материалов по темам AI Safety × philosophy, ⭕️группу на 6-7 человек с фасилитатором, ⭕️доп. встречи с исследователями. Что делать в рамках программы: ⭕️читать материалы заранее (подготовка к сессии обычно занимает до 3 часов), ⭕️участвовать в еженедельных обсуждениях. Кого ждут (требования): ⭕️всех интересующихся концептуальными компонентами того, что обычно является техническими исследованиями. 📌 Набирают участников и фасилитаторов. Так, если вы искали, где бы получить опыт фасилитации на английском языке (без которого обычно не берут на оплачиваемые позиции фасилитаторов), то обратите внимание. 🔗Подробности: тут 🔗Подать заявку: тут

Читательский клуб, где обсуждаются разные книги, так или иначе связанные с популярными на LW темами, переходит к следующей книге. Ей станет книга D. Dennett, "From Bacteria to Bach and Back". Обсуждение начнётся сегодня, 22 июня, в 20:30 по московскому времени. Начнём с введения (Preface) и главы 1 "Introduction". О том, как подключиться, и прочие подробности будет в группе https://t.me/minireading

Русский перевод новой книги Юдковского уже в продаже.

🔵 AGI Strategy Вводный курс по сейфети от BlueDot Impact 📍Где: онлайн, Zoom 🗓Когда: 29 июня - 3 июля (интенсив), 6 июля - 9 августа (part-time) ⏰Дедлайн подачи: 21 июня (интенсив), 28 июня (part-time) Это стартовый в сетке регулярных курсов от BlueDot Impact. В программе курса 5 встреч, пройти их можно либо в формате интенсива (встречи каждый день) либо в формате part-time (встречи раз в неделю). У этого курса есть и другие даты запуска. Что предоставляют: ⭕️материалы для чтения и письменные задания, ⭕️обсуждения в группе с фасилитатором, ⭕️доступ к community Slack (ради которого курсы BlueDot обычно и проходят), ⭕️сертификат по окончании курса, ⭕️возможность дальше податься на Technical AI Safety, AI Governance, Biosecurity. Что делать в рамках программы: ⭕️читать материалы, ⭕️выполнять короткие упражнения (письменно), ⭕️участвовать в 2 часовых Zoom встречах. Кого ждут (требования): ⭕️Курс подходит для новичков, но ждут обоснования мотивации и готовности к построению карьеры в сейфети. 📌Курс бесплатный и работает по модели pay what you want. 🔗Подробности: тут 🔗Подать заявку: тут

Новая книга Юдковского и Соареса об опасностях искусственного интеллекта ("Если кто-то его создаст — все погибнут") скоро выйдет на русском языке. В некоторых интернет-магазинах уже доступен предзаказ. https://www.chitai-gorod.ru/product/esli-kto-to-ego-sozdast-vse-pogibnut-3162997 https://book24.ru/product/esli-kto-to-ego-sozdast-vse-pogibnut-8817799/

Новость для любителей аудиокниг. Сергей Васильев озвучил рассказ "Доброта к родственникам", про который я писал выше. https://www.youtube.com/watch?v=vq7mNZDFuVE

Пётр Гамбарян перевёл рассказ "Kindness to Kin" пользователя solguard из сабреддита r/HFY. Это история о контакте между цивилизациями в далёком будущем с рассуждениями об эволюции этики. Часть 1: https://telegra.ph/Dobrota-k-rodstvennikam-moj-perevod-Kindness-to-Kin-by-solguard-CHast-I-04-30 Часть 2: https://telegra.ph/Dobrota-k-rodstvennikam-moj-perevod-Kindness-to-Kin-by-solguard-CHast-II-04-30 Оригинал: https://www.reddit.com/r/HFY/comments/lom9cb/kindness_to_kin/

Есть вещи, о которых мы даже не подозреваем | Брайан Томасик Порой кажется, что сторонники эффективного альтруизма одержимы «квантифицированной эффективностью»: метриками, показывающими результативность чего-либо — будь то QALY на доллар, управление временем, результаты опросов или оптимизация диеты и физических упражнений. Квантификация полезна и часто может выявить серьёзные пробелы, которые можно упустить, если применять только качественное, а не количественное мышление. Также квантификация может привести к выводам, которые не были очевидны до обработки данных. Цифры позволяют проводить гораздо больше вычислений, чем способен делать наш мозг сам по себе. В то же время я опасаюсь, что некоторые сторонники эффективного альтруизма слишком сильно увлекаются квантификацией и перестают видеть лес за деревьями. Стоит помнить принцип «мусор на входе, мусор на выходе»: метрики хороши лишь настолько, насколько хороши те рассуждения, на основании которых мы решили, что именно эти метрики стоит оптимизировать. Кроме того, они могут упускать какие-то ключевые соображения. Чрезмерно оптимизируя что-то по узким или даже довольно широким метрикам, вы можете приносить в жертву какие-то важные элементы ценного, которые просто не измерялись. Оптимизация по метрике может создавать иллюзию прогресса, в то время как более широкий взгляд на ситуацию показал бы, что всё гораздо более размыто, чем казалось. Порой качественное, масштабное мышление человеческого мозга лучше справляется с подобными макроуровневыми проблемами, чем другие из доступных нам инструментов. Холден Карнофски обсуждает этот и другие связанные вопросы в эссе «Passive vs. rational vs. quantified». Одна из областей, в которых оптимизация по метрикам сталкивается с серьёзными трудностями, — это открытие, выражаясь словами диснеевской Покахонтас, «вещей, о которых ты даже не подозревал» [things you never knew you never knew]. Непонятно, как вообще строить метрики для измерения тех аспектов проблемы, о которых мы ещё даже не подумали*. Если мы слишком сильно оптимизируем свои нынешние цели, мы можем упустить важность того, чтобы отступить на шаг назад и посмотреть на картину в целом. Суженный фокус — одна из нескольких проблем, о которых говорят авторы статьи «Goals Gone Wild: The Systematic Side Effects of Over-Prescribing Goal Setting». * См. такие понятия как «тяжёлая неопределенность», «неизвестные неизвестности», «чёрные лебеди» и «неведение» — прим. пер. Оригинал: Things you never knew you never knew (2013-2019) Перевод: К. Кирдан (добавлены ссылки) #Брайан_Томасик #эффективный_альтруизм

Леонид Хоменко написал серию постов про неявное знание и его важность в контексте работы с LLM. Когда мы хорошо что-то знаем или умеем, мы часто забываем, как сложно нам было этому научиться. И когда мы пытаемся это своё знание кому-то передать, мы нередко недооцениваем количество информации, которое для этого необходимо. Леонид пишет об этом в контексте обучения и в контексте работы с LLM, однако мне представляется, что описанная идея актуальна много где. Я не во всём согласен с автором с точки зрения практических выводов, но само понятие выглядит довольно полезным инструментом.

Читательский клуб, где обсуждаются разные книги, так или иначе связанные с популярными на LW темами, переходит к следующей книге. В ближайшее время будет обсуждаться книга Кевина Симлера и Робина Хансона "Слон в голове" ("The Elephant in the Brain") - книга о неосознаваемых или скрытых по другим причинам человеческих мотивах. Робин Хансон в своё время вместе с Юдковским создал блог Overcoming Bias, от которого позже отделился LessWrong. Юдковский утверждал, что цинизм профессора Квиррелла из "ГПиМРМ" частично позаимствован у Хансона. Как я понимаю, в книге это будет заметно. Встречи проходят по понедельникам, онлайн, в Google Meet (но это может измениться). Начало в 20:30 по московскому времени (UTC+3). Подробности: https://t.me/minireading

🐉 Открыт набор на Technical AI Safety курс по оценке LLM: подходы, бенчмарки и методология Evals for AI Safety — это методология измерения качества, надежности и безопасности ИИ-систем. В условиях повсеместного внедрения языковых моделей в продакшн умение корректно оценивать их возможности и риски становится приоритетным навыком. Как устроен курс: 🔘Анализ методологии evals на основе современных и классических статей в области 🔘Менторы из Apollo research, AI Lab SKOLKOVO, AIRI Institute, Яндекс и др 🔘Обучение в мини-группах, по 4-6 человек 🔘Формат: оффлайн в Москве или онлайн 🔘Ожидаемая нагрузка: 10-15 часов в неделю 🔘Стоимость: бесплатно, отбор на конкурсной основе Цель курса: Дать базу для начала карьеры в области оценки ИИ и понимание того, какую роль evals играет в AI Safety. Программа знакомит с основными концепциями evals, учит анализировать существующие бенчмарки, проектировать собственные оценки и разрабатывать дизайн экспериментов в области evals. Участники курса освоят Inspect AI (один из самых популярных фреймворков для оценки LLM). Кого мы ждем: 🔘Студентов STEM-направлений, планирующих карьеру в области ИИ 🔘IT-специалистов, желающих освоить навык тестирования языковых моделей 🔘Продвинутых и начинающих специалистов в области ML, которые хотят углубиться в методологию оценки моделей Подробнее: тут Подать заявку на участие в курсе, а также на фасилитацию можно до 22 февраля: тут Если вам интересно менторство, преподавание, сотрудничество с курсом или вы хотите задать вопрос, то напишите Юле

Для тех, кто больше любит смотреть или слушать. В конце июля прошлого года на канале Елизаветы Осетинской вышло большое интервью с Дмитрием Волковым, руководителем исследований в Palisade Research - некоммерческой организации, занимающейся вопросами безопасности ИИ. В интервью Дмитрий рассказывает, какую опасность потенциально может представлять искусственный интеллект, какие исследования на эту тему проводятся уже сейчас и что с этим можно делать. Интервью рассчитано на очень широкую аудиторию. https://www.youtube.com/watch?v=au5fU-nbZmc

Читательский клуб, где обсуждаются разные книги, так или иначе связанные с популярными на LW темами, переходит к следующей книге. Ей станет вышедшая в прошлом году книга Элиезера Юдковского и Нейта Соареса "If Anyone Builds It, Everyone Dies". Встречи будут проходить по понедельникам. Первая встреча пройдёт уже сегодня, начало в 21:00 по московскому времени (UTC+3). Однако, в дальнейшем встречи будут начинаться в 20:30 (по московскому времени). Группа читательского клуба в телеграме: https://t.me/minireading Встречи проходят в онлайне (в настоящее время в Google Meet, но это может меняться). Подробности в упомянутой группе.

Глеб Горов, автор телеграм-канала "Рациональный Гуманист", выложил запись эфира со Славой Меритон по теме "Честность против эффективности". Поскольку на выбор темы эфира в какой-то степени повлияли именно мои вопросы и замечания, немного напишу, что я по этому поводу думаю. Я полностью согласен с тезисом, что не имеет никакого смысла тратить слишком много времени на вычисление шансов на успех. Если можно что-то быстро "взять и сделать", и потенциальные потери в случае неудачи не выглядят существенными, то, конечно, проще всего "взять и сделать". Однако у меня сложилось впечатление, что участники эфира под оценкой шансов подразумевают что-то очень сложное и действительно малореалистичное. Я же скорее под оценкой шансов подразумеваю что-то вроде метода, упомянутого Элиезером Юдковским в "Лицензии героя":

Когда я задумываюсь о шансах, я считаю, что я согласился бы на пари 20:1 — в смысле, если бы вы предложили мне 20 долларов против одного ... И мне было бы неуютно заключать пари при ставке 4 доллара против одного. Возьмём примерно геометрическое среднее и получим шансы 9:1.

Очевидно, что это очень неточный метод, и тем более он будет неточным для человека, который не "калибровался" в этой сфере (т.е. не записывал ранее своих предсказаний на эту тему и не оценивал результаты). Однако мне представляется, что, во-первых, начать калиброваться в этой области никогда не поздно, и это будет скорее полезно. Во-вторых, мне представляется, что даже из самых несовершенных интуитивных оценок на эту тему можно делать какие-то выводы. Если вы ощущаете, что готовы поставить на свой успех 10 против 1, то, действительно, можно задаться вопросом, а почему вы ещё не начали свой путь к этому успеху. И наоборот, если даже ставка 1 против 10 вас как-то не вдохновляет, то стоит задуматься, а действительно ли успех того стоит. (На всякий случай отмечу, что на уровне интуитивной калибровки не стоит оценивать шансы меньшие, чем 1:100 - чтобы быть уверенным в своей калибровке на таких шансах, вам, очевидно, нужно никак не меньше 100 предыдущих наблюдений.) Также в порядке мысленного эксперимента можно задавать вопрос: а сколько бы поставил ваш лучший друг на ваш успех, если бы он был достаточно в курсе ваших дел и идей? И этот же мысленный эксперимент, с моей точки зрения, порождает вопросы к тезису про уверенность. Предположим, вы спрашиваете своего лучшего друга: "Какие, по-твоему, мои шансы на успех в деле Х?" И после получения ответа задаёте следующий вопрос: "А если я буду очень в себе уверен?" Я бы ожидал встретить здесь некоторое недоумение. С моей точки зрения, люди не умеют переключать уверенность в себе усилием воли. Конечно, можно проделать какие-то действия, которые уверенность в себе могут повысить. Они могут стать частью плана. Но в этом случае при оценке шансов на успех нужно уже оценивать не абстрактную "уверенность в себе", а конкретный план. Что же касается тезиса "если я буду оценивать свои шансы на успех, то я пойму, что они низки, и не смогу заставить себя этим заниматься", то здесь, с моей точки зрения, важно отметить, что "осмысленность" действия определяется не только тем, насколько высоки шансы. Если потенциальный выигрыш очень велик, а потенциальные потери - малы, то вполне осмысленно "ставить" и на довольно малые шансы. Очень много на эту тему написано, например, книге Джулии Галеф "Настрой разведчика" (неоднократно упомянутой в этом канале).

Анонс: Честность vs Эффективность. Эфир со Славой Меритон В последних постах я очень много говорил на тему инструментальной пользы уверенности. Некоторые преданные подписчики в комментариях справедливо замечали, что попытки «накачать» уверенность выглядят как самообман, искажающий карту реальности. Действительно, есть ощущение конфликта между Эпистемической честностью (видеть мир таким, какой он есть) и Инструментальной эффективностью (действовать так, чтобы побеждать). Чтобы разобраться, как это работает на самом деле, я решил позвать человека, который варится в контексте рациональности гораздо дольше меня и имеет свою позицию по теме. В ближайший понедельник, 22 декабря в 19:00 по МСК, мы поговорим со Славой Меритон. Слава — одна из заметных фигур в русскоязычном рациональном сообществе и у неё есть интересный взгляд на эту проблему, который немного перпендикулярен нашему спору. Её тезис примерно такой: пока одни ревностно высчитывают свои (обычно низкие) вероятности успеха, другие просто берут и делают. Поговорим о том: — Не становится ли сам подсчет вероятностей ловушкой, убивающей агентность? — Где проходит граница между «полезным игнорированием сложностей» и глупостью? — И насколько допустимо менять свою карту для того, чтобы быстрее добираться до пунктов назначения? Формат: Голосовой эфир прямо здесь, в канале. Мы начнем с диалога, но значительную часть времени уделим общению с вами. Так что приходите, задавайте вопросы, спорьте. Запись, конечно, тоже сделаем и потом выложим на YouTube, но лучше быть онлайн, чтобы поучаствовать в дискуссии. Ставьте напоминание: Понедельник, 22 декабря 19:00 МСК

⭐️ Sci.STEPS 2026 менторское сопровождение в исследовательских и карьерных задачах 📍Где: онлайн 🗓Когда: 2 февраля - 30 апреля 2026 ⏰Дедлайн подачи: 28 декабря Sci.STEPS дают менторскую поддержку под широкий набор задач, связанных с научными и карьерными треками. Обязательных встреч с ментором немного: программа скорее про коммитмент и помощь в приоритизации. Подходит, напрмер, если вам нужно податься в PhD или магистратуру, собрать нормальное резюме или наконец-то сесть за ресёрч, но оно всё откладывается. В этом сезоне много русскоговорящих менторов и много менторов из разных университетов мира. Если вы собираетесь поступать в один из них, то это хорошая возможность узнать про внутреннюю кухню академии в конкретном месте. Есть менторы по ML и AI Safety (их немного, но они есть, так что лучше заполнять заявки оперативно). Что предоставляют: ⭕️регулярные встречи с ментором ⭕️доступ к материалам и тематическим мероприятиям ⭕️поддержку сообщества Sci.STEPS Что можно делать в рамках программы: ⭕️формулировать и уточнять карьерные и исследовательские цели ⭕️работать над заявками в академию или индустрию ⭕️работать с ментором над навыками и проектами ⭕️участвовать в общих встречах и нетворкаться Кого ждут (требования): ⭕️Студентов, аспирантов и молодых специалистов, заинтересованных в научной или исследовательской карьере ⭕️Вы можете подаваться с safety проектом не только к профильному ментору по safety 📌 Один из авторов канала стал ментором в этом сезоне Sci.STEPS, так что AI Safety там тоже представлено. 🔗Подробности: тут 🔗Подать заявку: тут

⭐️The $10K Existential Hope Meme Prize: Конкурс мемов и коротких видео 📍Где: Онлайн 💰Призы: 10 000 USD ⏰Дедлайн подачи: 23 ноября 23:59 AoE Мы описывали самые разные возможности в области ЕА и AI Safety, но эта пока самая неожиданная. Премия «Existential Hope» приглашает авторов со всего интернета представить свои самые вдохновляющие, мотивационные и воспевающие прогресс мемы или короткие видео о победе над экзистенциальными рисками, технологическом будущем, глобальном сотрудничестве итд. 💰Автор лучшего мема получит приз в размере 10 000 долларов. Формат работ: ⭕️Мемы: Статичное изображение или GIF. ⭕️Видео: 2 минуты или меньше. ⭕️Короткий текст: твит или инфографика. Правила: ⭕️Запрещено платное продвижение контента выставленного на конкурс. ⭕️Вы должны быть правообладателем контента, который подаете на конкурс (чужие работы можно использовать только с согласия авторов). ⭕️Можно подавать несколько работ. ⭕️Можно подавать работу индивидуально, от команды или организации. Как поучаствовать: ⭕️Создайте свой мем или видео. ⭕️Опубликуйте его в социальных сетях. ⭕️Зарегистрируйте работу, указав ссылку на ваш пост через эту форму. ⭕️Ждите итогов конкурса. 🔗Убедиться, что мы это не придумали: тут 🔗Подать работу на конкурс : тут P.S. В жюри Стивен Пинкер...

Новый перевод на сайте - юмористическая зарисовка Скотта Александера "Жития святых рационалистов". Автор в шуточной форме рассказывает, что считается добродетелями с точки зрения сообщества. https://lesswrong.ru/5135

Как многие, наверное, уже знают, на этой неделе вышла новая книга Элиезера Юдковского "If Anyone Builds It, Everyone Dies". В связи с этим энтузиасты составили список способов, как можно заказать книгу для тех, кто живёт в России: https://docs.google.com/document/d/10Luo48j7XvFtwaN7YaLRsfwYI3lGsz1ki6nGD6qSAv4/view