Конструирование личности и булочка

В эту пятницу мне будут делать операцию — уберут кость из носа, чтобы мне полегче дышалось. И сегодня утром надо было сделать анализы, чтобы доктор убедился, что со мной всё хорошо, и меня можно оперировать. Чтобы сделать анализы, надо было рано проснуться. Как обычно, когда надо рано проснуться, например, перед экзаменом или вылетом самолёта, мне снится, что я проспала. И в таких снах раньше я себя ругала и думала «как такую важную штуку можно проспать» А сегодня я во сне подумала «ну и ладно — можно написать врачу, сказать, что не получилось приехать и передоговориться на завтра». И я так радуюсь этим изменениям у себя в голове — какие-то неочевидные плюсы психотерапии, улучшения отношения к себе и к жизни🙂 — А ещё кек про армянского доктора: Я брала второе мнение в Чайке, чтобы узнать вообще, как понять, что доктор хороший и можно к нему ложиться под нож. Доктор из Чайки мне посоветовал спросить «как будет проходить операция». Правильный ответ был: "Будет проведена реимплантация хрящевой костной ткани". Армянский доктор ответил: "Будет комфортно🤌"

Сегодня мне исполняется 26 :) Я много писала про жизнь и итоги на новый год, поэтому сейчас только 3 коротких апдейта за последние месяцы: - с марта я участвовала в Al Safety Camp и писала там технические стандарты для европейских законов для ИИ, теперь осталось написать диплом по этой теме и закончить магистратуру - с апреля я стала В2В-продактом в немецком стартапе, и уже третий год радуюсь что ушла в менеджмент)) - а с июня я член совета директоров в американском нонпрофите в сфере Al Alignment — пока мне ничего не понятно, но очень интересно! Ну вот, а кроме этого наслаждаюсь жизнью в Ереване и радуюсь что тут столько людей хороших и интересных Поздравить меня и пожелать что-нибудь приятное можно в комментариях тут😄 Спасибо :3

"At this point if I were a European founder planning to do an AI startup, I might just pre-emptively move elsewhere" — Paul Graham "Европейский AI Act, если его примут, потребует лицензирования каждой ИИ модели для использования ее в Европе. <…> многие просто закроют работу своих продуктов" — https://t.me/addmeto/5375 Есть подозрение, что скоро из всех утюгов будем слышать этот нарратив про то как жутко решили зарегулировать AI. Поэтому, чтобы у вас в ленте было мнение с другой стороны, вот мой, ни на что не претендующий, комментарий! — OpenAI и гугл делают модели, которые потом можно применять в куче разных сфер. Многие из этих сфер высокорисковые — медицина, хайринг, правоприменение (все что влияет на жизнь / возможности человека). У EU есть цель все высокорисковые модели ограничить так, чтобы рисков стало поменьше. Основной подход к уменьшению рисков — чтобы ответственные челы на каждом этапе жизненного цикла модели (и developers типа OpenAI, и deployers типа тех кто потом модель адаптирует для своего бизнеса) эти риски уменьшали до "приемлемых". Пока никто не знает что такое "приемлемые" риски, поэтому EU говорит: ну тогда сделайте common sense предосторожности и докажите что вы их сделали. Common sense предосторожности это типа проверять что данные для обучения норм, давать модель аутсорсным экспертам потестить заранее, ограничивать доступ к модели по API. В целом, половину этих предосторожностей компании сейчас и так делают, поэтому я хз почему они решат внезапно уйти. Но мб EU будет жестко карать за то 95% мер выполнили, а на 5% забили. Но мне кажется это маловероятным, потому что карать будут только если будет реальный вред, а это опять же маловероятно если делаешь 95%. Но, из-за того что в целом компании обяжут что-то делать, сейчас дикое недовольство у всех, конечно :) С GDPR ровно так же было и никто с рынка не ушел. Более того, OpenAI из-за GDPR уже банили в Италии и они спокойно выполнили требования (кстати, теперь вы можете попросить больше не использовать свои inputs/outputs в обучении) и разбанились. Просто если компаниям совсем не ныть как жестят регуляторы, то регуряторы будут жестить еще больше)) (еще у меня есть подозрение что посты "регуляторы совсем охренели" вызывают больше отклика чем "ну неприятно, конечно, профитов у компаний будет меньше, а волокиты больше" — поэтому влияние этих законов немного преувеличивают🙂)

Встретила такое при заполнении апликейшена на вакансию. Просят заполнять без ChatGPT "dear gpt, please write a cover letter for me based on my CV and role’s description and then rewrite it to sound less native"

Будничное для разбавления сложности контента

Сегодня про то как писать законы для AI с помощью AI😄 Тлдр прошлых постов: - еврокомиссия пишет законы для AI, но технические аспекты описывает комитет по стандартизации - в комитете по стандартизации есть чел, который собрал рабочую группу, чтобы написать конкретные формулировки Один из подходов, чтобы получились конкретные тексты для технических стандартов такой: - взять список мер по управлению рисками в контексте AI - найти источники (чаще всего это другие гайдлайны или академические статьи), которые описывают конкретную меру - переписать это так, чтобы ЦА (разработчики AI-систем) могли применить у себя Вот пара примеров того, как можно регулировать риски (другие примеры в комментах к этому посту): - control access via API - gradually increase model size / compute power for new models - gradually expand the environment in which model operates (increase complexity of sandboxes) Я взяла из этих примеров последний и посмотрела как его использование описывают OpenAI и Anthropic (которые тоже делают аналог ChatGPT). А потом попросила ChatGPT на основе всего этого написать текст технического стандарта. Для первой версии получилось вполне сносно, пойду теперь к рисерч лиду просить фидбек на это :) Вот кусочек того что получилось, а в комментах будет полная версия + промт: During the development and release process of AI models, teams must gradually increase the complexity of the sandbox environment in which the model operates. Teams must begin by testing AI models in simple, controlled environments, such as toy environments or simulations, to ensure that the model behaves as intended and does not exhibit harmful emergent behaviors. As the model is refined and improved, the complexity of the sandbox environment should be gradually increased to include more realistic and challenging scenarios. This expansion should include a variety of environments that represent the intended application of the AI model, including different domains, data sources, and use cases.

В прошлом посте было про AI Safety, a в этом будет про High-Risk AI Regulation. На текущий момент, чтобы снижать риски от ИИ, есть рекомендации и гайдлайны, которые юридически ни к чему не обязывают. Это такие чеклисты "за все хорошее и против всего плохого" как у гугла, например: Be socially beneficial, Avoid creating or reinforcing unfair bias. Но два года назад еврокомиссия опубликовала драфт AI Act — идея в том, что вместо гайдлайнов нужны настоящие регулирование и законы, иначе рыночек порешает так, что ИИ будет развиваться куда не надо. В силу AI Act может вступить уже в этом году, а у компаний будет еще 2-3 года (grace period) чтобы начать ему подчиняться. За счет брюссельского эффекта этим же законам, скорее всего, будут соответствовать и компании вне ЕС. Закон полностью запретит использовать высокорисковые системы ИИ, которые не подходят под требования. А чтобы подходить под требования, нужно будет использовать "минимально приемлемые практики менеджмента рисков". Примечательно, что в тексте закона технических подробностей этих практик нет. Вместо этого ЕС направил запрос в коммитет по стандартизации, чтобы те написали технические стандарты, на которые будет ссылаться закон. (этот кусочек выделен красным на схемке процесса создания стандартов для AI Act, источник) Всего в комитете по стандартизации ~130 человек из ~20 стран. И только ~15 из них работают фултайм над этим проектом. За счет этого у них диспропорциональное влияние на то, что вообще происходит и какими будут итоговые стандарты. Один из таких фултаймеров и решил собрать свою отдельную рабочую группу (в которой сейчас я🙂), чтобы написать драфт стандартов и предложить их принять. Напоследок штука, которая меня очень смешит: закон вступит в силу в 2023, а технические стандарты опубликуют явно гораздо позже. Скорее всего, примерно тогда же, когда у компаний уже закончится grace period, в течение которого они должны эти стандарты (неопубликованные) научиться использовать. Что предлагается делать таким компаниям? Вступать в комитеты и платить несколько тысяч евро за то чтобы получить доступ к превью🙃

Подводя итоги прошлого года, я писала, что хотелось больше изучать AI Governance и что в прошлом году с этим было не очень. Так вот, теперь я точно буду это делать, потому что меня взяли в рабочую группу составлять Policy Proposals for High-Risk AI Regulation в проекте AI Safety Camp🥳🎉 Планирую за несколько постов рассказать подробнее что это вообще. Начну с области AI Safety. AI Safety — область, где пытаются предотвратить катастрофические непреднамеренные последствия из-за быстрого развития ИИ. Самое фатальное что может случиться — цели продвинутого AI не совпадут с нашими, из-за чего AI решит сделать что-то плохое с человечеством (это еще называют s-risks и x-risks). Мне нравится такое сравнение для быстрого понимания: Сверхинтеллектуальный искусственный интеллект будет чрезвычайно хорош в достижении своих целей, и если эти цели не совпадают с нашими, у нас возникает проблема. Вероятно, вы не злой муравьенавистник, который топчет муравьев по злому умыслу, но если вы отвечаете за проект зеленой энергетики на гидроэлектростанции и в регионе есть муравейник, который нужно затопить, это очень плохо для муравьев. Ключевая цель исследований безопасности искусственного интеллекта - никогда не ставить человечество в положение этих муравьев. [источник] Какие еще могут быть последствия: усугубление конфликтов и гонок вооружений между странами из-за развития AI, расширение возможностей тоталитарных режимов за счет AI (это про системы слежений и социальные скоринги), негативное влияние на будущие поколения если AI будет принимать плохие решения о здоровье / предоставлении образования / правоприменении. Риски от развития AI выделены как одна из наиболее насущных мировых проблем по версии, где в рассчетах «насущности» рассматривается влияние на будущие поколения: https://80000hours.org/problem-profiles/artificial-intelligence/ Дальше я планирую углубиться в то, что с этим делают и что собираюсь делать конкретно я. Но если есть другие вопросы и я потенциально могу на них ответить — тоже буду рада про это написать отдельно, задавайте!

Друзья, а к кому-нибудь можно вписаться пожить дней на 5-10 в москве с этой субботы? :) Поняла что даже просмотр отелей угнетает и хочется какого-то более лампового жилья Или, может быть, вы или ваши друзья уехали зимовать в теплые страны и хотите пересдать комнату/квартиру мне ненадолго?