Kali Novskaya

🌸AI SuperAlignment — все? 🌸 #ai_alignment Не писала ничего про последние обновления Gemini (еще нет доступа) и GPT-4o (уже получила), но самая главная новость оказалась не эта. Команда SuperAlignment OpenAI развалилась. Из новостей, уходят: — Илья Суцкевер (со-основатель, легендарный человек из Нижнего Новгорода, который в октябре уволил Альтмана) — Ян Лейке (лид команды SuperAlignment, ex-DeepMind) 🟣SuperAlignment команда занималась очень интересными задачами по одному из самых важных направлений в ИИ в целом — безопасности. А еще — автоматизацией и акселерацией научного знания, интерпретируемостью и масштабируемостью сверхинтеллектуальных систем. (Блогпост OpenAI из хороших времен) 🟣Само наличие такой флагманской команды влияло на позиционирование OpenAI как ответственного игрока, который не будет заниматься оборонными заказами (ой, это правило они убрали в январе), или манипуляциями общественным мнением через LLM (про это тоже недавно новость была, правда, про рекламу). А что там по выборам в США, кстати? — Самая большая команда, таким образом, собирается у Anthropic, самого основного конкурента по LLM — они регулярно публикуют методы оценки уязвимостей, методы для интерпретации и т.д. — В предыдущие годы скандалами с увольнением исследователей AI Safety пославился Google — в 2020 уволил главу команды ИИ этики Тимнит Гебру за несогласованную публикацию про ограничения языковых моделей, а затем уволил Блэйка Лемуана. 🟣Считаю забавным несовпадением, что в ноябре 2023 экзеки Майкрософт делали заявление, что хаос точно не из-за AI Safety. Все такие заявления надо всегда читать ровно наоборот. Я бы даже предположила, что в октябре уже все решили, а дальше 6 месяцев период non-compete по договору, и вот он заканчивается. (это чисто спекуляция, источник: мне это приснилось).

🌸Field Matters Workshop🌸 #nlp_papers Для всех, кто сейчас подаётся на NeurIPS или готовит сабмиты статей. Вот уже третий год подряд мы с коллегами организуем воркшоп по методам и инструментам ML для полевой лингвистики — Field Matters. Воркшоп мультидисциплинарный, объединяет работы по малоресурсным языкам, датасеты, новые инструменты для оцифровки, разметки, перевода, распознавания речи. В этом году мы проходим на ACL 2024, в Таиланде. Дедлайн — 17 мая! Принимаются статьи разного формата, short и long papers, главное — в шаблоне ACL. 🟣Подать статью: https://openreview.net/group?id=aclweb.org/ACL/2024/Workshop/Field_Matters 🟣Сайт воркшопа: https://field-matters.github.io/ 🟣Все темы воркшопа: — Application of NLP to field linguistics workflow;— The impact, benefits and harms of NLP-assisted fieldwork; — Transfer learning for under-resourced language processing;— The use of fieldwork data to build NLP systems; — Modeling morphology and syntax of typologically diverse languages in the low-resource setting; — Speech processing for under-resourced languages; — Machine-readable field linguistic datasets and computational analysis of field linguistics datasets; — Using technology to preserve culture via language; Improving ways of interaction with Indigenous communities; — Special track: Indigenous languages of Thaïland and South-East Asia.

🌸Anthropic: пишем промпты за вас🌸 #nlp #про_nlp #ai_alignment На днях в интерфейсе Anthropic Claude появилось интересное обновление — теперь вы можете в режиме реального времени получить автоматически написанную затравку, которая будет подробно описывать желаемое поведение LLM под вашу задачу. 🟣Особенности фичи: — редактор автоматически предлагает оптимальную структуру затравки: она у Anthropic отличается от OpenAI, место каждой конкретной инструкции в затравке напрямую влияет на качество генерации. Затравка автоматически имеет правильную структуру, включая содержательное описание задачи, формат вывода, исключения, некоторые фишки аля chain-of-thought. — автоматически добавляются XML-теги, маркирующие частые составные части в инструкциях: <prompt>, <exceptions>, <guidelines> и так далее. — редактор автоматически покажет пробелы в логике, которые необходимо дописать в шаблон, чтобы генерация полетела. 🟣У OpenAI в интерфейсе такого редактора пока нет, но с другой стороны, всегда можнл попросить GPT-4 записать качественный промпт под саму себя. У Anthropic этот функционал скорее — необходимость, так как портировать промпты с GPT на Claude с сохранением качества бывает очень больно. 🟣Что интересно, температура в интерфейсе по умолчанию с использованием таких инструкций — 0. По опыту, чем выше температура у Claude, тем хуже качество следования длинным затравкам. Реальный рабочий интервал скорее [0.2-0.5].

Привет! Тут давно не было постов — в основном потому, что я сильно выгорела и в резудьтате потеряла все расписание и привычки, свет внутри погас, но я все ещё работаю. Но с сегодняшнего дня эфир возобновляется! ☺️ Обнимаю всех!

Давайте что ли мемотред! Давно не было #шитпост

🌸State of Multilinguality 2024🌸 #nlp #про_nlp #nlp_papers На прошлой неделе выступала сразу 2 раза с коротким обзором многоязычности в LLM TLDR; языков ≈7 тысяч. Покрыто NLP-ресурсами примерно 1500, и это примерно то же самое количество, что можно встретить в Интернете. Самая многоязычная область — по-прежнему Machine Translation, проекты No Language Left Behind, MT for the next thousand languages. The Polyglot Internet — концепция за многоми текущими инициативами в MT. Социальные связи в Интернете меняются со временем — и становятся все более моноязычные в среднем, то есть каждый пользователь с большей вероятностью коммуницирует только внутри своего языкового сообщества. Машинный перевод должен помогать снижать коммуникативный барьер и поддерживать общение между людьми вне их локальных интернет-сообществ. Но даже идеальная система машинного перевода не будет достаточной — языки постоянно меняются, и поддерживать дообучение системы могут помочь носители — переводчики, языковые активисты, просто вовлеченные носители. Поэтому для решения фундаментальной задачи нужны обе составляющие вокруг MT — данные и сообщество. Данные и сообщество — цель многих нескольких инициатив. Open Language Data Initiative — в рамках конференции WMT 2024 принимаются новые языки в уже существующие корпуса FLORES+, MT Seed ссылка Field Matters — воркшоп на ACL 2024. До 17 мая принимаются статьи на темы автоматизации полевой лингвистической работы, автоматизация разметки, распознавания речи, работы со звучащей речью, инструментами для малоресурных языков. ссылка Основные ссылки 🟣Machine Translation from One Book Arxiv 🟣Проблемы расширения словаря и дообучения Blog 🟣Мультиязычная синтетика для Instruct-tuning HuggingFace 🟣Обзор мультиязычных LLM Arxiv 🟣Презентация

О_О

AGI achieved internally

🌸SciHub и философия познания🌸 #не_про_nlp Уже несколько дней с интересом читаю кандидатскую диссертацию Александры Элбакян, автора SciHub. Элбакян А.А. ОТКРЫТОСТЬ КАК ЭПИСТЕМИЧЕСКАЯ ЦЕННОСТЬ НАУЧНОЙ КОММУНИКАЦИИ Очень призываю вас посмотреть самостоятельно, но основные мысли, которые заинтересовали меня: — В целом вредно представление о том, что ограниченный доступ к научным знаниям является традиционной практикой, а широкое их распространение — радикальным и революционным нововведением. — Наоборот, доступность и открытость эксперимента демаркирует науку от ненауки, знание от мистцизма. Так что открытость в науке и открытом доступе следует рассматривать как консервативную ценность — В целом приведен подробнейший обзор открытости знания как основы рациональности и морально-этической ценности. — Очень подробный исторический обзор, о том как идея открытого знания развивалась, от античности до XXI века — Философское обоснование open access, open source 🔥 Кандидатская защищена успешно, с присуждением ученой степени кандидата философских наук! 🟣Страница работы https://iphras.ru/page26414303.htm 🟣Автореферат https://iphras.ru/uplfile/diss/elbakyan/avtoreferat_elbakyan.pdf 🟣Текст диссертации https://iphras.ru/uplfile/diss/elbakyan/dissertatsiya_elbakyan.pdf

Имхо релиз Llama 3 прошел очень гладко со всех сторон. Даже AI Safety люд пока не ругаются (?) Интересно, если окажется, что опенсорс датасета FineWeb 🍷 был все-таки не совсем до конца согласован — и поэтому его отовсюду уберут. Осталось очень много постов про релиз от авторов на LinkedIn, Reddit, а вот страницы с релизом недоступны, включая даже и организацию, в которой он выложен