я обучала одну модель

Прикол из мира OpenAI: в последнем апдейте dalle 2 они в том числе пообещали увеличить diversity генераций, а именно сделать так, чтобы в них было больше женщин и не белых людей. По факту это видимо делалось не дообучением и не манипуляцией латентного пространства, а добавлением слов 'black' или 'female' в промты юзеров случайным образом 🤡 современные проблемы требуют современных решений

Quark: Controllable Text Generation with Reinforced [Un]learning Попыток скрестить NLP и RL было уже много, одна из самых известных таких моделей от OpenAI ипользует Proximal Policy Optimization для апдейта градиентов. Проблема с PPO в том, что в ней очень много гиперпараметров, их сложно подбирать, плюс, необходимо хранить много весов Ресерчеры из Allen NLP сделали проще и, кажется, эффективнее: 1. Сначала генерим кучу семплов моделью 2. Потом с помощью классификатора нужного признака (например, классификатора токсичности) скорим их 3. Далее переводим скоры в дискретные значения. По сути наблюдения разбираются на ранги согласно их квантилям, получаются категории R1… Rk 4. Каждый ранг получает свой токен. Этот токен ставится перед соответствующим текстом, и модель тренируется на таких данных, как обычно в conditional generation 5. На новом exploration step мы кондишенимся на самый высокий ранг и снова генерим примера – по сути итеративно двигаемся в латентном пространстве ближе к желаемому признаку текста Что примечательно, Quark обгоняет по метрикам и по human preferences гораздо более тяжелые PPO и PPLM

Очень инетересные вещи происходят в твиттере: один пользователь закинул в dalle mini выдуманное им рандомное слово Crungus. И получил довольно конститентный набор какой-то хтони. Потом оказалось, что у всех запрос Crungus выдает именно эту хтонь При чем, dalle даже может рисовать Crungus’а в разных сеттингах, например, на отдыхе, на рейве, на свидании, крангуса-младенца, мозаику крангуса… Выглядит очень интересно, будем следить за развитием событий 🧐 (за ночные кошмары простите меня все)

для желающих

из PaLM кстати мой любимый пример вот этот, очень странно думать что сетка а) понимает отсылку, которую не то чтобы очень просто понять сходу б) имеет представление что такое stackoverflow….

Вообще попытки в reasoning были в еще нескольких недавних моделях. Например, в гугловской PaLM показывали, что если предоставить в промте цепочку размышлений (chain of thought), то модель прийдет к правильному решению в логических задачах (ну, как теперь оказалось, она и с chain of though сама справится тоже) Или вот Flamingo просили объяснить, почему картинка смешная, и после ризонинга она приходила к разумному объяснению, даже если сходу она все еще не могла ответить. Кажется, что скоро мы увидим еще статьи, почему с LM и VLM так хорошо работают логические подводки, и не weak AGI ли это

Недавно вышла статья Large Language Models are Zero-Shot Reasoners, где авторы показывают, что просто добавление «Let’s think step by step» в промт большой языковой модели позволяет ей бустить качество на многих задачах в несколько раз без файнтюна в zero-shot 🤡 И внезапно модель обретает способности к математике и логике, с которыми у LM обычно дикие проблемы. В частности на арифметических задачках датасета MultiArith точность поднимается с 17.7% до 78.7%

Создать шум из данных – легко, создание же данных из шума есть генеративное моделирование. Кулибин lucudrains, известный чемпион по скоростной имплементации статей без кода, уже начал в открытую реализовывать DALLE-2 на питорче. Это ваш звездный час, чтобы кинуть пул-реквест, и стать успешным. Любой вклад будет оценен научным комьюнити. https://github.com/lucidrains/DALLE2-pytorch

jesus christ какая красота, скоро снова можно будет генерить обложки пост-панк альбомов

OpenAI выпустил DALL-E 2 openai.com/dall-e-2 vimeo.com/692375454 Основная идея: использовать эмбеддинги CLIP для генерации вектора текста, обсуславливаться на этот эмбеддинг при генерации изображения. Для генерации используют не VAE а диффузию (GLIDE). Судя по промо-материалам, модель будет доступна по API.

Очень крутой визуализатор для команд git https://learngitbranching.js.org/

На stackoverflow тем временем появились темы, некоторые даже ничего 😳

У Майкрософт какое-то время назад вышла статья про µTransfer – эффективную технику подбора гиперпараметров для гигантских нейросетей In a nutshell, сначала они придумали, как более эффективно скейлить веса моделей при инициализации и апдейте, так, чтобы не взрывались и не затухали градиенты. Потом оказалось, что при такой параметризации можно ‘переносить’ гиперпараметры – сначала найти наилучшие значения для тренировки модели поменьше, и потом перенести их на большую модель. И теоретически, и эмпирически оказывается, что оптимальные значения гиперпараметров для обучения будут +- близки при таком скейлинге, то есть, например, оптимальные значения learning rate для большой и маленькой модели будут совпадать. В частности это хорошо работает при увеличении width сетки (числа нейронов в одном слое), но и для глубины, батчсайза и sequence length работает тоже Авторы так перенесли параметры обучения GPT 40M на GPT 6B, и их модель побила качество модели такого же размера на NLU задачах

успокаивающий генеративный воздушный хлеб 🍞☁️ автор говорит, что модель на основе CLIP-guided diffusion, но самого кода пока нет увы

Тем временем, как сообщают в заблокированном твиттере, нейронка научилась неплохо определять пол человека по фотке зрачка. При чем, никакой гипотезы, чем так различаются зрачки мужчин и женщин, пока что нет Это на моей памяти первый такой яркий кейс неинтерпретируемости нейросетей – да, свертки и до этого могли выучивать какие-то не слишком очевидные человеку паттерны, но тут похоже они видят какие-то различия, о которых мы сами вообще ничего не знаем (прикольно!) Есть как оказалось похожий кейс, когда нейронки по рентнгеновским снимкам тела могли определить расу человека, но тут какие-то корреляции еще можно предположить

🇺🇦🇺🇦🇺🇦🇺🇦🇺🇦 Добро завжди перемагає, завжди 🇺🇦🇺🇦🇺🇦🇺🇦🇺🇦 Мы проснулись в полномасштабной войне в которую не хотели верить. Берегите себя и близких. Украина – независимая страна и каждому кто оспаривает это право – трибунал Гааги

ужасное утро с осознанием полного абсурда, бессмысленности и при этом невероятной жестокости всего происходящего. для любого нормального человека это просто позор и обыкновенный фашизм stay safe насколько это возможно вообще сейчас, украинцы, пожалуйста, держитесь 🇺🇦 нет войне .