Does RL work yet?
Відкрити в Telegram
rl research by @howuhh howuhh.github.io | dunnolab.ai
Показати більше233
Підписники
Немає даних24 години
Немає даних7 днів
Немає даних30 днів
Завантажуємо дані
Схожі канали
Немає даних
Виникли проблеми? Будь ласка, оновіть сторінку або зверніться до нашого support-менеджера.
Хмара тегів
Вхідні та вихідні згадування
---
---
---
---
---
---
Залучення підписників
жовтень '26жовт '26
жовтень '26
+250
в 0 каналах
вересень '260
в 0 каналах
Get PRO
серпень '260
в 1 каналах
Get PRO
липень '260
в 0 каналах
Get PRO
червень '260
в 0 каналах
Get PRO
травень '260
в 0 каналах
Get PRO
квітень '260
в 0 каналах
Get PRO
березень '260
в 0 каналах
Get PRO
лютий '260
в 0 каналах
Get PRO
січень '260
в 0 каналах
Get PRO
грудень '250
в 0 каналах
Get PRO
листопад '250
в 0 каналах
Get PRO
жовтень '250
в 0 каналах
Get PRO
вересень '250
в 0 каналах
Get PRO
серпень '250
в 0 каналах
Get PRO
липень '250
в 0 каналах
Get PRO
червень '250
в 0 каналах
Get PRO
травень '250
в 0 каналах
Get PRO
квітень '250
в 0 каналах
Get PRO
березень '250
в 0 каналах
Get PRO
лютий '25
+55
в 0 каналах
Get PRO
січень '250
в 0 каналах
Get PRO
грудень '24
+19
в 0 каналах
Get PRO
листопад '240
в 0 каналах
Get PRO
жовтень '240
в 0 каналах
Get PRO
вересень '24
+68
в 0 каналах
Get PRO
серпень '240
в 0 каналах
Get PRO
липень '24
+42
в 2 каналах
Get PRO
червень '240
в 0 каналах
Get PRO
травень '24
+36
в 0 каналах
Get PRO
квітень '240
в 0 каналах
Get PRO
березень '240
в 0 каналах
Get PRO
лютий '24
+13
в 0 каналах
Дописи каналу
Про возможности self-play и open-ended learning конечно давно известно. Например та же работа от DeepMind с крайне похожими результатами. Все что надо - чтобы симулятор был быстрым и разнообразным.
https://deepmind.google/discover/blog/generally-capable-agents-emerge-from-open-ended-play/
| 2 | Если интересно посмотреть про hide & seek. Оказывается это было уже 5 лет назад... Сейчас может и не все про него знают.
https://www.youtube.com/watch?v=kopoLzvh5jY | 195 |
| 3 |  Немає тексту... | 207 |
| 4 |  Немає тексту... | 205 |
| 5 | Robust Autonomy Emerges from Self-Play
Очень крутой рисерч по близкой мне теме (быстрые симуляторы на GPU, см. XLand-MiniGrid).
Сделали очень быстрый симулятор для селф-драйвинга на GPU, причем на PyTorch, что необычно. Обычно такие среды в последнее время писали на JAX. Обучили в нем модельку на 6М (!!!) параметров, суммарно проехав 1.6 миллардов км. Обучали через self-play, то есть вообще без данных от человека, одна модель управляла сразу всеми агентами на карте. На таком скейле оказалось, что все важные скилы для безопасной езды появляются сами, т.к. эта моделька после перенеслась zero-shot на все существующие симуляторы для селф-драйвинга и везде поставила соту, в том числе по безопасности.
Люблю такие работы за наглядную демонстрацию emergence, появление чего-то сложного из простого, даже если это заранее не закладывалось. Помню, что для меня большим вдохновением заняться рлем помимо AlphaGo стал проект от OpenAI по hide & seek. Он конечно менее практически значимый, но не менее интересный.
Назвали к слову, GIGAFLOW 🤫 | 282 |
| 6 |  любимый мем | 417 |
| 7 |  Немає тексту... | 449 |
| 8 | > ICML
> вызываешься ревьювером
> открываешь предварительный список статей, чтобы заматчится на ревью
> видишь статью подозрительно похожую на твою
> абстракт почти один в один как в твоей
> результаты тоже
лицо представили? а мне и представлять не надо. | 459 |
| 9 | Шутки шутками, но все давно знающие меня (а если недавно, то они быстро узнают), что я ярый хейтер юпитер ноубуков, особенно в рисерче. Максимум что допускаю в них, это нарисовать графики для статьи. Подробно расписывать не хочется, но для интересующихся есть лекция в шуточной форме на эту тему.
Посмотрите, оно стоит того хотя бы ради мемов
https://www.youtube.com/watch?v=7jiPeIFXb6U | 490 |
| 10 | К слову, если вдруг интересно узнать о статье больше, я еще осенью написал краткую статью на хабр по мотивам, без сложных слов и с обьяснением мотивации. Заодно рассказал, что такое этот in-context RL..
https://habr.com/ru/companies/airi/articles/826224/ | 433 |
| 11 |  Прошла тут статейка на ICLR 2025, настрадались с ней ужас 🫠 | 2 576 |
| 12 |  Немає тексту... | 384 |
| 13 |  У нас теперь три лауреата Yandex ML Prize!
После успеха Влада и Саши в прошлом году, Илья Зисман выиграл в номинации «Первая публикация» за исследование Emergence of In-Context Reinforcement Learning from Noise Distillation, представленное на ICML 2024. В нашем недавнем посте можно найти подробности работы.
Поздравляем Илью, а его новый новый бэнгер уже на подходе ⭐️
- - —
@dunnolab | 586 |
| 14 | Очень рад за коллегу и большого друга | 525 |
| 15 | > два года назад: ура, нашу статью приняли на нипс
> сегодня: депрессия, потому что приняли только 1 статью на нипс
🫠 | 623 |
| 16 |  Пока трудился над шедевром выше вспомнил забавный случай со времен магистратуры.
Был у нас какой-то вводный, базовый курс по self driving cars, копались в ros и всяком таком. Одна из домашек была закодить машинку объехать уточку. Вроде просто? Мне тоже так показалось. Среда там уже не помню какая была, но ее было достаточно муторно зарендерить, чтобы посмотреть глазками что происходит да и лень. Поэтому я чего-то закодил, удостоверился что возвращается положительная награда и уточку я точно объезжаю. Да и заслал как есть…
Когда после проверки все таки попросили зарендерить и посмотреть чего я там накодил на самом деле, очень удивился! | 1 089 |
| 17 |  👩🌾 Осталась неделя до окончания набора на стажировку!
- - —
@dunnolab | 657 |
| 18 | Совершенно случайно одновременно наткнулся сегодня на две любопытные статьи. На первый взгляд между ними особо ничего общего.
— The pitfalls of next-token prediction. Довольно сложно читается, расскажу тлдр:
Гипотетически, умея идеально предсказывать только следующий токен, мы можем научится авторегрессивно моделировать любую последовательность без накопления ошибки. Учитывая насколько большие современные трансформеры, неявно предполагается, что они достаточно экспрессивные чтобы все таки иметь почти идеальную точность.
Оказывается, что для некоторых классов проблем это не так. Например, для проблем которые требуют планирования, таких как поиск пути в графе, модели обученные через предсказание следующего токена так и не научаются предсказывать его точно. Соответсвенно и последующей инференс выдает совершенный мусор, а не оптимальные пути. Как это пофиксить? Для простых проблем помогает добавлять особые lookahead токены в контекст, как бы давая трансформеру время на подумать.
— Planning behavior in a recurrent neural network that plays Sokoban. Авторы обучали рльного агента с рннкой решать Sokoban и обнаружили занятную вещь.
Если перед началом эпизода некоторое количество раз подавать начальное состояние, тем самым давая время на “подумать”, то внезапно агент начинает решать новые уровни сильно лучше, иногда решая даже те, что раньше казались непосильными. Кажется неожиданным! Но, если приглядеться к поведению агента, окажется, что он и так выучивал в начале эпизода делать множество мусорных действий, чтобы в это время “подумать”, и для планирования на самом деле важно только первое состояние, поэтому провернув трюк с прогревом в начале авторы ничего не сломали, а только ускорили процесс планирования.
Как это связано с предыдущей статьей? Мне кажется крайне занимательным, что рльный агент самостоятельно изобрел понятие “lookahead” токена, в то время как людям для этого требуется долгий теоретический анализ и целый ряд статей. Думаю, это наглядно показывает насколько важно изначально обучать embodied модели. | 821 |
| 19 | Постер похвалил даже Шмидхубер, так что смотрим если хотите стать такими же крутыми! | 657 |
| 20 |  Рассказываем о нашей работе принятой на ICML 2024. В деталях.
🌻Контекст🌻
In-Context RL позволяет обучать агентов способных на адаптацию к новым задачам прямо во время инференеса, то есть zero-shot. При этом не происходит обновлений весов модели или обучения Q-функции; вся адаптация вшита при обучении в механизм внимания.
Не сказка ли? Может быть, если бы не одно но: процесс сбора данных. В AD предлагается поступить так: возьмём n задач в среде и для каждой из них обучим своего RL-ного агента. Во время обучения будем сохранять их полную историю обучения, то есть все состояния, действия и награды. Таким образом мы соберём n историй обучения, в начале которых агент не умеет ничего, а в конце уже успешно решает задачу. На них и будем обучать трансформер предсказывать следующее действие.
Но что это за число n? Какого оно порядка? Оказывается, для успешного обучения на весьма простой задаче нужно обучить около тысячи (sic!) RL агентов. Понятно, что такой подход недёшев в плане вычислений и времени.
🌻Что предлагаем мы?🌻
Чтобы облегчить сбор данных и тем самым приблизить in-context RL к применению в реальных задачах, мы предложили способ генерации историй с помощью шума.
Часто так бывает, что мы не можем решить задачу с нуля RL-ем, но имеем некоторый набор почти оптимальных демонстраций. Мы можем обучить на этом обычный Behavior Cloning, но он не будет обладать способностями к in-context, т.к. данные не содержали истории обучения. Как же теперь получить историю обучения, когда мы имеем только конечную политику эксперта?
Идея простая: давайте просто начнём постепенно добавлять больше и больше шума, то есть с вероятностью ε будем делать действие по политике, а с вероятностью 1 - ε делаем случайное действие. При этом с каждым шагом мы увеличиваем ε вплоть до единицы. Получается, что когда ε = 1 агент не умеет ничего, а при ε = 0 успешно решает задачу. Вот мы и восстановили историю (на самом деле, получили прокси историю) обучения.
🌻И это работает?🌻
Да.
Для тестирования мы использовали классические в in-context RL среды: Dark Room (grid-MDP), Dark Key-to-Door (grid-POMPD), Watermaze (3D-MDP). Обученный на наших данных агент приобретает способности in-context адаптации к новым задачам. Что удивительно, вы можете использовать для генерации демонстрации далекие от оптимальных. Например, наш агент в некоторых случаях смог превзойти лучший результат в данных более чем в два раза.
код – статья – постер (4k) – ilya's talk
- - —
@dunnolab | 450 |
