Агенты ИИ | AGI_and_RL
Про ии, RL и в целом @tokarev_i_v
Show more2 727
Subscribers
-124 hours
+57 days
+7030 days
- Subscribers
- Post coverage
- ER - engagement ratio
Data loading in progress...
Subscriber growth rate
Data loading in progress...
Repost from эйай ньюз
Stanford воплотил в жизнь фильм Живая сталь!
Зацените, что там ребята намутили. Подгрузили датасет из 40 часов кожаной мышечной даты, натренировали роботов на legged_gym (это который недавно представили Nvidea вместе с GR00T, писал здесь ) и rsl_rl. Этого было достаточно, чтобы их робот смог в реальном времени, используя одну камеру, в точности повторять движения человека. Получился реальный Зевс из "Живой стали". (Прикрутить бы железа побольше да моторы помощнее).
Дальше больше. Повторяя за человеком, бот учится делать все самостоятельно. Даже вот на пианино играть. Для обретения навыка с успехом в 60-100% нужно всего 40 (не опять, а снова) повторений. Мне покажи 40 раз, как играть, я не научусь, лол.
Видосы самостоятельной работы, конечно, ускорены, но это лишь вопрос компьютера.
Вот вам
Project page,
пейпер,
датасет,
код!,
список всего харда!!! со ссылками на Амазон для покупки.
Это я понимаю опенсорс, теперь можно хоть дома такого собрать :) Железо обойдется в $108,000, если не учитывать 3D принтер.
@ai_newz
11.47 MB
31.07 MB
2.88 MB
👍 5🔥 4👎 1❤ 1👏 1
Вспоминаем что Андрей Карпати делает llm.c
https://github.com/karpathy/llm.c
Там он с 0 gptшки реализует на питоне, на плюсах и на CUDA (который я кстати рекомендую всем изучать, кто интересуется большими моделями да и вообще уметь видяшки прогать это важный навык для млинженера)
Вот один из пользователей сделал свой форк в котором подкрутил параметры, добавил сам чего-то и смог ускорить трейн nanoGPT на 124M что ему теперь достаточно 5B токенов чтобы достичь лосса который у llm.c трейнера достигается на 10B. (на питоне с торчем)
https://github.com/KellerJordan/modded-nanogpt
Я вообще к тому, что лучший способ изучать что-либо - это самому заняться реализацией и улучшением. Так что форкайте llm.c, делайте гптшки и треньте сами!
Ну и видосики можно смотреть по теме, где Андрей сам имплементит и поясняет:
Let's reproduce GPT-2 (124M)
https://www.youtube.com/watch?v=l8pRSuU81PU
Let's build the GPT Tokenizer
https://www.youtube.com/watch?v=zduSFxRajkE
GitHub - KellerJordan/modded-nanogpt: GPT-2 (124M) quality in 5B tokens
GPT-2 (124M) quality in 5B tokens. Contribute to KellerJordan/modded-nanogpt development by creating an account on GitHub.
🔥 13
00:20
Video unavailableShow in Telegram
Еще интересный подход по созданию агентов (на базе Vision language модели) с RLем которые могут пользоваться Android телефоном через GUI
Вначале трейнят offline RL на данных, потом offline-to-online где агент уже сам доучивается в среде. Создали распараллеленный симулятор который одновременно может запускать 64 эмулятора андроида.
Тестировались на датасете Android-in-the-Wild (AitW). VLMка на 1.3B параметров.
* success rate подняли до 67.2%
у другого RL агента который учился через Behavior cloning был - 57.8%
GPT-4V - 8.3%
Gemini 1.5 Pro - 17.7%
17B CogAgent - 38.5%
DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning
https://arxiv.org/abs/2406.11896
https://digirl-agent.github.io/
https://github.com/DigiRL-agent/digirl
demo2_5x.mp413.55 MB
🔥 7👍 1
00:21
Video unavailableShow in Telegram
Прямо сейчас происходит хайп MCTS (теперь с ллмами)
В RLе у нас MCTS используется в куче *Zero алгоритмов и там он на некоторых играх показывает оверхуман (EfficientZero насколько я понимаю самый работоспособный и быстрее всех учится из зерошек), ну надо и к ллмам его тогда добавить. Они итак "умные", мб это их еще забустит. Ну вроде да.
И вот библиотека где цель делать LLMы с MCTS
Tree Search for Language Model Agents
https://jykoh.com/search-agents
https://github.com/kohjingyu/search-agents
Вроде должно работать с ГПТшками и ллама3 (с инференсом на vllm) но я сам не проверял
search_overview.gif.mp40.80 KB
🤯 4👍 2🤔 1
Repost from (sci)Berloga Всех Наук и Технологий
Photo unavailableShow in Telegram
🚀 @SBERLOGASCI webinar on data science:
👨🔬 Н. Бухал "Алгоритм MCTS, Monte Carlo Tree Search".
⌚️ Четверг 20 июня 19.00 по Москве
Алгоритм MCTS одна из основных составляющих АльфаГо. В данном докладе будет разобрана имплементация.
Попробуем шаг за шагом реализовать MCTS для крестиков ноликов.
Код который будем разбирать/переписывать: https://www.kaggle.com/code/tttzof351/alphazerotictac
Ожидаемый результат: https://youtu.be/F7qOV8xonfY?si=MXQgN-kwHD9D8oqd
Напоминание: мы организуем активность применить машинное обучение к математическим задачам теории групп. MCTS один из рассматриваемых методов. Если вам интересна активность - добавляйтесь в https://t.me/sberlogasci/10989 и напишите @Alexander_v_c , если вы хотите поучаствовать - требование - знать Питон - остальное научим.
Zoom link will be in @sberlogabig just before start. Video records: https://www.youtube.com/c/SciBerloga - subscribe !
👍 6
Repost from Just links
Implementing General Relativity: What's inside a black hole? https://20k.github.io/c++/2024/06/19/tetrads.html
Implementing General Relativity: What's inside a black hole? · James' Space Blog
Ramblings on C++, OpenCL, and GPU programming
Choose a Different Plan
Your current plan allows analytics for only 5 channels. To get more, please choose a different plan.