Агенты ИИ | AGI_and_RL

Stanford воплотил в жизнь фильм Живая сталь! Зацените, что там ребята намутили. Подгрузили датасет из 40 часов кожаной мышечной даты, натренировали роботов на legged_gym (это который недавно представили Nvidea вместе с GR00T, писал здесь ) и rsl_rl. Этого было достаточно, чтобы их робот смог в реальном времени, используя одну камеру, в точности повторять движения человека. Получился реальный Зевс из "Живой стали". (Прикрутить бы железа побольше да моторы помощнее). Дальше больше. Повторяя за человеком, бот учится делать все самостоятельно. Даже вот на пианино играть. Для обретения навыка с успехом в 60-100% нужно всего 40 (не опять, а снова) повторений. Мне покажи 40 раз, как играть, я не научусь, лол. Видосы самостоятельной работы, конечно, ускорены, но это лишь вопрос компьютера. Вот вам Project page, пейпер, датасет, код!, список всего харда!!! со ссылками на Амазон для покупки. Это я понимаю опенсорс, теперь можно хоть дома такого собрать :) Железо обойдется в $108,000, если не учитывать 3D принтер. @ai_newz

Вспоминаем что Андрей Карпати делает llm.c https://github.com/karpathy/llm.c Там он с 0 gptшки реализует на питоне, на плюсах и на CUDA (который я кстати рекомендую всем изучать, кто интересуется большими моделями да и вообще уметь видяшки прогать это важный навык для млинженера) Вот один из пользователей сделал свой форк в котором подкрутил параметры, добавил сам чего-то и смог ускорить трейн nanoGPT на 124M что ему теперь достаточно 5B токенов чтобы достичь лосса который у llm.c трейнера достигается на 10B. (на питоне с торчем) https://github.com/KellerJordan/modded-nanogpt Я вообще к тому, что лучший способ изучать что-либо - это самому заняться реализацией и улучшением. Так что форкайте llm.c, делайте гптшки и треньте сами! Ну и видосики можно смотреть по теме, где Андрей сам имплементит и поясняет: Let's reproduce GPT-2 (124M) https://www.youtube.com/watch?v=l8pRSuU81PU Let's build the GPT Tokenizer https://www.youtube.com/watch?v=zduSFxRajkE

Еще интересный подход по созданию агентов (на базе Vision language модели) с RLем которые могут пользоваться Android телефоном через GUI Вначале трейнят offline RL на данных, потом offline-to-online где агент уже сам доучивается в среде. Создали распараллеленный симулятор который одновременно может запускать 64 эмулятора андроида. Тестировались на датасете Android-in-the-Wild (AitW). VLMка на 1.3B параметров. * success rate подняли до 67.2% у другого RL агента который учился через Behavior cloning был - 57.8% GPT-4V - 8.3% Gemini 1.5 Pro - 17.7% 17B CogAgent - 38.5% DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning https://arxiv.org/abs/2406.11896 https://digirl-agent.github.io/ https://github.com/DigiRL-agent/digirl

Прямо сейчас происходит хайп MCTS (теперь с ллмами) В RLе у нас MCTS используется в куче *Zero алгоритмов и там он на некоторых играх показывает оверхуман (EfficientZero насколько я понимаю самый работоспособный и быстрее всех учится из зерошек), ну надо и к ллмам его тогда добавить. Они итак "умные", мб это их еще забустит. Ну вроде да. И вот библиотека где цель делать LLMы с MCTS Tree Search for Language Model Agents https://jykoh.com/search-agents https://github.com/kohjingyu/search-agents Вроде должно работать с ГПТшками и ллама3 (с инференсом на vllm) но я сам не проверял

🚀 @SBERLOGASCI webinar on data science: 👨‍🔬 Н. Бухал "Алгоритм MCTS, Monte Carlo Tree Search". ⌚️ Четверг 20 июня 19.00 по Москве Алгоритм MCTS одна из основных составляющих АльфаГо. В данном докладе будет разобрана имплементация. Попробуем шаг за шагом реализовать MCTS для крестиков ноликов. Код который будем разбирать/переписывать: https://www.kaggle.com/code/tttzof351/alphazerotictac Ожидаемый результат: https://youtu.be/F7qOV8xonfY?si=MXQgN-kwHD9D8oqd Напоминание: мы организуем активность применить машинное обучение к математическим задачам теории групп. MCTS один из рассматриваемых методов. Если вам интересна активность - добавляйтесь в https://t.me/sberlogasci/10989 и напишите @Alexander_v_c , если вы хотите поучаствовать - требование - знать Питон - остальное научим. Zoom link will be in @sberlogabig just before start. Video records: https://www.youtube.com/c/SciBerloga - subscribe !

Прикольно

Implementing General Relativity: What's inside a black hole? https://20k.github.io/c++/2024/06/19/tetrads.html