Агенты ИИ | AGI_and_RL

🚀 Выложили SWE-rebench V2.1 RL: 13 337 бесплатных RL-сред для обучения кодинг-агентов. Это задачи из реальных GitHub-репозиториев на 20 языках, в формате Harbor Зачем это нужно. В RL модель решает одну задачу много раз и учится на разнице между удачными и неудачными попытками. Если задача сломана, например тесты не совпадают с описанием, окружение не поднимается или ответ утекает в Docker-образ, модель на ней ничему не учится, а компьют уходит впустую. В открытых датасетах таких задач много. Мы проверили и починили каждую задачу с помощью кодинг-агентов, в среднем за $0.24 на задачу. На одних и тех же 100 задачах число задач, на которых Qwen3.5-9B реально учится, выросло с 55 до 70. Если вы занимаетесь RL-посттрейном - должно быть полезно! готовим еще больше релизов для опен сорса. X: link Harbor: link

https://huggingface.co/datasets/HuggingFaceBio/FineDNA кстати скинули тренинг данные для той Carbon-X модельки которая тюни Qwen 14B для днк

Mago Studio - opensource local-first end-to-end AI production studio Не прошло и месяца как Maga Mago Studio опенсорснули (в отличие от некоторых гарфилдов). Есть полноценные пайплайны для работы с картинками, видео, и генерации короткого метра из сценария. С историей настроек, возможностью итерации, редактирования, вот это вот все. С нормальным управлением проектами, а не все рендеры в кучу в общей истории и 'завтра разберусь' Локально крутится на Qwen 3.8 как LLM, Qwen 3VL для описания картинок и оценки генераций на соответствие промту, Minimax h3 для видео, Qwen Image/Edit, Flux - для генерации\редактирования картинок. Поскольку это опенсорс, можно легко заменить предлагаемые веса на эти ваши любимые unсensored lgtv+ abliterated furfag2000 edition, добавить свои модели, апи, сделать еще более ночную тему. И, что самое главное, дизайн разработан не программистами (A1111 привет) твит код лайк шер алишер, звезды в репу, пожелания в комменты

читат https://anvilarth.github.io/rl-for-diffusion-part-1.html https://anvilarth.github.io/rl-for-diffusion-part-2.html

начали прокидывать что мб glm 5.5 в посттрене. и про модельки разных размеров 32б хотелось бы. ну еще хотелось бы квен 4 27б :)

чел пишет что сделал суперхуман бота для polytopia с PPO с селфплеем https://thekevinz.com/blog/polytopia-bot https://github.com/kevinz917/superhuman-polytopia-bot хз что за игра на самом деле но мб кому интересно

чел делает харнес для моделек типа jev https://github.com/osolmaz/switch

Возможно квен 4 на некст недельке ☺️ https://www.reddit.com/r/LocalLLaMA/s/p0ucHX54YH

https://www.cartesia.ai/blog/from-tokens-to-bytes-part-1 там челы сделали нейронку, которой не нужен токенизатор типа BPE который в ллмках применяется. обычно в ллмку приходит текст заранее разбитый на токены. а тут у челов H-Net: моделька сама изучает как надо байты на входе объединять в единые части с учетом контекста пишут что требуется в 10 раз меньше данных для достижения качества сопоставимого со smolLM 3 PS статьи собираем и проекты делаем (много) в https://t.me/researchim

кстати нвидия выложили 472гб 3д асетов для ваших симуляторов https://huggingface.co/datasets/nvidia/simready-assets

На волне хайпа анлока видеокарт раздуплил один из своих старых серваков с CMP90HX (была куплена за 7к). По итогам, анлокнув через этот репо, побенчил на gemma-4-E4B q2. Максимальный прирост префилла составил х6(!) а декода х2.5. Как будто учитывая отчет deepseek`а о профитности инференса имеет смысл собирать из майнинговых карт распаянных до 20гб фермы (имея источник чуть ниже текущего прайса на авито офк)

ля ну это просто прикольно) именно для этого всегда и нужен был ии https://www.reddit.com/r/reinforcementlearning/comments/1xdfl7d/getting_over_it_using_drl https://github.com/miwate/getting-over-it-rl https://huggingface.co/miiwater/goi-rl

у биологических праздник https://huggingface.co/HuggingFaceBio/Carbon-X

Carbon-X — специализированная языковая модель на 14,8 млрд параметров, которая одновременно понимает обычный человеческий язык и последовательности ДНК. Представь ChatGPT, которому можно отправить не только вопрос, но и фрагмент генетического кода, а он попробует объяснить, что этот код делает, какие в нём есть особенности и как конкретная мутация может повлиять на организм. Например, у тебя есть два варианта одного участка ДНК: Исходная последовательность ATGGTGCATCTGACTCCTGAGGAGAAGTCT После мутации ATGGTGCATCTGACTCCTTAGGAGAAGTCT Условный пример изменения одного нуклеотида. Можно спросить модель: «Эта мутация потенциально вредная или безобидная? Почему?» Carbon-X попробует определить биологическое значение изменения и ответит человеческим языком. Основные возможности: - Оценка мутаций: предсказывать, могут ли генетические изменения быть патогенными. - Анализ регуляторных участков: искать промоторы, энхансеры и другие функциональные элементы. - Классификация ДНК: определять, к каким группам организмов относится последовательность. - Предсказание последовательностей: оценивать вероятное продолжение фрагмента ДНК. - Диалог на естественном языке: объяснять результаты и отвечать на дополнительные вопросы.

чел рассказывает как делал енв чтобы агент собирал данные (400 млн токенов) для претрена небольшой типа nanogpt модельки оч прикольно https://justin-chae.org/blog/pretraingym/

гайдик по ллм рл (eng) https://cameronrwolfe.substack.com/p/llm-rl

Челы натренили прям оч мелкие модельки 25М-121М параметров чтобы на всяких микродевайсах гонять и на некоторых спец задачах должны быть лучше чем более крупные модельки в целом прикольно что они прям оч мелкие. такое и дома можно пытаться делать) https://github.com/cactus-compute/needle