Агенты ИИ | AGI_and_RL

На работу идет (счастлив)

Немножко обзорных статей с листиками Большая обзорка мо Mixture of Experts (ну мб кому надо, хз зачем) A Survey on Mixture of Experts https://arxiv.org/abs/2407.06204 https://github.com/withinmiaov/A-Survey-on-Mixture-of-Experts Ну и дип лернинг в доказательстве теорем (это каждому надо) A Survey on Deep Learning for Theorem Proving https://arxiv.org/abs/2404.09939 https://github.com/zhaoyu-li/DL4TP

Выкатили Flash Attention 3, он оптимизирован под поколение Hopper (H100, H800) Почитать https://tridao.me/publications/flash3/flash3.pdf https://tridao.me/blog/2024/flash3/ https://github.com/Dao-AILab/flash-attention Осталось купить H100/H800 ☔️

Маленькая тулза для разметки датасетиков. (сам не пробовал, только что наткнулся) По сути опенсурсной ллмкой размечает немного данных, тренит нам классификатор и если качество не очень то будет данных досыпать.

1. LLM generates classification data from a subset of provided text 2. A classifier is trained on this LLM-generated data 3. The classifier is evaluated against a larger LLM for accuracy 4. If accuracy is insufficient, more data is added and training repeats 5. The process concludes when desired accuracy is achieved

Есть мордочка на Gradio Автор пишет, что мол без человеческой разметки (а с ллмной) смог натренить distilbert на 88% акураси. Ну ок https://github.com/e-p-armstrong/augmentoolkit

Набор инструкций H100 и 4090 теперь задокументирован 👏 Умелец смог при помощи фаззера задокументировать набор инструкций актуальных карт Nvidia. Сама Nvidia такое в паблик не пускает, чтобы всё шло через CUDA, максимум PTX. Таким образом они добиваются вендорлока к картам Nvidia в целом, а не одной конкретной архитектуре. Проблема в том, что без такой документации заметно сложнее делать оптимизации под конкретные архитектуры. А вот с ней и альтернативные компиляторы для карт Nvidia делать будет проще, может, будут даже такие, что не качают пять гигов зависимостей (что-то я замечтался). Дальше автор собирается добавить данные о производительности каждой инструкции, что потребует кучу микробенчмарков. H100 RTX 4090 Код @ai_newz

сохраняем листик с симуляторами и библиотекам по роботам (есть и другие но поменьше и уже сильно протухшие) https://github.com/jslee02/awesome-robotics-libraries

Он выпил кофе и уже бежит на работу, чтобы продуктивно потрудиться

Наконец-то все желающие могут делать карьеры llmы

Привет! Мы в лабараторию ебаного ресерча Vikhr models открываем летние стажировки Что по задачам: - Мержинг, стакинг, замеринг, эволюционка поверх LLM cтакинга - собирать крутые инструкт сеты, у нас много gpt4 токенов, если хочется трогать руками RAG, агентность, function calling и прочие хайповые слова - велком! - Учить Lora на разные задачи и трогать кучу очень интерсных задач (SPPO, DPO, KTO) - Есть целых! 4v100 и к конце лета приедет а6000 - Собрать самые крутые и самые мемные бенчмарки😎 - развлекатся с vllm, быстрым инференсом и при желании строить опенсуср - если вам хочется заводить свою шизо идею а на работе не дают - велком, мы сами такие Оплата: в авторах на хабре, вероятно на arxiv, уникальный опыт(сорян денег реально нет, мы реально работаем на энтузиазме) Скидывать cv, нюдсы, вопросы, ответы, предложения в: https://forms.gle/54BLnMMxZuNNboev6

Мы ж тут на пути к AGI, да? в следующем году будет Наткнулся на тредик в редите за 2020 где автор хотел услышать мнения, а будет ли обучение с подкреплением путем к AGI? Еще и запросик запилили. И вот результат забавный :)) https://www.reddit.com/r/reinforcementlearning/comments/kjntx8/rl_as_a_path_to_agi/