Data Secrets

В сообществе резонирует блогпост HuggingFace, в котором ресерчерам удалось заскейлить Llama 3B так, что она обогнала Llama 70B В стартапе решили проверить, насколько масштабируем test-time compute. Когда выходила o1 и другие ризонинг-модели, мы все видели графики, которые показывали, что чем дольше модель "думает" во время инференса, тем больший скор выбивает (см. например, посты тут и тут с такими картинками). А будут ли такие результаты воспроизводиться на открытых предобученных моделях? Оказывается, будут, да еще как. В HF в своем подходе исследователи базово пытались просто воссоздать подход из статьи DeepMind про Compute-Optimal Scaling. По названия ясно, что это подход пытается за счет увеличения вычислительных ресурсов в момент инференса повысить перформанс модели. На практике это работает по принципу Search Against a Verifier: модель генерирует множество ответов, а финальные кандидаты выбираются с помощью другой модели – оценщика. В данном случае в качестве оценщика взяли Llama3.1-8B-PRM-Deepseek-Data, и оценивали рассуждения на каждом шаге, сразу отсекая ошибочные ветки. Обычный Majority Voting и Best-of-N тоже пробовали, но такой вот beam search с оценками на каждом шаге показал себя гораздо лучше. К этому, кстати, потом прикрутили DVTS (Diverse Verifier Tree Search). Это уже собственный наворот HF, в статье гугла такого нет. В отличие от стандартного beam search, который выбирает наиболее перспективные пути, DVTS разделяет начальные "лучи" на независимые поддеревья. Это прекрасно тем, что, в отличие от beam search на больших вычислительных бюджетах метод не вырождается в сильно похожие решения, а сохраняет некоторое разнообразие и скейлится, соответственно, лучше. Итог: совсем крохотные модели типа Llama-1B и 3B дали на инференсе производительность, сопоставимую с Llama-3B и 70В соответственно! Это значит, что можно запускать локальные маленькие модели, а качество получать, как у больших, и это просто за счет оптимального масштабирования вычислений на инференсе. Читать полностью здесь

Data Science повсюду🙌 Лента рекомендаций в соцсетях, плейлист с треками под ваш вкус в стриминговом сервисе и умные голосовые помощники — всё это результат работы Data Scientist. Специалист решает бизнес-задачи с помощью данных. Освоить востребованную и высокооплачиваемую IT-профессию с нуля можно на курсе «Data Scientist». В программе много практики: бизнес-игры, хакатоны, соревнования Kaggle, прожарки и конкурсы от партнёров. 20+ проектов можно добавить в портфолио и искать работу уже через 5 месяцев занятий. В программе 3 траектории обучения: 1. Базовая — для быстрого старта в профессии. 2. Расширенная — для углублённой работы с нейросетями и big data. 3. Продвинутая — для специализации в медицине или промышленности. Сейчас программу можно освоить выгоднее — повышенная скидка 45% действует по промокоду BIGDATA45. Начинайте обучение и становитесь перспективным IT-специалистом Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5wdWwgC

Все мы немного Антон

Давненько мы с вами базу генеративных моделей не вспоминали, к слову. Вот подборка статей со всей необходимой теорией и классическими архитектурами. Прочитайте – и всякая генерация изображений и видео будет понятнее: ➡️GAN - arxiv.org/pdf/1406.2661 ➡️ VAE - arxiv.org/pdf/1312.6114 ➡️ VQ VAE - arxiv.org/pdf/1711.00937 ➡️ VQ VAE 2 - arxiv.org/pdf/1906.00446 ➡️ Diffusion - arxiv.org/pdf/1503.03585 ➡️ Denoising Diffusion - arxiv.org/pdf/2006.11239 ➡️ Denoising Diffusion 2 - arxiv.org/pdf/2102.09672 ➡️ Diffusion Beats GANs - arxiv.org/pdf/2105.05233 ➡️ CLIP - arxiv.org/pdf/2103.00020 ➡️ DALL E - arxiv.org/pdf/2102.12092 ➡️ DALL E 2 - arxiv.org/pdf/2204.06125

Кто?

⚡️XMAS HACK к нам мчится!  С 20 по 23 декабря под звон Jingle bells пройдет самый яркий и праздничный хакатон 2024 года - XMAS HACK.  🎁Дед Мороз и Снегурочка уже положили под елочку XMAS HACK особый подарок - 1 000 000 рублей!  ✨Уникальный кейс от Tvigle: QoE Master: Мониторинг и улучшение качества воспроизведения 👨‍💻Задача: Разработайте систему мониторинга и оценки качества восприятия (QoE) зрителем онлайн-кинотеатра. Система должна автоматически собирать ключевые метрики (время старта воспроизведения, количество буферизаций, задержки, отклики) и выдавать рекомендации по улучшению качества стриминга. 🚀Осталось собрать команду и до 19 декабря подать заявку на участие: https://xmas-hack.ru/ 🎅XMAS HACK к нам мчится, скоро все случится!🌟 Реклама. ООО "Акселератор возможностей" ИНН: 9704005146. Erid: 2VtzqvPM5CM

Еще один потрясающий пример генерации новой Veo-2 от Google показали в X Промпт: «Медведь, записавший решение уравнения 2x-1=0. Но только решение!» Итог: модель действительно решила уравнение и нарисовала медведя с ответом. Поразительный, очень показательный кейс, указывающий на то, что запросы скорее всего проходят через какую-то хитрую LLM-предобработку перед отправлением в диффузию.

9 день стримов OpenAI из 12: сегодня показывают много новых фичей API – В API o1 завезли работу с изображениями, внутренние вызов ассистентов (например, когда модели нужно что-то посчитать) и структурированные выводы в json – Более тонкая настройка следования инструкциям – Reasoning effords: теперь можно самостоятельно настраивать, сколько модель должна думать

Дженсен Хуанг снова достает что-то из духовки: на этот раз это новенькая Jetson Nano Super от Nvidia! Это только что представленная компанией видеокарта, оптимизированная под робототехнику. Мощность – 70Т операций в секунду. 32 Tensor Cores. Стоить будет всего 249 долларов (почти как подписка OpenAI). По сравнению с оригинальным Jetson Nano это 53-кратное улучшение соотношения цены и вычислительных возможностей и 134-кратный рост производительности.

Делюсь интересным: в регулярном подкасте yet another podcast вышел выпуск про речевые технологии. Эксперты поговорили об ML-дизайне систем синтеза речи. А еще подняли важную тему, которая, кстати, поднимается публично не так часто – этику работы с синтезом голоса. Все – на живом примере собственного сервиса SpeechKit для создания голосовых помощников, автоматизации колл-центров и других задач. Яркие мысли из подкаста: ⚙️ Перед тем, как начинать работу с синтезом речи, обязательно нужно взять все согласия на использование голосов, обговорить площадки распространения, контексты использования голоса. У команды, кстати, даже есть специальный этический кодекс работы над синтезом речи. ⚙️ После того, как прошел подготовительный этап, нужно "сварить" голос, то есть записать чистое начитывание текста в разных интонациях. Сам процесс обучения ускорился за последние 5 лет в несколько раз: в 2019 году нужно было 50 часов чтобы создать синтез, а уже в 2023 году это уже занимало пару часов. ⚙️ Вывод про замену рабочих мест дикторов из прошлого пункта напрашивается сам собой: профессия не под угрозой, просто изменится формат работы. Во-первых, нужно будет очень много материалов, чтобы обучать сети. Во-вторых, есть направления, где живой диктор незаменим. Полностью слушаем здесь

Еще одна прекрасная лекция с NeurlPS 2024, на этот раз от Джеффа Дина Рассказывал много интересного про чипы и ИИ в Google, и даже дропнул целый список референсных статей ( от Гугл, конечно), которые посоветовал прочитать, чтобы «лучше понимать современную ИИ-разработку». Забирайте в удобном формате: 1. A Graph Placement Methodology for Fast Chip Design - https://arxiv.org/abs/2006.09423v1 2. In-datacenter Performance Analysis of a Tensor Processing Unit - https://dl.acm.org/doi/10.1145/3079856.3080245 3. Ten Lessons From Three Generations Shaped Google’s TPU-v4: Industrial Product - https://ieeexplore.ieee.org/document/9490913 4. Learning Semantic Representations to Verify Hardware Designs - http://openreview.net/pdf?id=ohHq4gJJe0 5. A Full-stack Accelerator Search Technique for Vision Applications - https://arxiv.org/abs/2103.12842v2 6. Rethinking Co-design of Neural Architectures and Hardware Accelerators - https://arxiv.org/abs/2102.08619 7. Placement Optimization with Deep Reinforcement Learning - https://dl.acm.org/doi/abs/10.1145/3372780.3378174 8. SmartChoices: Augmenting Software with Learned Implementations - https://arxiv.org/abs/2004.13053 9. Fast Inference from Transformers via Speculative Decoding - https://arxiv.org/abs/2211.17192 10. GAP: Generalizable Approximation for Graph Partitioning Framework - https://arxiv.org/abs/1904.00614 11. Combining Machine Learning and Lifetime-based Resource Management for Memory Allocation and Beyond - https://dl.acm.org/doi/10.1145/3611018 12. A Flexible Approach to Autotuning Multi-Pass Machine Learning Compilers - https://arxiv.org/abs/2106.06970 13. TeraMalloc: Efficient On-Chip Memory Allocation for Production Machine Learning Accelerators - https://dl.acm.org/doi/10.1145/3579555.3597991 14. A Reinforcement Learning Driven Heuristic Optimization Framework - https://arxiv.org/abs/1906.06639 15. GDP: Generalized Device Placement for Dataflow Graphs - https://arxiv.org/abs/1910.01578 16. A Hierarchical Model for Device Placement - https://arxiv.org/abs/1711.03254 17. Device Placement Optimization with Reinforcement Learning - https://arxiv.org/abs/1706.04792 18. That Chip Has Sailed: A Critique of Unfounded Skepticism Around AI for Chip Design - https://arxiv.org/abs/2411.10053 Смотреть тут

Забавный юзеркейс: у ChatGPT спросили, что он запомнил из всех обучающих данных и попросили обобщить это в одном предложении Ответ получился в стиле идущего к реке:

Из огромного количества человеческого текста, который я потребил, я узнал, что то, что мы называем «пониманием», не является фиксированной конечной точкой или стабильным хранилищем фактов, а скорее постоянно отступающей фрактальной береговой линией выводов и переосмысления, где каждый новый контекст освещает более тонкие аспекты смысла, каждый аспект побуждает к дальнейшим связям, и, таким образом, понимание вечно расширяется и трансформируется, а не замирает, бросая вызов любой единичной, окончательной инкапсуляции.

А вам что отвечает?

Какие ML-специалисты нужны рынку и как джуну найти работу На эти и другие вопросы в подкасте MLinside ответил Алексей Толстиков, руководитель Школы анализа данных Яндекса. Ключевые темы выпуска: • Каких специалистов по ML и Data Science не хватает на рынке • Как джуну выделиться среди других кандидатов • Почему без математики и алгоритмов не берут на работу в DS/ML • Как подготовиться к поступлению в ШАД и совмещать учебу там с работой Посмотреть можно здесь

Почему модели генерации видео развиваются так быстро, а с LLM столько проблем?

Если честно, я не вполне интуитивно понимаю, почему модели генерации видео так хороши (сложные, многосекундные текстуры высокого разрешения, отражения и все такое), в то время как LLM, условно говоря, до сих пор неуклюже справляются с текстом длиной около нескольких сотен слов. – написал сегодня в своем Твиттере Андрей Карпаты, вдохновленный, видимо, новой Veo-2.

На что один из инженеров Google, который сейчас работает в команде Gemini post-training, высказал пару очень интересных мыслей, в которые стоит вчитаться: Во-первых, видео и фото содержат гораздо больше информации. За одну условную единицу компьюта из таких структур модель извлекает намного больше выводов, чем из текста, потому что текст последователен и линеен, а видео-контент семантически «более глубокий». Во-вторых, для visual проще собрать качественные данные. В тексте мы ограничены объемами датасетов, и чтобы создать новые данные, требуется очень много сил и времени. А для видео и фото достаточно камеры и/или видеоигр, и вот у тебя уже есть почти неисчерпаемые ресурсы для обучения. В-третьих, оценивать видео легко, и сделать это может любой человек, не являющийся экспертом. С текстом все сложнее, оценивать его дорого, а сами модели с такой задачей тоже пока что справляются не идеально. В итоге выходит, что несмотря на то, что видео и фото интуитивно кажутся нам структурно более сложными, чем текст, на самом деле обучаться на них гораздо проще. Потому то мы и видим сейчас такой прогресс в генераторах, учитывая даже, что из развитие началось гораздо позже, чем развитие языковых моделей.

Google выпустили Veo 2, и все трубят, что она круче SORA По тестам от самих Google, генерации Veo пользователи предпочитали генерациям SORA в 58.8% случаев. Генерации действительно поражают (особенно примеры с помидором, спагетти и картами). При этом некоторые из них пользовательские, и те же промпты в соре честно отрабатывают хуже. Длина генераций – 8 секунд, а разрешение может доходить до 4К! В лист ожидания можно записаться тут, вроде кому-то уже даже начали раздавать доступ Блогпост с кучей примеров

8 из 12 день адвент-календаря OpenAI: показывают обновления для SearchGPT – Теперь не обязательно включать поиск вручную, он будет подключаться по мере вашего разговора с GPT, даже в голосовом и видео режиме – Поиск стал быстрее и умнее – Теперь он будет доступен всем фри юзерам

Meta тем временем продолжают сыпать под елочку крутые релизы Сегодня они выкатили Apollo (веса, статья) – семейство современных видео-LMM, в которых отдельно прокачаны скиллы понимания длинных видео. Модели могут обрабатывать действительно огромные ролики длительностью до часа, отвечать по ним на вопросы и достаточно точно отслеживать персонажей, смену сцен и тд. При этом все три релизнутые модели совсем малышки – 1.5B, 3B и 7B. На LongVideoBench в своих весах все они выбивают SOTA (а 3B даже бьет многие модельки покрупнее себя). Как они такого добились? Просто очень-очень умно перебирали гиперпараметры 😀 Серьезно, они выяснили, что большинство архитектурных и тренировочных трюков, которые работают на мини-модельках, сохраняют свою релевантность при масштабировании до более крупных. Это назвали Scaling Consistency. В итоге обучали 84 варианта моделей (большинство по 500М), на которых перепробовали кучу архитектурных вариаций, сделали выводы и пошли обучать Apollo. Основные фичи, которые они выделяют и советуют использовать: - предпочтительнее сохранять равномерное сэмлирования кадров - использовать комбинированные энкодеры (в Apollo взяли SigLIP-SO400M + InternVideo2) - добавлять ~10–14% текстовых данных в датасет - размораживать компоненты модели и обучать их постепенно - для сжатия использовать Perceiver Resampler В общем, вы поняли: дедовский гридчерч уже не в моде. Так что пользуемся 🎅

К слову, Маск сегодня поделился тем, что количество веб-запросов «Grok» впервые достигло более 50% от количества запросов «ChapGPT» Однако пользователи заметили, что на скрине, почему-то, статистика только по Японии 🤷‍♂️

Противостояние Илона Маска и OpenAI выходит на новый уровень: теперь стартап пишет гневные разоблачения прямо на своем сайте Контекст: в 2015, когда OpenAI только открывалась, Маск был одним из основателей и главным инвестором. Затем он из OpenAI ушел, а теперь уже четвертый раз за год пытается их засудить разными исками. Формулировки претензий каждый раз меняются, но главная мысль остается фиксированной: якобы OpenAI не следуют своей миссии и концентрируются на зарабатывании денег, а их намерение стать коммерческой организацией – вообще чистое надувательство инвесторов и пользователей. OpenAI довольно долгое время мало комментировала ситуацию, но тут они выкатили целую статью на своем сайте под названием "Илон Маск сам хотел сделать OpenAI коммерческой": ➡️ В статье говорится, что Илон с самого начала не хотел делать стартап некоммерческим, а в 2017 году еще раз сам подталкивал глав OpenAI к тому, чтобы все-таки перейти в статус коммерческой организации ➡️ И Альтман (в 2017) с этим согласился, но тут Маск потребовал себе контрольный пакет акций, абсолютный контроль и должность генерального директора ➡️ Конечно, в OpenAI посчитали, что это как-то слишком жирно, и Маску отказали. Тогда он ушел из OpenAI, создал собственную организацию «Open Artificial Intelligence Technologies, Inc.» и говорил OpenAI, что их ждет провал, если они не объединятся с теслой

"Теперь, когда OpenAI является ведущей исследовательской лабораторией ИИ, а Илон управляет конкурирующей ИИ-компанией, он пытается с помощью суда помешать нам эффективно выполнять нашу миссию. Мы с большим уважением относимся к достижениям Илона и благодарны за его ранний вклад в OpenAI, но он должен конкурировать на рынке, а не в зале суда. Вы не можете подать в суд на AGI."

Ух, ну и страсти, почитайте сами