Machinelearning

OpenAI только что выпустила технический отчет Sora! Вот что вам нужно знать о лучшей архитектуре модели преобразования текста в видео. 𝟭. 𝗗𝗮𝘁𝗮 𝗥𝗲𝗽𝗿𝗲𝘀𝗲𝗻𝘁𝗮𝘁𝗶𝗼𝗻: Sora преобразует визуальные данные в пространственно-временные патчи (spacetime patches), подобно токенизации в больших языковых моделях (LLM). Это позволяет масштабировать обучение на разнообразном визуальном контенте. 𝟮. 𝗖𝗼𝗺𝗽𝗿𝗲𝘀𝘀𝗶𝗼𝗻 𝗮𝗻𝗱 𝗣𝗮𝘁𝗰𝗵 𝗘𝘅𝘁𝗿𝗮𝗰𝘁𝗶𝗼𝗻: Видео компрессор уменьшает визуальные данные до сжатого латентного пространства, а затем разбивает его на пространственно-временные патчи. Эти патчи являются строительными блоками для обучения и создания контента. 𝟯. 𝗧𝗿𝗮𝗻𝘀𝗳𝗼𝗿𝗺𝗲𝗿-𝗯𝗮𝘀𝗲𝗱 𝗟𝗲𝗮𝗿𝗻𝗶𝗻𝗴: Sora использует трансформеры для обработки пространственно-временных патчей, эффективно улавливая сложные паттерны и динамику генераций. Этот метод использует способность трансформеров обрабатывать большие наборы данных и различные зависимости. 𝟰. 𝗗𝗶𝗳𝗳𝘂𝘀𝗶𝗼𝗻 𝗣𝗿𝗼𝗰𝗲𝘀𝘀: Диффузия используеся для уточнения зашумленных входных данных в детальные видео. Предсказывая лучшие версии патчей с каждой итерацией, Sora генерирует высококачественные видео, руководствуясь текстовыми промптами. 𝟱. 𝗙𝗹𝗲𝘅𝗶𝗯𝗹𝗲 𝗢𝘂𝘁𝗽𝘂𝘁 𝗚𝗲𝗻𝗲𝗿𝗮𝘁𝗶𝗼𝗻: Благодаря патч-ориентированному подходу Sora генерирует видео различных размеров и форм. Она может настраивать выходной сигнал под конкретные разрешения, соотношения сторон и продолжительность, что делает ее очень адаптируемой. 𝟲. 𝗘𝗺𝗲𝗿𝗴𝗲𝗻𝘁 𝗖𝗮𝗽𝗮𝗯𝗶𝗹𝗶𝘁𝗶𝗲𝘀: Масштабные тренировки Sora привели к появлению свойств, необходимых для генерации качетсвенного 3D-контента и симуляция взаимодействий. https://openai.com/research/video-generation-models-as-world-simulators ai_machinelearning_big_data

✉️ Вам приглашение! Кому: талантливому Python-разработчику От кого: от Сбера Куда: на праздничный митап в честь 33-летия Python! Во вторник, 20 февраля, в московском офисе Сбера пройдёт Python Birthday Meetup с интересными докладами, профессиональным нетворкингом и приятными праздничными подарками. О чём поговорим: 🎈 Погрузимся в мир быстродействия Python и возможности распараллеливания вычислений, оптимизации кода и внедрения компонентов для вычисления на GPU. 🎈 Изучим кейсы использования Python при создании HDMap в беспилотной технологии и узнаем, как автоматизируется большое количество задач по оцифровке локаций в SberAutoTech. 🎈 Узнаем, с какими задачами и проблемами сталкивается разработчик при работе с GigaСhat, и как Python SDK GigaChain помогает их преодолевать. Скорее регистрируйтесь по ссылке, чтобы забронировать свой праздничный колпачок и кусочек торта!

⚡️ V-JEPA: The next step toward Yann LeCun’s vision of advanced machine intelligence (AMI) V-JEPA сегодня выпущен новый метод обучения машин пониманию и моделированию физического мира с помощью просмотра видео. Эта работа - еще один важный шаг на пути к к видению моделей ИИ, которые используют изученное понимание мира для планирования, рассуждения и выполнения сложных задач. Модели способны понимать и предсказывать, что происходит в видео, даже при ограниченном объеме информации. Они обучаются, предсказывая недостающие или непонятные части видео в своем внутреннем пространстве признаков. В отличие от генеративных подходов, которые заполняют недостающие пиксели, этот гибкий подход позволяет до 6 раз повысить эффективность обучения и выборки. Модели были предварительно обучены на полностью немаркированных данных. Результаты показывают, что, лучшие модели V-JEPA достигают 82,0 % на Kinetics-400, 72,2 % на Something-Something-v2 и 77,9 % на ImageNet1K. Эта работа является важной вехой на пути развития машинного интеллекта. ▪Github: https://github.com/facebookresearch/jepa ▪Paper: https://ai.meta.com/research/publications/revisiting-feature-prediction-for-learning-visual-representations-from-video/ ▪Blog: https://ai.meta.com/blog/v-jepa-yann-lecun-ai-model-video-joint-embedding-predictive-architecture/ ai_machinelearning_big_data

Дорогие коллеги, Сейчас наши друзья проводят исследование рынка разметки данных, чтобы понять потребности и задачи, с которыми они чаще всего встречаются. Для этого планируется интервью с DS инженерами или тим-лидами, которые размечают данные в компании силами собственных инженеров или разметчиков. Интервью займет не больше 15 минут, а после компания поделится результатами исследования со всеми, кто принимал участие в опросе. В благодарность для всех участников наши друзья получат эксклюзивный гайд "Автоматизация разметки данных" с закрытой конференции по AI и 1000 рублей на карту. Если вы хотите готовы дать интервью напишите @odinaev_djurahon

👨‍🦱 Awesome Face Recognition Огромный кураторский список материалов: обнаружение лиц; распознавание; идентификация; верификация; реконструкция; отслеживание; сверхразрешение и размытие; генерация и синтез лиц; замена лиц; защита от подделки; поиск по лицу. ▪Github ai_machinelearning_big_data

Если вы увлекаетесь Computer Science настолько, что хотите перейти от типовых кейсов к задачам со звёздочкой, советуем обратить внимание на образовательные программы под руководством экспертов-практиков. Такие форматы, насыщенные живым общением и возможностью поработать над реальными проектами, - лучший способ выйти на новый уровень. Начать можно с интенсивов. Например, в апреле Яндекс Образование проведёт бесплатный двухнедельный студкемп по машинному обучению на базе НИУ ВШЭ. Среди преподавателей эксперты из Школы анализа данных, Яндекса и ВШЭ. Программа кемпа направлена на насыщенную практическую работу и обмен опытом - отличная возможность добавить новый проект и сертификат в портфолио. На программе ждут студентов профильных направлений. Чтобы подать заявку, заполните анкету участника до 29 февраля. Всем, кто успешно пройдёт отбор, Яндекс Образование оплатит дорогу и проживание. Поторопитесь - количество мест ограничено.

⚡️ Magic-Me: Identity-Specific Video Customized Diffusion Новый фреймворк для создания видео с конкретным человеком. С помощью предварительно обученного ID-токена вы можете генерировать любые видеоклипы с заданным персонажем. В работе представлены ряд управляемых методов генерации и редактирования видео. ▪Github: https://github.com/Zhen-Dong/Magic-Me ▪Colab: https://colab.research.google.com/drive/1gMialn4nkGeDZ72yx1Wob1E1QBgrqeGa ▪Project: https://magic-me-webpage.github.io ▪Paper: arxiv.org/abs/2402.09368 ai_machinelearning_big_data

🔥 World Model on Million-Length Video And Language With RingAttention Новая модель для обработки видео и текста длиной в миллион символов с помощью RingAttention. В опенсорс выложены 7B-модели, которые способны обрабатывать длинные текстовые документы и видео длиной более 1 млн лексем. ▪Github: https://github.com/LargeWorldModel/LWM ▪Project: https://largeworldmodel.github.io ▪Paper: https://arxiv.org/abs/2402.08268 ai_machinelearning_big_data

🚨 Осторожно, утечки! Как сообщает DLBI, в 2022 году в сеть утекли данные 75% россиян. И это несмотря на то, что компании все больше совершенствуют системы защиты информации (используя разные классы решений, такие как DLP, DAM, DCAP и другие), а ответственность за ее хищение становится все строже. Positive Technologies предлагает специалистам по защите информации пройти опрос и рассказать, чего не хватает в существующих системах защиты данных и что, по вашему мнению, можно улучшить. Меньше слов, больше дела, опрос — по ссылке.

🧠 SELF-DISCOVER: Large Language Models Self-Compose Reasoning Structures Новая стратегия prompt-flow от Google, которая позволяет LLM "самостоятельно обнаруживать присущие, описанной задаче, структуры рассуждений для решения сложных проблем". Уже ывпущено несколько первых реализаций в составе LangChain и LangGraph! ▪Paper: https://arxiv.org/pdf/2402.03620.pdf ▪LangChain example: https://github.com/langchain-ai/langchain/blob/master/cookbook/self-discover.ipynb ▪LangGraph example: https://github.com/langchain-ai/langgraph/blob/main/examples/self-discover/self-discover.ipynb ai_machinelearning_big_data

🎉 Телеграм-канал Яндекса специально для ML-специалистов Yandex for ML — канал для ML-инженеров от Яндекса. Рассказываем, как мы применяем ML в продуктах Яндекса, и показываем людей, которые двигают вперёд технологии прямо сейчас. Подписывайтесь 👉 @Yandex4ML

👁️ HASSOD: Hierarchical Adaptive Self-Supervised Object Detection HASSOD - полностью самоконтролируемый подход для обнаружения и сегментации широкого спектра объектов. HASSOD демонстрирует значительное преводходство по сравнению с предыдущими современными методами. 🖥 Github: https://github.com/Shengcao-Cao/HASSOD 📚 Paper: https://arxiv.org/abs/2402.03311 ⏩ Project: https://hassod-neurips23.github.io/ 💻 Video: https://www.youtube.com/watch?v=s8u7tEKg5ew ai_machinelearning_big_data

🦾 Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models Новый метод тонкой настройки, названный Self-Play fIne-tuNing (SPIN), в основе которого, лежит механизм самовоспроизведения, в котором LLM совершенствует свои возможности, взаимодейтсвия с экземплярами самого себя и самостоятельно генерирует данные для обучения. 🖥 Github: https://github.com/uclaml/SPIN 📚 Paper: https://arxiv.org/abs/2401.01335 ⏩ Project: https://uclaml.github.io/SPIN/ 💻 Model: https://huggingface.co/collections/UCLA-AGI/zephyr-7b-sft-full-spin-65c361dfca65637272a02c40 🛡 Dataset: https://huggingface.co/collections/UCLA-AGI/datasets-spin-65c3624e98d4b589bbc76f3a ai_machinelearning_big_data

erid: LjN8JwNr5 Хотите начать карьеру в машинном обучении или прокачать скиллы, чтобы брать задачи посложнее и расти в зарплате? Станьте ML-инженером и углубите знания в разработке Machine Learning моделей, которые будут решать задачи бизнеса. В этом поможет курс «ML Engineering: от базы до продукта» от онлайн-школы «karpovꓸcourses» и магистратуры ИТМО AI Talent Hub. На курсе вас всему научат топовые эксперты лучшего образовательного проекта ИТМО 2023 по версии премии ITMO.EduAwards. Вы получите навыки разработки и обучения Machine Learning моделей, соберете портфолио и станете полноценным специалистом, который готов выйти на рынок труда. После выпуска у вас будет диплом ИТМО гособразца о профессиональной переподготовке и диплом о присвоении специализации от «karpovꓸcourses»+AI Talent Hub ИТМО. А если захочется окончить магистратуру - сможете поступить на бюджет в ИТМО и учиться в магистратуре всего 1 год вместо двух - это сэкономит вам от 200 тысяч рублей Подать заявку: https://clc.to/iL3XSQ Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627.

⚡️ LGM: Large Multi-View Gaussian Model for High-Resolution 3D Content Creation Новый фреймворк, предназначенный для создания 3D-моделей высокого разрешения из текстового описания или изображений с одним ракурсом. 🖥 Github: https://github.com/3DTopia/LGM 📚 Paper: https://arxiv.org/abs/2402.05054 🔗 Demo: https://huggingface.co/spaces/ashawkey/LGM 💻 Weights: https://huggingface.co/ashawkey/LGM ⏩ Project: https://me.kiui.moe/lgm/ ai_machinelearning_big_data

⚡️ Hiring days для ML и Backend-разработчиков Станьте частью VK всего за два дня. Команды с сильным бэкграундом, современный стек, масштабные задачи и проекты ждут вас. Отправить отклик можно до 15 февраля включительно.

🔥 EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction EfficientViT-SAM - это новое семейство ускоренных моделей Segment Anything Models для задач компьютерного зрения с высоким разрешением. Скорость до 69 раз выше, чем у SAM. 🖥 Github: https://github.com/mit-han-lab/efficientvit 📚 Paper: https://arxiv.org/abs/2205.14756 ⏩ Tutorial: https://www.jetson-ai-lab.com/vit/tutorial_efficientvit.html ai_machinelearning_big_data

👨‍🎓 Famous scientists and modern technologies by Kandinsky Такой подборкой порадовала отечественная генеративная модель в честь Дня науки. В частности, Kandinsky нарисовала Менделеева за ноутбуком, Дарвина за электронным микроскопом, Павлова с собакой-роботом и других. 🌐page: https://vk.com/kandinskiy_bot?w=wall-219823705_8793 ai_machinelearning_big_data

⭐️ YOLO-World Real-Time Open-Vocabulary Object Detection Обнаружение объектов в режиме реального времени БЕЗ ОБУЧЕНИЯ. YOLO-World - это новая SOTA, которая превосходит предыдущие модели как по точности обнаружения, так и по скорости. 35,4 AP при 52,0 FPS на V100. Все, что вам нужно, это изображение + промпт (список категорий, которые вы хотите обнаружить). 🖥 Github: https://github.com/AILab-CVC/YOLO-World 📚 Paper: https://arxiv.org/abs/2401.17270 ⚡️Demo: https://www.yoloworld.cc 🤗Hf: https://huggingface.co/spaces/stevengrove/YOLO-World ai_machinelearning_big_data

Узнайте больше об архитектуре сервисов, искусственном интеллекте, UX/UI и безопасности на главной конференции VK Первая конференция, посвященная инновационным технологиям, состоится 6 марта в Доме культуры «ГЭС-2». Здесь ведущие эксперты осветят самые актуальные темы IT: «Архитектура & highload», «Machine Intelligence», «Продукт UX&UI» и «Безопасность». Участие в VK JT 6 марта бесплатное после регистрации.