Machinelearning

⚡️ MoE-LLaVA: Mixture of Experts for Large Vision-Language Models Новая стратегия обучения MoE-tuning для LVLM, которая позволяет построить модель с огромным количеством параметров, которая эффективно решает проблему снижения производительности, обычно связанную с мультимодальным обучением и разреженностью модели. Этот фреймворк уникальным образом активирует только топ-к экспертов через маршрутизаторы во время развертывания, оставляя остальных экспертов неактивными. Обширные эксперименты подчеркивают возможности MoE-LLaVA в визуальном понимании и ее потенциал для уменьшения галлюцинаций в результатах моделирования. Примечательно, что при наличии всего 3 миллиардов редко активируемых параметров MoE-LLaVA демонстрирует производительность, сравнимую с LLaVA-1.5-7B на различных наборах данных для визуального понимания, и даже превосходит LLaVA-1.5-13B в тестах на галлюцинации объектов. 🖥 Code: https://github.com/PKU-YuanGroup/MoE-LLaVA 🚀 Jupyter: https://github.com/camenduru/MoE-LLaVA-jupyter 📚 Paper: https://arxiv.org/abs/2401.15947 @ai_machinelearning_big_data

Скажите что-то на карьерном Тинькофф в поиске крутых ИТ-спецов. С компании — профессиональный рост, интересные финтех-задачи, решение бытовых забот и работа там, где вы живете. С вас — выбрать вакансию и откликнуться тут АО «Тинькофф Банк», ИНН 7710140679

📷 InstructIR: High-Quality Image Restoration Following Human Instructions InstructIR принимает на вход изображение и инструкцию по его улучшению. Нейронная сеть выполняет комплексное восстановление и улучшение изображения. InstructIR достигает передовых результатов в нескольких задачах реставрации, включая обесцвечивание, размытие и улучшение изображения (даже при слабом освещении). 🖥 Code: https://github.com/mv-lab/InstructIR 🚀 Project: mv-lab.github.io/InstructIR/ 🎮 Colab: https://colab.research.google.com/drive/1OrTvS-i6uLM2Y8kIkq8ZZRwEQxQFchfq 📚 Paper: https://arxiv.org/abs/2401.16468 @ai_machinelearning_big_data

Отличная возможность для независимых разработчиков проявить себя и развить собственный проект — Программа грантов Yandex Open Source. Для вас есть отдельный трек машинного обучения — можно подать заявку прямо сейчас и выиграть грант на Yandex Cloud на сумму 600 тысяч рублей. Регистрируйте проект до 29 февраля по ссылке

⚡️ DiffSynth Studio Diffutoon - это новая модель диффузии для преобразования видео в анимационный стиль. Модель работает с высоким разрешением и быстрыми движениями. 🖥 Code: https://github.com/Artiprocher/DiffSynth-Studio 🚀 Project: https://ecnu-cilab.github.io/DiffutoonProjectPage/ 📚 Paper: https://arxiv.org/pdf/2401.16224.pdf @ai_machinelearning_big_data

⭐️ GALA: Generating Animatable Layered Assets from a Single Scan Новый ИИ, который может раздевать 3D модели людей. GALA может обработать однослойную сетку одетого 3D-человека и разложить ее на полноценные многослойные 3D-объекты. Полученные результаты могут быть объединены с другими объектов для создания новых одетых человеческих аватаров с любой позой. 🖥 Code: https://github.com/snuvclab/GALA 🚀 Project: snuvclab.github.io/gala 📚 Paper: https://arxiv.org/abs/2401.12979 @ai_machinelearning_big_data

🎉 Release Code Llama 70B! Выпуск Code Llama 70B: новая, более производительную версию LLM для генерации кода - доступную по той же лицензии, что и предыдущие модели Code Llama. - CodeLlama-70B - CodeLlama-70B-Python - CodeLlama-70B-Instruct CodeLlama-70B-Instruct достигает 67,8 балла в HumanEval, что делает ее одной из самых высокопроизводительных открытых моделей на сегодняшний день. CodeLlama-70B - это самая производительная база для тонкой файнтюнинга моделей генерации кода. Скачать модели ➡️ https://ai.meta.com/resources/models-and-libraries/llama-downloads/

📽 VideoCrafter2: Overcoming Data Limitations for High-Quality Video Diffusion Models 🔥 Text2Video 📹 Image2Video 🎥 Jupyter Notebook 🥳 VideoCrafter 2 - это обновленный набор инструментов с открытым исходным кодом для создания и редактирования видео высокого качества. В настоящее время он включает модели Text2Video и Image2Video. 🖥 Code: https://github.com/AILab-CVC/VideoCrafter 🚀 Project: https://ailab-cvc.github.io/videocrafter2/ 📚 Paper: https://arxiv.org/abs/2401.09047 🦉 Jupyter: https://github.com/camenduru/VideoCrafter-colab @ai_machinelearning_big_data

⭐️ ComfyUI-3D-Pack Модель, которая может генерировать и обрабатывать 3D-объекты с помощью передовых алгоритмов (3DGS, NeRF, Differentiable Rendering, SDS/VSD Optimization, и тд). ▪ComfyUI-3D-Pack: https://github.com/MrForExample/ComfyUI-3D-Pack ▪TGS: https://github.com/VAST-AI-Research/TriplaneGaussian @ai_machinelearning_big_data

Обновленная нейромодель GigaChat PRO оказалась лучше по качеству ответов, чем GPT-3.5-turbo от OpenAI не только на русском, но и на английском языке. Специалисты, которые проводили сравнение выяснили, что GigaChat PRO на 6% лучше конкурента справилась с вопросами в тесте MMLU — он включает в себя вопросы в 57 областях знаний из математики, истории, медицины и других. Учитывая, что GPT от OpenAI не очень хорошо справляется с запросами на русском — среди нейронок на российском рынке появился явный фаворит.

🖥 Depth Anything is now available Monocular depth estimation is the task of estimating the depth value (distance relative to the camera) of each pixel given a single (monocular) RGB image. Монокулярная оценка глубины - это задача определения значения глубины (расстояния относительно камеры) каждого пикселя по одному (монокулярному) RGB-изображению. Depth Anything - это новая интересная модель от Университета Гонконга/TikTok, которая берет существующую архитектуру нейронной сети для монокулярной оценки глубины (а именно модель DPT с основой DINOv2) и увеличивает набор данных для обучения на ней. Авторы разработтали "движок данных" для сбора и автоматического аннотирования масштабных немаркированных данных (~62 миллиона изображений), что значительно расширяет охват данных и позволяет снизить ошибку обобщения. 🖥 Code: https://github.com/NielsRogge/Transformers-Tutorials/blob/master/Depth%20Anything/Predicting_depth_in_an_image_with_Depth_Anything.ipynb 🚀 HF: https://huggingface.co/docs/transformers/v4.28.0/tasks/monocular_depth_estimation 📚 Paper: https://huggingface.co/papers/2401.10891 @ai_machinelearning_big_data

С чего начать, если хотите стать бизнес-архитектором в IT? С бесплатного практического урока от OTUS, где опытный эксперт разберет: 1️⃣ Что такое бизнес-архитектура 2️⃣ Как это работает в вертикально-интегрированных корпорациях и экосистемах 3️⃣ Популярные техники построения работающей бизнес-архитектуры Вебинар будет полезен всем IT-спецам, которые хотят построить карьеру в управлении. 📢 Встречаемся 29 января в 19:00 мск в рамках курса «Enterprise Architect».После урока у вас будет возможность стать студентом курса по специальной цене и даже в рассрочку! 👉Зарегистрируйтесь прямо сейчас, чтобы посетить бесплатный урок и получить запись: регистрация Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

☑ Prompt Engineering with Llama 2— an interactive guide Большой интерактивный гайд промпт-инжиниринг с Llama 2" - руководство по проектированию просптом с лучшими практиками для разработчиков, исследователей и энтузиастов, работающих с большими языковыми моделями. https://github.com/facebookresearch/llama-recipes/blob/main/examples/Prompt_Engineering_with_Llama_2.ipynb @ai_machinelearning_big_data

Новый год — старт для ваших новых карьерных возможностей 🎄 6 февраля приглашаем на Зимнюю ярмарку вакансий, которая пройдёт офлайн и онлайн. Это классная возможность стать частью IT-сообщества Яндекса и познакомиться с теми, кто создаёт сервисы с многомиллионной аудиторией. Что вас ждёт 🔸 Вакансии для стажёров Узнаете о новых вакансиях и задачах, а также сможете лично пообщаться с командами и подать заявку туда, где понравится больше всего. 🔸 Полезные лекции Узнаете о технологиях и кейсах из практики от экспертов Яндекса. Лекции пройдут по основным направлениям стажировки: бэкенд, фронтенд, мобильная разработка, аналитика и машинное обучение. 🔸 Нетворкинг со стажёрами Яндекса Узнаете, как они проходили отбор, как готовились и чем планируют заниматься дальше. Сейчас в Яндексе одновременно стажируются более 600 человек — им есть что рассказать. Как попасть на Зимнюю ярмарку вакансий Чтобы попасть на ярмарку, нужно пройти предварительный отбор — решить задачи на Яндекс Контесте до 31 января включительно. Мы проверим решения, оценим анкеты и позовём лучших на день стажёра в Москве. Приглашения придут до 2 февраля включительно. 🍭 Закрытое шоу Тех, кто решит все задачи из Контеста, мы пригласим на вечернее закрытое шоу «Всё в плюсе». Это соревнование между различными бизнес-группами Яндекса, в которых примут участие и стажёры, и топовые разработчики. Знакомство с различными сервисами, нетворкинг с действующими стажёрами, вечеринка с кавер-группой и диджеем — это то, что ждёт вас на шоу. Узнать подробности и подать заявку — https://yandex.ru/yaintern/intern-day

🔮 Awesome AI Agents Новый 🌟Кураторский списко AI-агентов🌟!. ▪ 150+ ИИ-агентов и фреймворков. ▪ Фильтр по сценариям использования. ▪ Фильтр по открытому/закрытому исходному коду. ▪ Фильтр новых продуктов ИИ ▪ Возможность получать обновления о конкретном агенте ИИ. 🖥 Github 🎮 Project @ai_machinelearning_big_data

☑ InstantID : Zero-shot Identity-Preserving Generation in Seconds InstantID - новая модель, которая может генерировать индивидуальные изображения с различными позами или стилями на основе одного эталонного изображения без какого-либо обучения! 🖥 Code: https://github.com/InstantID/InstantID 🚀 Project: https://instantid.github.io/ 📚 Paper: https://arxiv.org/abs/2401.07519 @ai_machinelearning_big_data

🖥 Intel® Extension for Transformers Инновационный набор инструментов на основе трансформеров для ускорения GenAI/LLM. pip install intel-extension-for-transformers #intelai #intelgpu 🖥 Code: https://github.com/intel/intel-extension-for-transformers 🚀 Docs: https://intel.github.io/intel-extension-for-transformers/latest/docs/Welcome.html 🌟 Dataset: https://huggingface.co/datasets/Intel/orca_dpo_pairs 🚀Release notes: https://github.com/intel/intel-extension-for-transformers/releases/tag/v1.3.1 @ai_machinelearning_big_data

🤳 Vlogger - система искусственного интеллекта для генерации коротких влогов из текста. В отличие от коротких видеороликов длительностью в несколько секунд, влог часто содержит сложную сюжетную линию с разнообразными сценами, что является сложной задачей для большинства существующих подходов к созданию видео. Vlogger может генерировать видео на несколько минут из текста по сценарию без потери связности. 🖥 Code: https://github.com/zhuangshaobin/vlogger 🚀 Colab: github.com/camenduru/Moore-AnimateAnyone-colab 📚 Paper: https://arxiv.org/abs/2401.09414v1 🌟 Dataset: https://paperswithcode.com/dataset/ucf101 @ai_machinelearning_big_data

🎮 RAP-SAM:Towards Real-Time All-Purpose Segment Anything Модель для универсальной сегментации в реальном времени для распознавания и сегментации объектов на изображениях, видео и интерактивных материалах. 🖥 Code: https://github.com/xushilin1/rap-sam 📚 Paper: https://arxiv.org/abs/2401.10228v1 🌟 Dataset : https://paperswithcode.com/dataset/coco @ai_machinelearning_big_data\

⚠️  Снижение размерности в ML – что это такое и как с этим работать? Расскажет Мария Тихонова – Senior Data Scientist в «SberDevices» и преподаватель ВШЭ. Встречаемся на бесплатном практическом уроке «Метод главных компонент для снижения размерности» от OTUS. • На занятии вы узнаете основные подходы к задаче снижения размерности в ML • Изучите метод главных компонент для снижения размерности и научитесь применять алгоритм PCA на практике. Встречаемся 22 января в 18:00 мск в рамках курса «Machine Learning. Professional». Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок и получить список вопросов и ответов для прохождения интервью 👉Регистрация https://otus.pw/IFnP/?erid=LjN8K6S1b Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.