Machinelearning

🖼 ImageDream: Image-Prompt Multi-view Diffusion for 3D Generation ImageDream - новый набор диффузионных моделей многоракурсной генерации, разработанный для решения сложной задачи создания 3D-объектов из изображения. 🖥 GitHub: https://github.com/bytedance/ImageDream 📚 Paper: https://arxiv.org/abs/2312.02201 🥩 Demo: https://github.com/bytedance/ImageDream/blob/main @ai_machinelearning_big_data

Критерии выбора инструментов в MLOps и возможности Open Source Вышла третья часть подкаста «Деньги любят техно» про MLOps. На этот раз — максимально практическая: про платформы, инструменты и требования к ним, а также как всё это применять в больших проектах. 🎧Слушать на любой удобной платформе

🪩 DiffusionLight: Light Probes for Free by Painting a Chrome Ball Диффузионная модель, обучена на миллиардах изображений, для визуализации хромированного шара на изображениях с разным освещением. Несмотря на простоту, эта задача остается сложной: диффузионные модели часто вставляют неправильные или непоследовательные объекты и не могут правильно генерировать изображения со светом в формате HDR. Для входного изображения, оценивается освещение сцены в виде карты окружения HDR. Идея заключается в том, чтобы нарисовать на изображении хромированный шар с помощью диффузионной модели и развернуть его в окружении. Таким образом решаются задачи: (1) как последовательно генерировать хромированные шары и (2) как использовать модель диффузии LDR для создания хромированных шаров HDR. Данный метод позволяет генерировать освещение высокого качества в различных условиях и демонстрирует превосходный результат для изображений в дикой природе. 🖥 GitHub: https://github.com/DiffusionLight/DiffusionLight 🔮 Colab: https://colab.research.google.com/drive/15pC4qb9mEtRYsW3utXkk-jnaeVxUy-0S?usp=sharing&sandboxMode=true 📚 Paper: https://arxiv.org/abs/2312.09168 🥩 Score Measurement: https://vistec-my.sharepoint.com/:f:/g/personal/pakkapon_p_s19_vistec_ac_th/EvBHbnLrVnZArhQTcboh6qkBGcSqUqzdgx13iZ2IsLPzOw @ai_machinelearning_big_data

⚡ Как выпустить ML-сервис в прод малыми силами с помощью Cloud ML Platform Создание ML-модели — сложный процесс, а выкатка сервиса на основе модели в прод ещё сложнее. Упростит жизнь работа с облаками. Точнее, с ними можно сделать простую, но эффективную модель, дающую высокую точность предсказаний, и быстро развернуть её в проде, используя предварительно настроенную среду и инструменты, например, Cloud ML Platform. Более того, ML-модель будет иметь потенциал для улучшения. https://habr.com/ru/companies/vk/articles/780632/ @ai_machinelearning_big_data

🔊 Amphion: An Open-Source Audio, Music, and Speech Generation Toolkit Amphion - это новый инструмент с открытым исходным кодом, позволяющий создавать речь, звуки и песни. Он разработан для поддержки исследований в области аудио, музыки и генерации речи. С его помощью Тейлор Свифт демонстрирует свой талант, исполняя песни на китайском. 😊🎵 🖥 GitHub: https://github.com/open-mmlab/Amphion 📚 Paper: arxiv.org/abs/2312.09911 🥩 HF: https://huggingface.co/amphion @ai_machinelearning_big_data

📲 CogAgent: A Visual Language Model for GUI Agents A state-of-the-art-level open visual language model. Люди проводят огромное количество времени на цифровых устройствах, используя графические пользовательские интерфейсы (GUI), например, экраны компьютеров или смартфонов. Большие языковые модели, такие как ChatGPT, могут помочь людям в решении таких задач, как написание электронных писем и ответов на вопросы, но они не способны понимать и взаимодействовать с графическими интерфейсами, что ограничивает их потенциал в плане повышения уровня автоматизации. CogAgent - новая визуальная языковая модель (VLM) с 18 миллиардами параметров, которая специализируется на работе и навигации в графических интерфейсах. Используя кодировщики изображений как низкого, так и высокого разрешения, CogAgent поддерживает ввод с разрешением 1120*1120, что позволяет ему распознавать мельчайшие элементы страниц и текст. Будучи универсальной моделью визуального языка, CogAgent достигает передовых результатов в пяти тестах VQA с большим количеством текста и четырех тестах VQA общего назначения, включая VQAv2, OK-VQA, Text-VQA, ST-VQA, ChartQA, infoVQA, DocVQA, MM-Vet и POPE. CogAgent, использующий в качестве входных данных только скриншоты, превосходит методы на основе LLM, которые принимают извлеченный HTML-текст, в задачах навигации по графическому интерфейсу на ПК и смартфонах. 🖥 code: https://github.com/thudm/cogvlm 📚 paper: https://arxiv.org/abs/2312.08914v1 🔥dataset: https://paperswithcode.com/dataset/ok-vqa ai_machinelearning_big_data

🖥 𝗧𝗵𝗲 𝘀𝘁𝗮𝘁𝗲 𝗼𝗳 𝗼𝗽𝗲𝗻 𝘀𝗼𝘂𝗿𝗰𝗲 𝗶𝗻 𝟮𝟬𝟮𝟯 by GitHub GitHub только что опубликовал свой последний отчет о состоянии открых проектов. Авторы отметили тренд на использование разработчиками технологий искусственного интеллекта и тренд на создание приложений на основе искусственного интеллекта. Они выделили основные тенденции: 🔹 Разработчики все чаще используют генеративный ИИ: Все больше разработчиков работают с моделями OpenAI ( 92% ) и с моделями других ИИ-компаний; в 2023 году проекты генеративного ИИ с открытым исходным кодом входят в десятку самых популярных проектов по количеству контрибьюторов. 🔹 Наблюдается тренд на работу с облачными приложениями: Развертывание облаков становится стандартом; резко возросло количество использования разработчиками Docker контейнеров, IaC и других облачных нативных технологий. 🔹 В 2023 году на GitHub было создано 98 млн новых проектов (за 2022 год - 85.7 млн, за 2021 - 61 млн, за 2020 - 60 млн). Общее число проектов достигло отметки в 420 млн (+27%), а число публично доступных репозиториев - 284 млн (+22%). 🔸 За год добавлено около 65 тысяч новых проектов, связанных с машинным обучением, это на 248% больше, чем в прошлом году. Число AI-проектов за год выросло на 148%. 🔸 Аудитория GitHub за год выросла на 20.2 млн пользователей (+26%) и теперь достигает 114 млн (в прошлом году было 20.5 млн, позапрошлом - 73 млн, три года назад - 56 млн). На первом месте по числу разработчиков находится США, на втором - Индия, на третьем - Китай, на четвёртом Бразилия, на пятом - Великобритания, на шестом - РФ, на седьмом Германия. К 2027 году Индия обгонит США как крупнейшее сообщество разработчиков на GitHub 🔸Javascript остается самым популярным язком. Второе место сохраняет за собой Python.Популярность TypeScript выросла на 37 %. и он вытеснил на четвёртое место язык Java. 5, 6 и 7 места удержали за собой языки С#, C++ и PHP. На восьмое место поднялся язык С, который вытеснил на девятое место Shell. Десятое место занял Go. 🔸 𝗥𝘂𝘀𝘁 растет быстрее всех остальных языков в этом году (рост на 40 % по сравнению с предыдущим годом). 🔸 𝟰.𝟯 миллиона открытых и приватных репозиториев используют 𝗗𝗼𝗰𝗸𝗲𝗿𝗳𝗶𝗹𝗲𝘀. Это является следcтвием роста использования Terraform и других облачных нативных технологий, который мы наблюдали в течение последних нескольких лет. 🔸 Сингапур занял первое место по количеству новых разработчиков на душу населения. 📌 Полный отчет ai_machinelearning_big_data

⚡️ Deep dive into 4 NeurIPS 2023 best paper award winners NeurIPS 2023 обзор лучших работ: https://youtu.be/LkED9wKI1TY - Является ли эмерджентность больших языковых моделей миражом? https://arxiv.org/abs/2304.15004 - Масштабирование языковых моделей с ограничениями по данным. https://arxiv.org/abs/2305.16264 - Прямая оптимизация предпочтений: Your Language Model is Secretly a Reward Model. https://arxiv.org/abs/2305.18290 - DecodingTrust: Всесторонняя оценка достоверности в GPT-моделях. https://arxiv.org/abs/2306.11698 ai_machinelearning_big_data

⚡️ UDiffText: A Unified Framework for High-quality Text Synthesis in Arbitrary Images via Character-aware Diffusion Models ✒ Colab 🥳 UDiffText: Единая платформа для высококачественной генерации текста на изображениях с помощью моделей диффузии. UDiffText способен синтезировать точный текст на синтетических или реальных изображениях, поэтому может применяться для решения таких задач, как редактирование текста на картинке (a), генерация произвольного текста и генерация точного текста. 🖥 code: https://github.com/ZYM-PKU/UDiffText ⚡️page: https://udifftext.github.io 📚 paper: https://arxiv.org/abs/2312.04884 🔥colab: https://github.com/camenduru/UDiffText-colab ai_machinelearning_big_data

Как строится работа полного цикла ML-разработки и как в ней использовать готовые платформенные решения Ведущий программист VK Cloud Станислав Кипрюшин показывает пример работы с Cloud ML Platform для создания сервиса распознавания лиц. В машинном обучении (Machine Learning, ML) можно использовать два подхода: задействовать различные технологии на каждом этапе или работать с готовыми инфраструктурными решениями, которые позволяют создать MLOps-конвейер на одной платформе. Какой путь принесет больше профита — узнайте в статье.

🖼 AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning Только что были выпущены Animate Diff v3 и Sparse Ctrl, модели которые позволяют качественно анимировать и стилизовать видео, генерировать переходы между кадрами. 🖥 Github: https://github.com/guoyww/animatediff/ 💻 Colab: https://colab.research.google.com/github/camenduru/AnimateDiff-colab/blob/main/AnimateDiff_colab.ipynb 📚 Paper: https://arxiv.org/abs/2307.04725 📁 Project: https://animatediff.github.io/ ai_machinelearning_big_data

Улучшение нейросетей, рекомендаций и медицинская диагностика — только часть решений, где могут пригодиться ML-исследования. Авторов самых перспективных из них отметил Яндекс на Yandex ML Prize. Yandex ML Prize — международная премия, которая уже пятый год поддерживает учёных-новичков и мотивирует их заниматься наукой. Участники изучают подходы и алгоритмы, которые позже могут лечь в основу разных технологий и продуктов. Например, поисковых сервисов или компьютерной графики. А ещё способны улучшить медицину: помогать изучать клетки живых организмов или находить редкие болезни на ранних этапах. В этом году 11 лауреатов получили от Яндекса премии от 500 тысяч до 1 миллиона рублей, грант на использование платформы Yandex Cloud для экспериментов и больших вычислений и другие призы. @ai_machinelearning_big_data

💡 TextDiffuser-2: Unleashing the Power of Language Models for Text Rendering Выпущен TextDiffuser-2 с кодом и демо. TextDiffuser-2 демонстрирует расширенные возможности, основанные языковых моделей. Кроме того, что TextDiffuser-2 генерирует текст с поразительной точностью, он обеспечивает правдоподобное расположение текста и демонстрирует разнообразные стили. 📚 Paper: https://arxiv.org/abs/2311.16465 🖥 Code: https://github.com/microsoft/unilm/tree/master/textdiffuser-2 ⚡️ Demo: https://huggingface.co/spaces/JingyeChen22/TextDiffuser-2 @ai_machinelearning_big_data

Яндекс вручил ученым премию Yandex ML Prize Лауреатами международной премии, которую присуждают за значимый вклад в развитие науки в области машинного обучения, стали в этом году 11 человек. Работы лауреатов расширяют возможности для прикладного применения ML-технологий: например, научный сотрудник AIRI и Центра глубинного обучения и байесовских методов НИУ ВШЭ Айбек Аланов исследует генеративные модели для компьютерного зрения и синтеза речи. @ai_machinelearning_big_data

🎨The Art of Prompt Engineering with Stable Diffusion Models! Искусство разработки подсказок с помощью моделей стабильной диффузии! От создания убедительных промптов до доработки результатов - это руководство обязательно к прочтению для всех, кто изучает потенциал искусственного интеллекта в создании изображений. 🔗Guide: https://wandb.ai/geekyrakshit/diffusers-prompt-engineering/reports/A-Guide-to-Prompt-Engineering-for-Diffusion-Models--Vmlldzo1NzY4NzQ3 @ai_machinelearning_big_data

📈 PromptBench: A Unified Library for Evaluating and Understanding Large Language Models. PromptBench - это основанный на Pytorch пакет Python для оценки больших языковых моделей (LLM). Он предоставляет удобные API для исследователей, чтобы проводить оценку LLM. 🖥 Code: https://github.com/microsoft/promptbench 🌟 Docs: https://promptbench.readthedocs.io/en/latest/ 📚 Paper: https://arxiv.org/abs/2312.07910v1 ⚡️ Dataset: https://paperswithcode.com/dataset/mmlu @ai_machinelearning_big_data

Как обработать большое количество данных в несколько десятков петабайт? Как проанализировать и выявить полезные инструменты? Дмитрий, руководитель направления аналитики в команде mail.ru в VK в статье рассказывает о своём подходе к работе с большим количеством данных. В статье вы ознакомитесь с self-сервисом Metida и какие две крупные задачи решает данный сервис; - станет более понятен интерфейс Metida и из чего он состоит; - как данные из реестра попадают в колоночную базу данных; Об этом и других тонкостях работы с данными вы узнаете здесь. @ai_machinelearning_big_data

🧠 EasyVolcap: Accelerating Neural Volumetric Video Research EasyVolcap, библиотека на Pytorch для упрощения процесса захвата, реконструкции и рендеринга объемного видео, с целью унификации процесса обработки многоракурсных видео, реконструкции 4D-сцен и динамического рендеринга . 🖥 Code: https://github.com/zju3dv/easyvolcap 🖌Metrics: https://short.llm360.ai/amber-metrics 📚 Paper: https://arxiv.org/abs/2312.06575v1 ⚡️ Dataset: https://paperswithcode.com/dataset/nerf @ai_machinelearning_big_data

#ds #ml #ai #career #meetup  Митап для начинающих IT-специалистов Будет большой блок Data Science-лекций, а еще расскажут, как прокачать IT-карьеру и многое другое. Участников ждут: 🔹  лекции, мастер-классы и воркшопы по DS, ML, AI и др.; 🔹  лайфхаки быстрого роста от джуна до сеньора и прожарка резюме; 🔹  оживление цифрового аватара при помощи нейросети; 🔹  демонстрация квантового компьютера; 🔹  after-party и 🎁 мерч в подарок каждому участнику. Участие бесплатное, но нужно зарегистрироваться!  📅 16 декабря 📍 Москва, ЦДП  🔗 Зарегистрироваться Реклама. БАНК ГПБ (АО). ИНН 7744001497.

⚡️ LLM360 - framework for open-source LLMs to foster transparency, trust, and collaborative research Новый LLM360 фреймворк, который расширяет границы открытых LLM! Совершенно новые предварительно обученные LLM со обучающим полным кодом, данными и 360 контрольными точками модели. 🖥Code: https://short.llm360.ai/amber-code ⚡️ Model: https://short.llm360.ai/amber-model 🖌Metrics: https://short.llm360.ai/amber-metrics 📚Data: https://short.llm360.ai/amber-data @ai_machinelearning_big_data