Machinelearning

🚀 NAUTILUS: boosting Bayesian importance nested sampling with deep learning A novel approach to boost the efficiency of the importance nested sampling (INS) technique for Bayesian posterior and evidence estimation using deep learning. Nautilus - это проект от MIT на Python для оценки байесовской апостериорной вероятности. Nautilus обладает высокой точностью,  по сравнению с традиционными методами оценки МСМС и Nested Sampling. Пример: pip install nautilus-sampler import corner import numpy as np from nautilus import Prior, Sampler from scipy.stats import multivariate_normal prior = Prior() for key in 'abc': prior.add_parameter(key) def likelihood(param_dict): x = [param_dict[key] for key in 'abc'] return multivariate_normal.logpdf(x, mean=[0.4, 0.5, 0.6], cov=0.01) sampler = Sampler(prior, likelihood) sampler.run(verbose=True) points, log_w, log_l = sampler.posterior() corner.corner(points, weights=np.exp(log_w), labels='abc') 🖥 Github: https://github.com/johannesulf/nautilus ⭐️ Docs: https://nautilus-sampler.readthedocs.io/ 📕 Paper: https://arxiv.org/abs/2306.16923v1 ai_machinelearning_big_data

🔘Что отличает обучение с подкреплением от основных методов машинного обучения? Погрузимся в историю RL и разберем отличительные особенности этого направления 3 июля в 20:00 мск на открытом уроке в OTUS. Вебинар пройдет в рамках старта онлайн-курса «Reinforcement Learning» и будет полезен всем DS/ML/DL специалистам и IT-специалистам, которые хотят расширить свои знания в этой области. 💬На занятии мы: — Рассмотрим RL с точки зрения вычислений и через призму поведенческих и когнитивных наук. — Разберем классический пример многорукого бандита — автомата для казино — Продемонстрируем возможности примитивного алгоритма RL в упрощенной среде. — Обсудим самые знаковые приложения RL нашего времени. 👉Регистрация для участия https://otus.pw/1af3O/ 📌Спикером выступит Андрей Маргерт, исследователь Машинного Обучения в Wageningen Research и преподаватель курса. Не упустите возможность познакомиться с экспертом! После вебинара вы сможете продолжить обучение на курсе, доступном в рассрочку. Нативная интеграция подробная информация о продукте на сайте www.otus.ru

⭐️ ManimML: Communicating Machine Learning Architectures with Animation An open-source Python library for easily generating animations of ML algorithms directly from code. ManimML - это фреймворк для создания красочной, интерактивной анимации и визуализации различных концепций и алгоритмов машинного обучения. Пример: from manim_ml.neural_network import NeuralNetwork, Convolutional2DLayer, FeedForwardLayer # Make nn nn = NeuralNetwork([ Convolutional2DLayer(1, 7, filter_spacing=0.32), Convolutional2DLayer(3, 5, 3, filter_spacing=0.32, activation_function="ReLU"), FeedForwardLayer(3, activation_function="Sigmoid"), ], layer_spacing=0.25, ) self.add(nn) # Play animation forward_pass = nn.make_forward_pass_animation() self.play(forward_pass) 🖥 Github: https://github.com/helblazer811/manimml 📕 Paper: https://arxiv.org/abs/2306.17108v1 📌 Project: https://www.manim.community/ ai_machinelearning_big_data

🧍‍♂ BEDLAM: Bodies Exhibiting Detailed Lifelike Animated Motion BEDLAM is useful for a variety of tasks and all images, ground truth bodies, 3D clothing, support code, and more are available for research purposes. Нейронная сеть, обученная только на синтетических данных, которая достигает самой высокой точности при решении задачи оценки 3D позы и формы человека (HPS) по реальным изображениям. 🖥 Github: https://github.com/pixelite1201/BEDLAM 📕 Paper: https://bedlam.is.tuebingen.mpg.de/media/upload/BEDLAM_CVPR2023.pdf 🔗Render code: https://github.com/PerceivingSystems/bedlam_render 🎞 Video: https://youtu.be/OBttHFwdtfI 👑 Dataset: https://paperswithcode.com/dataset/bedlam ai_machinelearning_big_data

А с собакой в офис можно? Ответ: да, если вы работаете в СберМаркете Ребята создали комфортное pet-friendly пространство. В московском офисе компании домашние любимцы не мешают работе, а, наоборот, помогают сотрудникам улучшить настроение и за счёт этого повысить продуктивность. И как же приятно в обеденный перерыв не просто сходить за кофе, а выйти на полноценную прогулку со своим питомцем! А чтобы не забывать о любимых хвостиках даже в рабочих чатах, ребята сделали с ними стикеры. Ну разве не прелесть! Хотите тоже работать в СберМаркете, водить своего пёсика в офис и вместе с командой профессионалов определять будущее доставки из магазинов и ресторанов? Ищите вакансии на сайте Реклама. ООО «Инстамарт Сервис», 115035, Москва, ОГРН 1187746494980. 12+

📚 5 Free Books on Natural Language Processing to Read in 2023 5 великолепных бесплатных книг по NLP, актуальных в 2023 году. 1. Speech and Language Processing Authors: Dan Jurafsky and James H. Martin Книга, написанная двумя профессорами Стэнфордского университета, по обработке речи и языка содержит исчерпывающее введение в мир НЛП. Она разбита на 3 раздела: Фундаментальные алгоритмы для НЛП, Приложения НЛП и Аннотирование лингвистической структуры. 2. Foundations of Statistical Natural Language Processing Authors: Christopher D. Manning and Hinrich Schütze Эта книга начинает с основ НЛП и постепенно погружает вас в математические аспекты, неодходимые для обработки естественного языка, такие как вероятностные пространства, теорема Байеса, дисперсия и многие другие. 3. Pattern Recognition and Machine Learning Author: Christopher M. Bishop Это детальное введение в область распознавания образов и машинного обучения.В конце каждой главы есть упражнение, подобранное таким образом, чтобы лучше объяснить читателю каждую концепцию. 4. Neural Network Methods in Natural Language Processing Author: Yoav Goldberg Книга начинается с изучения основ, таких как линейные модели, перцептроны, feed-forward, обучение нейронных сетей и тд. Автор использовал математический подход для объяснения этих фундаментальных элементов вместе с практическими примерами. 5. Practical Natural Language Processing В этой книге рассказывается о том, как НЛП используется в реальном мире, о конвейере моделей НЛП, а также о текстовых данных и примерах использования, таких как чат-боты типа ChatGPT. В этой книге вы узнаете, как НЛП может быть использовано в различных отраслях, таких как розничная торговля, здравоохранение, финансы и др.Вы сможете узнать, как работает конвейер НЛП в каждой из областей, и понять, как использовать его в работе. ai_machinelearning_big_data

Имеете опыт в машинном обучении, но хотите двигаться ещё дальше? Специально для вас Валерий Бабушкин, Vice President, Data Science в Blockchainꓸcom, вместе с командой опытных специалистов из Яндекса, AliExpress и X5 Retail Group подготовил продвинутый курс, на котором вам предстоит решать сложные и нестандартные задачи бизнеса. Ранжирование и матчинг, динамическое ценообразование, uplift-моделирование, ускорение и повышение чувствительности A/B-тестов — выбирайте нужные блоки или проходите курс целиком. Если вы уже сталкивались с чем-то из этого в своей работе, то познакомитесь с best practices индустрии. А если нет — дополните своё резюме новыми кейсами и станете более разносторонним ML-специалистом. Ждём вас на курсе! Следующий поток стартует уже 3 июля, а по промокоду MBIGDATA28 вас ждет скидка 5%. [Зарегистрироваться]

📕 Constrained-Text-Generation-Studio AI writing assistant for recreational linguists, poets, creative writers, and/or researchers to use and study the ability of large-scale language models. Это как Photoshop, но для создания текстового контента! Продвинутый ИИ-помощник по написанию текстов и генерированию текста. 🖥 Github: https://github.com/hellisotherpeople/constrained-text-generation-studio 📕 Paper: https://arxiv.org/abs/2306.15926v1 🔗Dataset: https://huggingface.co/datasets/Hellisotherpeople/Lipogram-e ai_machinelearning_big_data

🔥Хотите стать одним из авторов проектов, которые меняют жизнь людей к лучшему в области автоматизации предприятий, медицины, робототехники, виртуальной реальности и других сферах, или стать руководителем отдела Computer Vision в вашей компании? Все это возможно после прохождения обучения на курсе “Компьютерное зрение” в OTUS. Сейчас открыт набор в группу. Приходите 29 июня в 20:00 мск на открытый урок «PyTorch 2.0», чтобы познакомиться с преподавателем и программой курса, оценить все перспективы, которые откроются перед вами. На занятии мы также обсудим, что нового принес фреймворк PyTorch 2.0 в сферу компьютерного зрения и глубокого обучения. 📌Вы узнаете: - Как начать использовать PyTorch для обучения своих нейронных сетей - Что нового в PyTorch 2.0 и чем он отличается от 1.x - Как ускорить и оптимизировать свою нейросеть при помощи одной строчки кода - Как перейти с PyTorch 1.x на 2.0 - Как ускорить трансформеры HuggingFace при помощи PyTorch Transformer API 👉🏻Для участия отправьте заявку https://otus.pw/vOnK/ Кому подходит этот урок: - Начинающим и опытным специалистам в области компьютерного зрения и глубокого обучения - Дата сайентистам, которые хотят ускорить инференс своих моделей - Опытным специалистам, которые еще не перешли на PyTorch 2.0 - Тем, кто хочет познакомиться с фреймворков PyTorch и начать обучать свои нейросети Нативная интеграция подробная информация о продукте www.otus.ru

💬 3D-Speaker: A Large-Scale Multi-Device, Multi-Distance, and Multi-Dialect Corpus for Speech Representation Disentanglement A large-scale speech corpus to facilitate the research of speech representation disentanglement. 3D-Speaker - это набор инструментов с открытым исходным кодом и крупномасштабный корпус речи, для мультимодальной проверки дикторов, распознавания дикторов и разделение дикторов. 3D-Speaker содержит более 10 000 дикторов, каждый из которых одновременно записывается несколькими устройствами, расположенными на разных расстояниях, а некоторые дикторы говорят на нескольких диалектах. 🖥 Github: https://github.com/alibaba-damo-academy/3D-Speaker 📕 Paper: https://arxiv.org/abs/2306.15354v1 🔗Dataset: https://3dspeaker.github.io/ ai_machinelearning_big_data

А вы знаете, что такое пирамида признаков? А трансформеры (нет, мы не про фильм)? Это термины, которые используют инженеры, работающие с нейронными сетями! Мы их нашли в канале ИТ-компании «Криптонит» — подписывайтесь на ребят! У них выходят материалы и про ML, и про роботов, и про программирование. А ниже мы выбрали несколько терминов из их нейрословаря🟡 📍Explaining Away — эффект редукции причины как упрощённая схема рассуждений. 📍Инференс (inference) — с точки зрения разработчика это третий этап жизненного цикла искусственной нейронной сети (после её обучения и развёртывания). 📍Многослойный перцептрон (MLP) — это одна из элементарных архитектур, с которой часто начинают освоение нейронных сетей и принципов их обучения. 📍Пирамида признаков (FPN, Feature Pyramid Net) — это вычислительная архитектура, используемая в машинном зрении для обработки изображений без привязки к их разрешению. 📍Трансформеры (transformers) — это не только роботы, но и прогрессивное семейство архитектур нейросетей от Google.

🖥 Free Courses on Large Language Models Крутые бесплатные курсы по большим языковым моделям. ▪ChatGPT Prompt Engineering for Developers ▪LangChain for LLM Application Development ▪Building Systems with the ChatGPT API ▪Google Cloud Generative AI Learning Path ▪Introduction to Large Language Models with Google Cloud ▪LLM University ▪Full Stack LLM Bootcamp ai_machinelearning_big_data

Объектно-ориентированный подход чаще всего применяют в крупных проектах, где над одним приложением работают много разработчиков. Так как каждый программист работает над своей отдельной частью программы, сокращается количество ошибок и ускоряется процесс. На курсе Яндекс Практикума «Базовый UML» вы за 2 месяца пройдёте все этапы работы над моделированием системы: от описания пользовательских требований до структурного и поведенческого моделирования. А ещё: • изучите основные диаграммы в нотации UML, описывающие бизнес-процессы; • получите представление о применении UML для моделирования систем; • научитесь работать в Draw.io, StarUML, Plant UML. Все студенты получат реальные кейсы, сопровождение от специалистов и работающие проекты в портфолио. Карьерный центр поможет с поиском работы: 69% студентов уже работают по специальности. Занимайтесь онлайн в любое время, в своём темпе.

🚶‍♂️ MotionGPT: Human Motion as Foreign Language MotionGPT consists of a motion tokenizer responsible for converting raw motion data into discrete motion tokens, as well as a motion-aware language model that learns to understand the motion tokens from large language pre-training models by corresponding textual descriptions. MotionGPT, унифицированная, универсальная и удобная модель языка движения для решения множества задач, связанных с движением. ⏩ Project: https://motion-gpt.github.io/ 🖥 Github: https://github.com/openmotionlab/motiongpt 📕 Paper: https://arxiv.org/pdf/2306.14795.pdf 🔗Dataset: https://paperswithcode.com/dataset/amass ai_machinelearning_big_data

Зачем Data-инженеру Spark В Почте Mail.ru работают со стеком Hadoop, Hive, Clickhouse, Spark. В данной статье на Хабре Data-инженер из команды Почты Mail.Ru остановился на некоторых аспектах работы с данными в Spark. Он ответил на следующие вопросы: как превратить 7 петабайт в 0,5 петабайт, что позволило сэкономить годовой бюджет по закупке серверов и построить своё классное хранилище без последующей переделки. Также в статье: архитектурные паттерны в хранилище Почты, эффективное хранилище данных, форматы хранения данных, параллельная обработка данных в Spark, запись колоночных файлов, запросы к данным в Spark и др. Хабр: https://habr.com/ru/companies/vk/articles/742084/ ai_machinelearning_big_data

⚡ LightGlue. Local Feature Matching at Light Speed LightGlue a lightweight feature matcher with high accuracy and adaptive pruning techniques, both in the width and depth of the network, for blazing fast inference. LightGlue, глубокая нейронная сеть, которая учится сопоставлять локальные фичи на изображениях. git clone https://github.com/cvg/LightGlue.git && cd LightGlue python -m pip install -e . 🖥 Github: https://github.com/cvg/lightglue 📕 Paper: https://arxiv.org/abs/2306.13643v1 🔗Dataset: https://paperswithcode.com/dataset/hpatches ai_machinelearning_big_data

Data Science | Machinelearning - самый большой русскоязычный канал с полезными материалами на такие темы как, Machine Learning, Data Science, Алгоритмы, Python. Так же часто публикуются крутые 🔥 вакансии. 👉 Вам сюда: @devsp А любителям читать статьи в оригинале вот сюда: 👉 @ds_international Добро пожаловать!

🔥 Awesome-Multimodal-Large-Language-Models Latest Papers and Datasets on Multimodal Large Language Models, and Their Evaluation. Огромный, упорядоченный список новейших статей, баз данных и кода по мультимодальным большим языковым моделям. 🖥 Github: https://github.com/bradyfu/awesome-multimodal-large-language-models 📕 Paper: https://arxiv.org/abs/2306.13394v1 🔗Dataset: https://paperswithcode.com/dataset/coco ai_machinelearning_big_data

🦾 Rofunc: The Full Process Python Package for Robot Learning from Demonstration and Robot Manipulation A pre-trained soft object manipulation skill learning model, namely SoftGPT, that is trained using large amounts of exploration data, consisting of a three-dimensional heterogeneous graph representation and a GPT-based dynamics model. Полный набор инструментов Python для обучения роботов на основе имитационного обучения и обучения роботов путем демонстрации. pip install rofunc import rofunc as rf import numpy as np from isaacgym import gymutil from importlib_resources import files # Demo raw_demo_l = np.load(files('rofunc.data.RAW_DEMO').joinpath('taichi_raw_l.npy')) raw_demo_r = np.load(files('rofunc.data.RAW_DEMO').joinpath('taichi_raw_r.npy')) demos_x_l = [raw_demo_l[300:435, :], raw_demo_l[435:570, :], raw_demo_l[570:705, :]] demos_x_r = [raw_demo_r[300:435, :], raw_demo_r[435:570, :], raw_demo_r[570:705, :]] rf.lqt.plot_3d_bi(demos_x_l, demos_x_r, ori=False, save=False) # TP-GMM show_demo_idx = 1 _, _, gmm_rep_l, gmm_rep_r = rf.tpgmm.bi(demos_x_l, demos_x_r, show_demo_idx=show_demo_idx, plot=True) 🖥 Github: https://github.com/skylark0924/rofunc 📕 Paper: https://arxiv.org/abs/2306.12677v1 🔗Dataset: https://paperswithcode.com/dataset/plasticinelab ai_machinelearning_big_data