Анализ данных (Data analysis)

🌟 Dive into Deep Learning — свободная книга от исследователей Amazon: Zhang, Li и других Мощная книга, которая на 1108 страницах подробно описывает реализацию алгоритмов ML и Deep Learning с помощью PyTorch, NumPy/MXNet, JAX и TensorFlow. По этой книге читаются лекции в 500 университетах 70 стран. 🟡 Dive into Deep Learning 🟡 PDF 🖥 GitHub с кодом к книге @data_analysis_ml

🤗 Все что нужно знать о работе с Hugging Face за 10 минут! В этом ролике мы разыгрываем 3 крутые книги по МАШИННОМУ ОБУЧЕНИЮ, нужно всего лишь оставить любой осмысленный коммент и лайк и быть подписанным на наш канал! https://www.youtube.com/watch?v=4B_foZbWh2c @machinelearning_ru

🌟 SDV — библиотека Python для генерации синтетических данных на основе предоставленного набора данных — pip install sdv При этом сгенерированные данные будут иметь те же статистические параметры, что и предоставленный набор данных. SDV генерирует данные, применяя математические методы и разные ML-модели. С помощью SVD можно генерировать данные, даже если исходный набор содержат несколько типов значений и отсутствующие значения. 🖥 GitHub 🟡 Доки @data_analysis_ml

Центральный университет приглашает на день открытых дверей всех интересующихся ИТ-программой в магистратуре! На мероприятии расскажут больше про университет, в котором можно учиться одновременно с бакалавриатом и помогают попасть на работу в биг-тех, а преподаватели — топовые специалисты ИТ-компаний и профессора ведущих вузов. На мероприятии также будет: — информация про направления обучения в университете; — лекции от ведущих экспертов ИТ-индустрии; — Q&A-сессии с магистрантами ЦУ и разбор задач отбора; — прогулка по офису Т-Банка; — знакомство со множеством классных людей и пицца. А еще среди всех, кто зарегистрируется на ДОД и пройдет отбор в магистратуру до 16 июля, ЦУ разыграет новенький MacBook. Начало 17 июля в 17:30. Вход свободный, но количество мест ограничено. Регистрация здесь. erid:2VtzqwyThk5 Реклама, АНО ВО «Центральный университет», ИНН 7743418023

⚡️ BitNet — масштабирование 1-битных трансформеров для LLM — pip install bitnet Команда под руководством Furu Wei и Shuming Ma из исследовательского отдела Microsoft в Пекине, создала BitNet, первый 1-битный метод QAT для LLM. И в этом репозитории представлена реализация BitNet на PyTorch. Из интересного, модель BitNet 3B отвечает на разные текстовые запросы так же точно, как и LLaMA с тем же количеством параметров и временем обучения, но при этом BitNet в 2.71 раза быстрее, использует на 72% меньше GPU и потребляет на 94% меньше ресурсов GPU. 🖥 GitHub 🟡 Arxiv @data_analysis_ml

🖥 tslearn — библиотека Python для анализа временных рядов и решения подобных ML-задач — pip install tslearn tslearn — это библиотека Python, которая предоставляет ML-инструменты для анализа временных рядов. tslearn основана на библиотеках scikit-learn, numpy и scipy. 🖥 GitHub 🟡 Доки @data_analysis_ml

🖥 NumPyro — библиотека Python для вероятностного программирования — pip install numpyro NumPyro — это легкая библиотека для вероятностного программирования, которая добавляет возможности NumPy к библиотеке Pyro. В процессе вероятностного программирования с NumPyro также используется JAX для автоматического дифференцирования и JIT-компиляции на GPU/CPU. 🖥 GitHub 🟡 Доки @data_analysis_ml

Систематизируете и углубите знания бэкенд-разработки на Python на курсе Яндекс Практикума за 6 месяцев. Преимущества курса: — актуальная программа, которая постоянно обновляется; — много практики, лайвкодинг и хакатон; — возможность совмещать с другой учёбой или работой; — наставники из Яндекса и не только; — помощь с трудоустройством. ◾️Погружайтесь в Python, нарабатывайте нужные навыки и осваивайте инструменты для работы. Начните курс бесплатно, а если понравится, платите как удобно: в рассрочку или целиком. → Начать бесплатно

🌟 SkyPilot — фреймворк для запуска LLM и AI-приложений в любом облаке

pip install "skypilot-nightly[aws,gcp,azure,oci,lambda,runpod,fluidstack,paperspace,cudo,ibm,scp,kubernetes]"

SkyPilot позволяет: — управлять масштабированием: автоматическая постановка в очередь и запуск большого количества задач — получать легкий доступ к хранилищам S3, GCS, R2 — сократить расходы на облако: 3-6-кратное уменьшение расходов при использовании отдельных ВМ с автоматическим восстановлением после падений SkyPilot позволяет работать с GPU, TPU и CPU. Поддерживаемые облака — AWS, GCP, Azure, OCI, Lambda Cloud, RunPod, Fluidstack, Cudo, IBM, Samsung, Cloudflare, VMware vSphere, любой кластер Kubernetes 🖥 GitHub 🟡 Доки @data_analysis_ml

Зачем искать удобный планировщик задач, когда его можно создать самостоятельно? А заодно — узнать, насколько вам интересно программирование. Бесплатный курс «Основы Python: создаём телеграм-бота» — полезный и надёжный вариант для самоопределения. Там на примере Python вы узнаете, как устроены процессы разработки, самостоятельно создадите планировщик задач и бота-помощника и поймёте, подходит ли вам этот язык. Доступ в чат с экспертами и однокурсниками для получения ответов на вопросы и помощи в практике, а также сертификат Нетологии после прохождения курса прилагаются → https://netolo.gy/dg7u Реклама ООО “Нетология” 2VSb5yoBgEc

🧠 Наконец-то кто-то создал leetcode для машинного обучения. Только что выполнено первое упражнение: вычисление матрично-векторного произведения без каких-либо тензорных операций (разрешены только списки на python). http://deep-ml.com @data_analysis_ml

⚡️ Adversarial Robustness Toolbox — библиотека Python для обеспечения безопасности ML-приложений — pip install adversarial-robustness-toolbox ART — это библиотека Python, которая предоставляет инструменты для оценивания, защиты и проверки моделей и ML-приложений на предмет разных угроз и уязвимостей. ART поддерживает все популярные фреймворки машинного обучения (в т.ч. TensorFlow, Keras, PyTorch, MXNet, scikit-learn, XGBoost, LightGBM, CatBoost, GPy), все типы данных (изображения, таблицы, аудио, видео) и может использоваться для любых задачи ML (классификация, обнаружение объектов, генерация музыки, изображений и т. д.). 🖥 GitHub 🟡 Доки 🟡 Примеры атак и использования ART @data_analysis_ml

🌟 Flair — мощная библиотека для NLP — pip install flair Библиотека Flair была разработана Берлинским университетом как библиотека NLP с большими возможностями. Flair позволяет проводить распознавание именованных сущностей (NER), анализ эмоциональной составляющей, тегирование части речи (PoS). Помимо этого Flair может работать с биомедицинскими текстами. Также Flair интегрируется с большим количеством других библиотек. 🖥 GitHub 🟡 Доки @data_analysis_ml

🌟 ControlNet++ — улучшенная версия вспомогательной технологии для генерации изображений ControlNet++ использует дискриминационные модели вознаграждения для оптимизации согласованности между входными условиями (изрбражение-референс) и результатами генерации за счет оптимизации последовательности циклов. Согласно опубликованным бенчмаркам, ControlNet++ значительно улучшает управляемость процессом генерации. Новый метод метод превосходит классический ControlNet: - на 7.9% по mIoU; - на 13.4% по SSIM; - на 7.6% по RMSE. Адаптации под UI для Stable Diffusion пока нет. Еще круче то, что контролнеты++ успели упаковать в Controlnet Union и собрали в 1 модель. Теперь можно разом делать 12 препроцессов с одной модели CN. 👉 Репозиторий https://huggingface.co/xinsir/controlnet-union-sdxl-1.0 Модель safetensors без конфига в папку с Контролнетом Автоматика1111 или ComfyUI. Это все действия которые необходимо сделать) А самое главное - больше не нужно качать тонну моделей и следить в UI что нужный препроцессор выбран. Работает controlnet union на SDXL-моделях. Для SD3 свой контролнет, для SD1.5 -свой, этот работать не будет. 👉 Видео: https://www.youtube.com/watch?v=UBFEw1IUX_I 🖥 GitHub [ Stars: 274 | Issues: 2 | Forks: 11 ] 🟡 Страничка проекта ControlNet++ 🟡 Arxiv 🟡 Демо на HF 🟡 Модели на HF #ControlNet #Diffusers #Image2Image @ai_machinelearning_big_data

🌟 Marvin — open-source набор инструментов для ML-приложений — pip install marvin -U Marvin — это легковесный набор инструментов на Python для создания ML-приложений; позволяет решать задачи классификации текста, извлечения информации из неструктурированных данных, генерирования синтетических данных, преобразования текста в речь и наоборот. Marvin даже может генерировать изображения 🖥 GitHub 🟡 Доки @data_analysis_ml

One Day Offer для Центра робототехники 🤖 13 июля вы сможете пройти все этапы отбора, познакомиться с инновационной командой Сбера и получить оффер Middle/Senior Robotics или Backend Developer. Наш Центр проводит исследования, создаёт роботов, применяя искусственный интеллект, и работает по направлениям: манипуляция, роботизация логистики и мобильные роботы. Сейчас перед нами стоит по-настоящему амбициозная задача – разработать антропоморфного робота общего назначения. В работе мы используем: ROS/ROS2, DDS, Python, PyTorch, JAX, Model-transformers, SOTA, C++, Isaac Sim / MuJoCo / PyBullet. Какие задачи будут в вашем планере 👇 ▪️ разработка алгоритмов и систем управления роботами (core, body, brain) и драйверов для различных устройств в виде ROS2 узлов ▪️ создание алгоритмов внутренней и внешней калибровки сенсоров (лидары, камеры, IMU), робототехнических сервисов на Behavior Trees / State Machines ▪️ работа с симуляторами на базе Isaac Sim / MuJoCo / PyBullet ▪️ проектирование архитектуры системы Масштабные проекты и работа мечты ждут вас. Регистрируйтесь на One Day Offer 13 июля 😉

🌟 StreamingDataset — библиотека потоковой передачи данных для эффективного обучения нейронных сетей — pip install mosaicml-streaming StreamingDataset — это библиотека Python, созданная, чтобы сделать обучение на больших наборах данных максимально быстрым, дешевым и масштабируемым. StreamingDataset спроектирована для распределенного обучения больших ML-моделей — с максимальными гарантиями корректности, производительностью и простотой использования. 🖥 GitHub 🟡 Доки @data_analysis_ml

🌟 create-llama — самый простой способ создать приложение с помощью LlamaIndex

npx create-llama@latest
npm run dev

Create-llama позволяет создать мультиагентное full-stack приложение букально в 1 строчку кода. Достаточно просто ввести npx create-llama, выбрать шаблон мультиагента и следовать инструкциям в файле README. 🖥 GitHub @data_analysis_ml

⚡️Лучший способ получать свежие обновлении и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь: C++ t.me/cpluspluc Devops: t.me/devOPSitsec Машинное обучение: t.me/ai_machinelearning_big_data АНАЛИЗ Данных: t.me/data_analysis_ml Хакинг: t.me/linuxkalii Linux: t.me/linuxacademiya Базы данных: t.me/sqlhub C#: t.me/csharp_ci Golang: t.me/Golang_google Java: t.me/javatg React: t.me/react_tg Javascript: t.me/javascriptv Мобильная разработка: t.me/mobdevelop Docker: t.me/+0WdB4uvOwCY0Mjdi Python: t.me/pythonl Rust: t.me/rust_code PHP: t.me/phpshka Android: t.me/android_its Big Data: t.me/bigdatai Собеседования МЛ: t.me/machinelearning_interview Python подготовка с собесу: t.me/python_job_interview МАТЕМАТИКА: t.me/data_math 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy C++ папка: https://t.me/addlist/CdBs5DLepLJmZjY6 C# папка: https://t.me/addlist/u15AMycxRMowZmRi Java папка: https://t.me/addlist/ZM3J6oFNAnRlNWU6 FRONTEND папка: https://t.me/addlist/mzMMG3RPZhY2M2Iy Linux папка: https://t.me/addlist/w4Doot-XBG4xNzYy 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

🌟 Lance — современный колоночный формат данных для ML-приложений, реализованный на Rust — pip install pylance Lance идеально подходит для создания поисковых систем и хранилищ данных, для масштабного обучения ML-моделей, для хранения таких данных как облака точек. Поддерживает конвертацию из Parquet в 2 строки кода, при этом он быстрее Parquet в 100 раз. Lance можно без проблем использовать с pandas, DuckDB, Polars, pyarrow и не только. 🖥 GitHub 🟡 Примеры использования @data_analysis_ml