Анализ данных (Data analysis)

🌟 Marvin — open-source набор инструментов для ML-приложений — pip install marvin -U Marvin — это легковесный набор инструментов на Python для создания ML-приложений; позволяет решать задачи классификации текста, извлечения информации из неструктурированных данных, генерирования синтетических данных, преобразования текста в речь и наоборот. Marvin даже может генерировать изображения 🖥 GitHub 🟡 Доки @data_analysis_ml

One Day Offer для Центра робототехники 🤖 13 июля вы сможете пройти все этапы отбора, познакомиться с инновационной командой Сбера и получить оффер Middle/Senior Robotics или Backend Developer. Наш Центр проводит исследования, создаёт роботов, применяя искусственный интеллект, и работает по направлениям: манипуляция, роботизация логистики и мобильные роботы. Сейчас перед нами стоит по-настоящему амбициозная задача – разработать антропоморфного робота общего назначения. В работе мы используем: ROS/ROS2, DDS, Python, PyTorch, JAX, Model-transformers, SOTA, C++, Isaac Sim / MuJoCo / PyBullet. Какие задачи будут в вашем планере 👇 ▪️ разработка алгоритмов и систем управления роботами (core, body, brain) и драйверов для различных устройств в виде ROS2 узлов ▪️ создание алгоритмов внутренней и внешней калибровки сенсоров (лидары, камеры, IMU), робототехнических сервисов на Behavior Trees / State Machines ▪️ работа с симуляторами на базе Isaac Sim / MuJoCo / PyBullet ▪️ проектирование архитектуры системы Масштабные проекты и работа мечты ждут вас. Регистрируйтесь на One Day Offer 13 июля 😉

🌟 StreamingDataset — библиотека потоковой передачи данных для эффективного обучения нейронных сетей — pip install mosaicml-streaming StreamingDataset — это библиотека Python, созданная, чтобы сделать обучение на больших наборах данных максимально быстрым, дешевым и масштабируемым. StreamingDataset спроектирована для распределенного обучения больших ML-моделей — с максимальными гарантиями корректности, производительностью и простотой использования. 🖥 GitHub 🟡 Доки @data_analysis_ml

🌟 create-llama — самый простой способ создать приложение с помощью LlamaIndex

npx create-llama@latest
npm run dev

Create-llama позволяет создать мультиагентное full-stack приложение букально в 1 строчку кода. Достаточно просто ввести npx create-llama, выбрать шаблон мультиагента и следовать инструкциям в файле README. 🖥 GitHub @data_analysis_ml

⚡️Лучший способ получать свежие обновлении и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь: C++ t.me/cpluspluc Devops: t.me/devOPSitsec Машинное обучение: t.me/ai_machinelearning_big_data АНАЛИЗ Данных: t.me/data_analysis_ml Хакинг: t.me/linuxkalii Linux: t.me/linuxacademiya Базы данных: t.me/sqlhub C#: t.me/csharp_ci Golang: t.me/Golang_google Java: t.me/javatg React: t.me/react_tg Javascript: t.me/javascriptv Мобильная разработка: t.me/mobdevelop Docker: t.me/+0WdB4uvOwCY0Mjdi Python: t.me/pythonl Rust: t.me/rust_code PHP: t.me/phpshka Android: t.me/android_its Big Data: t.me/bigdatai Собеседования МЛ: t.me/machinelearning_interview Python подготовка с собесу: t.me/python_job_interview МАТЕМАТИКА: t.me/data_math 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy C++ папка: https://t.me/addlist/CdBs5DLepLJmZjY6 C# папка: https://t.me/addlist/u15AMycxRMowZmRi Java папка: https://t.me/addlist/ZM3J6oFNAnRlNWU6 FRONTEND папка: https://t.me/addlist/mzMMG3RPZhY2M2Iy Linux папка: https://t.me/addlist/w4Doot-XBG4xNzYy 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

🌟 Lance — современный колоночный формат данных для ML-приложений, реализованный на Rust — pip install pylance Lance идеально подходит для создания поисковых систем и хранилищ данных, для масштабного обучения ML-моделей, для хранения таких данных как облака точек. Поддерживает конвертацию из Parquet в 2 строки кода, при этом он быстрее Parquet в 100 раз. Lance можно без проблем использовать с pandas, DuckDB, Polars, pyarrow и не только. 🖥 GitHub 🟡 Примеры использования @data_analysis_ml

🌟 Реализация диффузионной модели с архитектурой UNet на чистом CUDA В этом репозитории приведена реализация модели UNet на чистом CUDA с подробным описанием всех шагов. Цель этого проекта — создать диффузионную модель на CUDA и достичь производительности PyTorch; выбрана архитектура UNet как ключевая архитектура для диффузионных моделей В итоге, готовая модель была обучена на изображениях слонов из ImageNet 64x64 и теперь вполне успешно их генерирует. 🖥 GitHub @data_analysis_ml

🌟 «Баннерная крутилка» — сервис, позволяющий выбрать несколько релевантных документов из базы в миллиард объявлений за 200 миллисекунд Сервис выдерживает 700 тысяч RPS и более. Решения для построения систем ранжирования подробно описаны в статье «Как устроен рекомендательный сервис, который выдерживает 700 тысяч запросов в секунду». 🟡Habr @data_analysis_ml

🌟 RAGapp — простой способ использовать Agentic RAG — docker run -p 8000:8000 ragapp/ragapp RAGapp позволяет легко использовать Agentic RAG в любом продакшене. Так же прост в настройке, как и пользовательские GPT OpenAI, но в отличии от них RAGapp может быть развернут в вашей собственной облачной инфраструктуре с помощью Docker. RAGapp создан с использованием LlamaIndex. После запуска контейнера, нужно перейти на localhost:8000 и настроить RAGapp. Можно подключить любые модели, в том числе и локальные (с помощью Ollama) 🖥 GitHub @data_analysis_ml

❓Устали от скучных и статичных дашбордов? 👉🏻Хотите создавать интерактивные и визуально привлекательные дашборды, которые оживят ваши данные? Тогда вам сюда! На открытом уроке «Создание кастомных дэшбордов с помощью Plotly Dash» вы: - познакомитесь с Plotly Dash — мощной библиотекой для создания интерактивных веб-приложений и дэшбордов; - научитесь превращать сырые данные в понятные и красивые визуальные единицы; - сможете создавать удобные и функциональные интерфейсы для взаимодействия с данными. Присоединяйтесь 9 июля в 20:00 мск и станьте мастером визуализации в аналитике данных! ⚡️Регистрируйстесь сейчас по ссылке: https://otus.pw/3OSi/ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8K4Qbi

🌟 Kubeflow — экосистема open-source проектов для решения задач на каждом этапе развития ML-системы Kubeflow делает ML на Kubernetes простым, переносимым и масштабируемым. Цель Kubeflow — облегчить оркестрацию рабочих нагрузок ML в Kubernetes и предоставить возможность развертывать лучшие в своем классе инструменты в любой облачной инфраструктуре. 🖥 GitHub 🟡 Доки @data_analysis_ml

Станьте профессионалом в области Data Science и машинного обучения в магистратуре от Центрального университета! Центральный университет — современный вуз, созданный при поддержке ведущих компаний России: Т-Банка, Авито и других. Получите диплом магистра в области математики и компьютерных наук и обучайтесь на основе реальных кейсов ведущих ИТ-компаний у профессоров из МГУ, МФТИ, РЭШ и практиков из индустрии. Хорошая новость для тех, кто уже имеет опыт в Data Science и машинном обучении — вы можете пропустить базовое обучение и закончить магистратуру за 3 семестра. У каждого студента будет: - личный ментор по траектории обучения; - доступ к карьерному центру с коучами и консультантами; - опыт работы в проектах партнеров уже во время обучения. Участвуйте в онлайн-отборе, чтобы выиграть грант на обучение до 1,2 млн рублей. Больше подробностей про университет и конкурс грантов по ссылке! erid:2VtzqwTkpP2 Реклама, АНО ВО «Центральный университет», ИНН 7743418023

❓Устали от скучных и статичных дашбордов? 👉🏻Хотите создавать интерактивные и визуально привлекательные дашборды, которые оживят ваши данные? Тогда вам сюда! На открытом уроке «Создание кастомных дэшбордов с помощью Plotly Dash» вы: - познакомитесь с Plotly Dash — мощной библиотекой для создания интерактивных веб-приложений и дэшбордов; - научитесь превращать сырые данные в понятные и красивые визуальные единицы; - сможете создавать удобные и функциональные интерфейсы для взаимодействия с данными. Присоединяйтесь 9 июля в 20:00 мск и станьте мастером визуализации в аналитике данных! ⚡️Регистрируйстесь сейчас по ссылке: https://otus.pw/3OSi/ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8K4Qbi

🖥 AutoGluon — библиотека Python, которая позволяет писать лаконичный код для задач ML — pip install autogluon AutoGluon помогает несколькими строками кода обучать и использовать ML-модели; позволяет решать задачи, связанные с изображениями, текстом, временными рядами и табличными данными. 🖥 GitHub 🟡 Доки @data_analysis_ml

👨‍🎓Курс МФК МГУ "Нейронные сети и их применение в научных исследованиях" Лекции: - Новая суперспособность науки - Как учить машины - Линейные модели - Сверточные сети - Рекуррентные сети - Трансформеры (часть 1) - Трансформеры (часть 2). GPT - Генеративные модели - Обучение с подкреплением - Нейрорендеринг - Графовые сети - Заключительная лекция 👉 Плейлист на Youtube

🌟 Scikit-LLM — библиотека Python, призванная упростить разработку сложных и готовых к продакшену конвейеров NLP — pip install scikit-llm Scikit-LLM может взаимодействовать с различными провайдерами LLM, независимо от того, работают ли они локально (например, GPT4All) или в облаке (включая Azure, OpenAI и Vertex AI). Scikit-LLM поддерживает широкий спектр задач анализа текста, включая классификацию, анализ эмоциональной составляющей и т.д. Для сложных сценариев можно объединить несколько задач в конвейер scikit-learn. 🖥 GitHub 🟡 Доки @data_analysis_ml

🖥 Unstructured — библиотека Python для предобработки сырых данных — pip install "unstructured[all-docs]" Unstructured предоставляет компоненты для предобработки изображений, текстовых документов; поддерживает многие форматы: PDF, HTML, Word docs и др. Запустить библиотеку в контейнере:

docker run -dt --name unstructured downloads.unstructured.io/unstructured-io/unstructured:latest
docker exec -it unstructured bash

🖥 GitHub 🟡 Доки @data_analysis_ml

⚡️ Microsoft только что был опубликовали Graph RAG! Проект Graph RAG - это пакет для обработки и преобразования данных открытым исходным кодом, предназначенный для извлечения структурированных данных из неструктурированного текста с использованием возможностей LLMs. Эо методология использования структур памяти knowledge graph для улучшения работы LLM. ▪ Github ▪ Docs ▪ Blog @data_analysis_ml

🌟 SkyPilot — фреймворк для запуска LLM и AI-приложений в любом облаке

pip install "skypilot-nightly[aws,gcp,azure,oci,lambda,runpod,fluidstack,paperspace,cudo,ibm,scp,kubernetes]"

SkyPilot позволяет: — управлять масштабированием: автоматическая постановка в очередь и запуск большого количества задач — получать легкий доступ к хранилищам S3, GCS, R2 — сократить расходы на облако: 3-6-кратное уменьшение расходов при использовании отдельных ВМ с автоматическим восстановлением после падений SkyPilot позволяет работать с GPU, TPU и CPU. Поддерживаемые облака — AWS, GCP, Azure, OCI, Lambda Cloud, RunPod, Fluidstack, Cudo, IBM, Samsung, Cloudflare, VMware vSphere, любой кластер Kubernetes 🖥 GitHub 🟡 Доки @data_analysis_ml

🌟 Ivy — open-source ML-фреймворк для использования модели, созданной при помощи одного фреймворка, в коде, написанном на другом фреймворке — pip install ivy Ivy — ML-фреймворк, который позволяет: — использовать ML-модели и/или функции в любом фреймворке, конвертируя любой код из одного фреймворка в другой с помощью ivy.transpile() — преобразовывать модели и библиотеки ML для их использования в другом фреймворке с помощью ivy.source_to_source() (эта функция пока в закрытой бета-версии) 🖥 GitHub 🟡 Доки @data_analysis_ml