Анализ данных (Data analysis)

⚡️Лучший способ получать свежие обновлении и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь: C++ t.me/cpluspluc Devops: t.me/devOPSitsec Машинное обучение: t.me/ai_machinelearning_big_data АНАЛИЗ Данных: t.me/data_analysis_ml Хакинг: t.me/linuxkalii Linux: t.me/linuxacademiya Базы данных: t.me/sqlhub C#: t.me/csharp_ci Golang: t.me/Golang_google Java: t.me/javatg React: t.me/react_tg Javascript: t.me/javascriptv Мобильная разработка: t.me/mobdevelop Docker: t.me/+0WdB4uvOwCY0Mjdi Python: t.me/pythonl Rust: t.me/rust_code PHP: t.me/phpshka Android: t.me/android_its Big Data: t.me/bigdatai Собеседования МЛ: t.me/machinelearning_interview Python подготовка с собесу: t.me/python_job_interview МАТЕМАТИКА: t.me/data_math 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy C++ папка: https://t.me/addlist/CdBs5DLepLJmZjY6 C# папка: https://t.me/addlist/u15AMycxRMowZmRi Java папка: https://t.me/addlist/ZM3J6oFNAnRlNWU6 FRONTEND папка: https://t.me/addlist/mzMMG3RPZhY2M2Iy Linux папка: https://t.me/addlist/w4Doot-XBG4xNzYy 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

🌟 Lance — современный колоночный формат данных для ML-приложений, реализованный на Rust — pip install pylance Lance идеально подходит для создания поисковых систем и хранилищ данных, для масштабного обучения ML-моделей, для хранения таких данных как облака точек. Поддерживает конвертацию из Parquet в 2 строки кода, при этом он быстрее Parquet в 100 раз. Lance можно без проблем использовать с pandas, DuckDB, Polars, pyarrow и не только. 🖥 GitHub 🟡 Примеры использования @data_analysis_ml

🌟 Реализация диффузионной модели с архитектурой UNet на чистом CUDA В этом репозитории приведена реализация модели UNet на чистом CUDA с подробным описанием всех шагов. Цель этого проекта — создать диффузионную модель на CUDA и достичь производительности PyTorch; выбрана архитектура UNet как ключевая архитектура для диффузионных моделей В итоге, готовая модель была обучена на изображениях слонов из ImageNet 64x64 и теперь вполне успешно их генерирует. 🖥 GitHub @data_analysis_ml

🌟 «Баннерная крутилка» — сервис, позволяющий выбрать несколько релевантных документов из базы в миллиард объявлений за 200 миллисекунд Сервис выдерживает 700 тысяч RPS и более. Решения для построения систем ранжирования подробно описаны в статье «Как устроен рекомендательный сервис, который выдерживает 700 тысяч запросов в секунду». 🟡Habr @data_analysis_ml

🌟 RAGapp — простой способ использовать Agentic RAG — docker run -p 8000:8000 ragapp/ragapp RAGapp позволяет легко использовать Agentic RAG в любом продакшене. Так же прост в настройке, как и пользовательские GPT OpenAI, но в отличии от них RAGapp может быть развернут в вашей собственной облачной инфраструктуре с помощью Docker. RAGapp создан с использованием LlamaIndex. После запуска контейнера, нужно перейти на localhost:8000 и настроить RAGapp. Можно подключить любые модели, в том числе и локальные (с помощью Ollama) 🖥 GitHub @data_analysis_ml

❓Устали от скучных и статичных дашбордов? 👉🏻Хотите создавать интерактивные и визуально привлекательные дашборды, которые оживят ваши данные? Тогда вам сюда! На открытом уроке «Создание кастомных дэшбордов с помощью Plotly Dash» вы: - познакомитесь с Plotly Dash — мощной библиотекой для создания интерактивных веб-приложений и дэшбордов; - научитесь превращать сырые данные в понятные и красивые визуальные единицы; - сможете создавать удобные и функциональные интерфейсы для взаимодействия с данными. Присоединяйтесь 9 июля в 20:00 мск и станьте мастером визуализации в аналитике данных! ⚡️Регистрируйстесь сейчас по ссылке: https://otus.pw/3OSi/ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8K4Qbi

🌟 Kubeflow — экосистема open-source проектов для решения задач на каждом этапе развития ML-системы Kubeflow делает ML на Kubernetes простым, переносимым и масштабируемым. Цель Kubeflow — облегчить оркестрацию рабочих нагрузок ML в Kubernetes и предоставить возможность развертывать лучшие в своем классе инструменты в любой облачной инфраструктуре. 🖥 GitHub 🟡 Доки @data_analysis_ml

Станьте профессионалом в области Data Science и машинного обучения в магистратуре от Центрального университета! Центральный университет — современный вуз, созданный при поддержке ведущих компаний России: Т-Банка, Авито и других. Получите диплом магистра в области математики и компьютерных наук и обучайтесь на основе реальных кейсов ведущих ИТ-компаний у профессоров из МГУ, МФТИ, РЭШ и практиков из индустрии. Хорошая новость для тех, кто уже имеет опыт в Data Science и машинном обучении — вы можете пропустить базовое обучение и закончить магистратуру за 3 семестра. У каждого студента будет: - личный ментор по траектории обучения; - доступ к карьерному центру с коучами и консультантами; - опыт работы в проектах партнеров уже во время обучения. Участвуйте в онлайн-отборе, чтобы выиграть грант на обучение до 1,2 млн рублей. Больше подробностей про университет и конкурс грантов по ссылке! erid:2VtzqwTkpP2 Реклама, АНО ВО «Центральный университет», ИНН 7743418023

❓Устали от скучных и статичных дашбордов? 👉🏻Хотите создавать интерактивные и визуально привлекательные дашборды, которые оживят ваши данные? Тогда вам сюда! На открытом уроке «Создание кастомных дэшбордов с помощью Plotly Dash» вы: - познакомитесь с Plotly Dash — мощной библиотекой для создания интерактивных веб-приложений и дэшбордов; - научитесь превращать сырые данные в понятные и красивые визуальные единицы; - сможете создавать удобные и функциональные интерфейсы для взаимодействия с данными. Присоединяйтесь 9 июля в 20:00 мск и станьте мастером визуализации в аналитике данных! ⚡️Регистрируйстесь сейчас по ссылке: https://otus.pw/3OSi/ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8K4Qbi

🖥 AutoGluon — библиотека Python, которая позволяет писать лаконичный код для задач ML — pip install autogluon AutoGluon помогает несколькими строками кода обучать и использовать ML-модели; позволяет решать задачи, связанные с изображениями, текстом, временными рядами и табличными данными. 🖥 GitHub 🟡 Доки @data_analysis_ml

👨‍🎓Курс МФК МГУ "Нейронные сети и их применение в научных исследованиях" Лекции: - Новая суперспособность науки - Как учить машины - Линейные модели - Сверточные сети - Рекуррентные сети - Трансформеры (часть 1) - Трансформеры (часть 2). GPT - Генеративные модели - Обучение с подкреплением - Нейрорендеринг - Графовые сети - Заключительная лекция 👉 Плейлист на Youtube

🌟 Scikit-LLM — библиотека Python, призванная упростить разработку сложных и готовых к продакшену конвейеров NLP — pip install scikit-llm Scikit-LLM может взаимодействовать с различными провайдерами LLM, независимо от того, работают ли они локально (например, GPT4All) или в облаке (включая Azure, OpenAI и Vertex AI). Scikit-LLM поддерживает широкий спектр задач анализа текста, включая классификацию, анализ эмоциональной составляющей и т.д. Для сложных сценариев можно объединить несколько задач в конвейер scikit-learn. 🖥 GitHub 🟡 Доки @data_analysis_ml

🖥 Unstructured — библиотека Python для предобработки сырых данных — pip install "unstructured[all-docs]" Unstructured предоставляет компоненты для предобработки изображений, текстовых документов; поддерживает многие форматы: PDF, HTML, Word docs и др. Запустить библиотеку в контейнере:

docker run -dt --name unstructured downloads.unstructured.io/unstructured-io/unstructured:latest
docker exec -it unstructured bash

🖥 GitHub 🟡 Доки @data_analysis_ml

⚡️ Microsoft только что был опубликовали Graph RAG! Проект Graph RAG - это пакет для обработки и преобразования данных открытым исходным кодом, предназначенный для извлечения структурированных данных из неструктурированного текста с использованием возможностей LLMs. Эо методология использования структур памяти knowledge graph для улучшения работы LLM. ▪ Github ▪ Docs ▪ Blog @data_analysis_ml

🌟 SkyPilot — фреймворк для запуска LLM и AI-приложений в любом облаке

pip install "skypilot-nightly[aws,gcp,azure,oci,lambda,runpod,fluidstack,paperspace,cudo,ibm,scp,kubernetes]"

SkyPilot позволяет: — управлять масштабированием: автоматическая постановка в очередь и запуск большого количества задач — получать легкий доступ к хранилищам S3, GCS, R2 — сократить расходы на облако: 3-6-кратное уменьшение расходов при использовании отдельных ВМ с автоматическим восстановлением после падений SkyPilot позволяет работать с GPU, TPU и CPU. Поддерживаемые облака — AWS, GCP, Azure, OCI, Lambda Cloud, RunPod, Fluidstack, Cudo, IBM, Samsung, Cloudflare, VMware vSphere, любой кластер Kubernetes 🖥 GitHub 🟡 Доки @data_analysis_ml

🌟 Ivy — open-source ML-фреймворк для использования модели, созданной при помощи одного фреймворка, в коде, написанном на другом фреймворке — pip install ivy Ivy — ML-фреймворк, который позволяет: — использовать ML-модели и/или функции в любом фреймворке, конвертируя любой код из одного фреймворка в другой с помощью ivy.transpile() — преобразовывать модели и библиотеки ML для их использования в другом фреймворке с помощью ivy.source_to_source() (эта функция пока в закрытой бета-версии) 🖥 GitHub 🟡 Доки @data_analysis_ml

🌟 Nous Hermes 2 - Mistral 7B - DPO - GGUF Это квантизованная версия модели Nous Hermes 2 Mistral 7B DPO; работает очень быстро и неплохо умеет в код Сама исходная модель Nous Hermes 2 показала отличные результаты во всех бенчмарках — AGIEval, BigBench Reasoning, GPT4All и TruthfulQA; была обучена на 1000000 пар промпт-ответ качества GPT-4 или выше, а также на других высококачественных наборах данных, доступных в teknium/OpenHermes-2.5. 🤗 Hugging Face @data_analysis_ml

В России появилась среда разработки – встречайте GIGA IDE На главной технологической конференции лета GigaConf 2024 СберТех представил российскую среду разработки GIGA IDE со встроенным AI-ассистентом*. Среда позволяет вести разработку на популярных языках программирования, обеспечивает совместимость с востребованными плагинами, а также привычный пользовательский опыт. Встроенный в среду AI-ассистент GIGA CODE анализирует контекст, предлагает полные конструкции функций и других элементов, что позволяет писать код до 25% быстрее. • GIGA IDE Desktop – это интегрированная среда разработки, которая включает 70 инструментов для облегчения задач разработки, автоматизации тестирования и администрирования приложений. Разработчики уже могут скачать GIGA IDE Desktop на платформе GitVerse. • GIGA IDE Cloud позволит вести разработку в облаке, расширив возможности устройства дополнительными облачными ресурсами. Публичный релиз среды запланирован на осень 2024 года. Чтобы первыми получить доступ к GIGA IDE Cloud – регистрируйтесь на платформе GitVerse на раннее тестирование. *AI (Artificial Intelligence) - «искусственный интеллект»

🌟 OSS Vizier — open-source инструмент для оптимизации, настройки гиперпараметров ML-систем — pip install google-vizier[jax] OSS Vizier — это инструмент, написанный на Python для оптимизации и исследования нейросетей и т.д. OSS Vizier основан на Google Vizier, одном из первых сервисов для настройки гиперпараметров, рассчитанных на работу с масштабными ML-системами. 🖥 GitHub 🟡 Доки @data_analysis_ml

🌟 Cambrian-1 — семейство мультимодальных LLM, ориентированных на CV-задачи Cambrian-1 — это семейство MLLM, разработанных с упором на работу с визуальной информацией. На страничке Cambrian-1 представлены модели 3 размеров (8B, 13B и 34B), данные для обучения, скрипты для обучения на TPU. Скоро на GitHub появится скрипт для обучения на GPU. 🟡 Страничка Cambrian-1 🖥 GitHub 🤗 Hugging Face @data_analysis_ml