Анализ данных (Data analysis)

Уголок AI-энтузиастов от Сбера 🤖 Sber AI Lab — центр экспертизы Сбера в области искусственного интеллекта и активный участник глобального научного комьюнити. ✅ Команда создаёт полезные алгоритмы, фреймворки и технологии в разных сферах: от банкинга до медицины. ✅ Топ по количеству научных статей на A*/A конференции и Q1 журналы в Сбере ✅ Среди open-source решений лаборатории ИИ: LightAutoML (победитель Kaggle Grand Prix 2024), RePlay, pytorch-lifestream, eco2ai и другие инструменты. Узнать больше о решениях можно на GitHub. Ты можешь стать частью нашей команды и сделать свой вклад в развитие AI-проектов в интересных тебе направлениях тут.

🔥 OpenCoconut — реализация парадигмы латентного рассуждения, известной как Chain of Continuous Thought (COCONUT)! 🌟 Основная идея заключается в генерации "мыслей" в латентном пространстве (состояниях модели) перед началом декодирования ответа. Этот подход использует скрытые состояния модели на этапе предварительной подготовки данных для повышения качества генерации. 🌟 Проект ориентирован на задачи, такие как математические вычисления, программирование и общий анализ данных, основываясь на синтетическом наборе данных. В будущем планируется улучшение функции потерь, добавление методов раннего завершения генерации и адаптивного переключения между латентным пространством и языковым. Это может повысить точность и гибкость моделей, работающих с последовательными задачами. 🔐 Лицензия: Apache-2.0 🖥 Github @data_analysis_ml

Будьте честны с собой ) @data_analysis_ml

⚡️ Введение в тензорные сети 📌 Урок5 📌 Урок 1 / Урок2 / Урок3 / Урок4 📌 Colab

🔥 chai-lab — проект, связанный с предсказанием биомолекулярных структур! 🌟 Он включает в себя Chai-1, передовую модель для предсказания структуры биомолекул, разработанную с использованием современных методов машинного обучения, включая диффузионные модели и сверточные нейронные сети. Этот проект ориентирован на автоматизированное создание и анализ сложных молекулярных структур, что может быть полезно в биоинформатике и фармацевтических исследованиях. Программный код включает в себя инструменты для работы с различными молекулярными данными, такими как MSAs (multiple sequence alignments), атомные структуры, шаблоны и другие специфические биомолекулярные данные. 🔐 Лицензия: Apache-2.0 🖥 Github @data_analysis_ml

🔥 identity-rag-customer-insights-chatbot — проект для создания чат-бота, который использует систему IdentityRAG для объединения и анализа данных о клиентах! 🌟 Система решает задачи по разрешению идентификации клиентов и предоставлению единой, и актуальной информации о клиентах из различных источников. 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

Позаботился о подарках для родных и близких? Позаботься и о лучшем подарке для себя — новая работа ждёт тебя в Сбере!✨ Заходи на сайт rabota.sber.ru — здесь сбываются амбициозные проекты, классные коллеги и крутые возможности. 🔥 В Новый год — с новой работой в Сбере.💚

🔥 InvSR — новый метод для улучшения качества изображений! 🔗 Ссылка: *клик* 🖥 Github @data_analysis_ml

Современные технологии все глубже интегрируют машинное обучение, которое уже давно вышло за рамки простой обработки данных. Сегодня ИИ способен анализировать поведение пользователей, адаптироваться под их требования и помогать принимать взвешенные решения. Особенно заметно это в секторе электронной коммерции, где ИИ улучшает взаимодействие между покупателями и продавцами. Команда Авито презентовала новую версию поиска, которую получилось усовершенствовать с помощью Avito Ranker 3 — собственной технологии ранжирования. ИИ изменил логику выдачи объявлений: время размещения больше не является ключевым фактором для поиска. Вместо этого система обращает внимание на более важные для покупателя параметры: качество описания и фото, цену и хороший уровень сервиса продавца. Благодаря этому, число показов нерелевантных и некачественных объявлений снизилось вдвое, а пользователи стали на 17% чаще переходить из поиска прямо в карточки товаров. Кроме того, конверсия покупок возросла на 25%, что свидетельствует об эффективности новой системы. @data_analysis_ml

🔥 agent_tutorials — серия обучающих материалов по созданию и разработке искусственных агентов с использованием различных технологий, таких как LangGraph, CrewAI и AutoGen! 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

💡 Qwen выпустил QvQ 72B OpenAI o1-мультимодальную модель с ризонингом с возможностями зрения 🔥 TLDR 🏆SoTA мультимодальный с открытым исходным кодом 🧠 Способность к пошаговому рассуждению 💪🏾 Конкурентный балл MMMU с o1, GPT-4o и Sonnet 3.5 🔥 Выигрывает у GPT-4o и Sonnet 3.5 на MathVista и MathVision > pip install mlx-vlm https://huggingface.co/collections/mlx-community/qvq-72b-preview-676b345a6f93172ba980c0d5

🖥 Эта статья объясняет концепцию машин Тьюринга, которая является основополагающей в теории вычислений и была предложена Аланом Тьюрингом в 1936 году! 🌟 В статье описывается, как работает машина Тьюринга, что она может и не может вычислять, а также как она связана с современными компьютерами. 🌟 Автор рассматривает механизмы работы машины Тьюринга, её элементы (лента, головка и состояние), а также обсуждает такие ограничения вычислений, как задача о остановке (Halting problem). Статья включает примеры программ для демонстрации возможностей машины Тьюринга и предоставляет интерактивную среду для экспериментов с программами, работающими на этой модели. 🔗 Ссылка: *клик* @data_analysis_ml

⚡️ Исследователи Microsoft выпустили лабораторию AIOpsLab: Комплексный ИИ-фреймворк с открытым исходным кодом для агентов AIOps Исследователи Microsoft совместно с группой ученых из Калифорнийского университета в Беркли, Иллинойского университета в Урбане-Шампейне, Индийского научного института и колледжа Агнес Скотт разработали AIOpsLab - систему оценки, предназначенную для систематического проектирования, разработки и развития агентов AIOps. Эта платформа с открытым исходным кодом охватывает весь жизненный цикл облачных операций - от обнаружения неисправностей до их устранения. Предлагая модульную и адаптируемую платформу, AIOpsLab поддерживает исследователей и практиков в повышении надежности облачных систем и снижении зависимости в системах. Фреймворк AIOpsLab включает в себя несколько ключевых компонентов. Центральный модуль, обеспечивает взаимодействие между агентами и облачными средами, предоставляя описания задач, API-интерфейсы действий и обратную связь. Генераторы отказов и рабочих нагрузок воспроизводят реальные условия для испытания тестируемых агентов. Наблюдаемость, еще один краеугольный камень структуры, обеспечивает всесторонние телеметрические данные, такие как журналы, метрики и трассировки, для помощи в диагностике неисправностей. $ git clone <CLONE_PATH_TO_THE_REPO> $ cd AIOpsLab $ pip install poetry $ poetry install -vvv $ poetry shell ▪Github ▪Запуск ▪Статья @data_analysis_ml

🔥 QuantResearch — репозиторий, который содержит материалы, связанные с количественным анализом, стратегиями и тированием гипотез в области финансов! 🌟 Проект включает разнообразные методы, такие как машинное обучение, глубокое обучение, алгоритмическая торговля и оценка рисков. В нем представлены примеры кода для портфельной оптимизации, алгоритмической торговли , использования машинного обучения и разработки торговых стратегий. 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

🔥 MI300X vs H100 vs H200 Benchmark Part 1: Training – CUDA Moat Still Alive Опубликован новый интересный анализ - сравнение реальных характеристик AMD MI300X и NVIDIA H100+H200 с практическими рекомендациями о том, как стек AMD ROCm может догнать CUDA от NVIDIA. Производительность обучения, пользовательский опыт, удобство использования, Nvidia, AMD, GEMM, внимание, сетевые технологии, InfiniBand, Spectrum-X Ethernet, RoCEv2 Ethernet, SHARP, стоимость. Отличное чтиво ! 📌 Читать

👩‍💻 Mlxtend (machine learning extensions) — это библиотека Python, предоставляющая полезные инструменты для анализа данных и задач машинного обучения! 🌟 Она включает модули для обработки данных, визуализации, построения моделей, кросс-валидации и других аспектов, упрощая выполнение повседневных задач в сфере Data Science. 🌟 Библиотека предназначена для расширения возможностей популярных инструментов, таких как scikit-learn, pandas и NumPy. Она содержит функции для построения ансамблей моделей, работы с наборами данных, выполнения статистического анализа и визуализации результатов. 🖥 Github @machinelearning_ru

📌Топ Python-проектов для ML 2024 года. Эти проекты были выбраны на основе их актуальности на 2024 год. Каждый из них - смесь практической полезности, новизны и, честно говоря, крутости, будь то смелый и инновационный подход, элегантное решение сложных проблем или просто умная реализация. 🟢BAML - предметно-ориентированный язык для работы с LLM. BAML превращает текстовые промпты в многократно используемые функции LLM с типизированными переменными и обеспечивают конкретный тип выходных данных. BAML превосходит другие методы получения структурированных данных от LLM и поддерживает VS Code и Cursor. 🟢marimo - Python notebooks геймчейджер. Новый подход к notebook, который превращает их в мощную, реактивную среду для создания удобных для совместного использования рабочих процессов. Marimo готов заменить Jupyter и Streamlit, устраняя проблемы скрытого состояния и ручного выполнения ячеек. 🟢OpenHands - мощный агент для разработки. Безопасная изолированная среда, где AI-агенты могут выполнять код, взаимодействовать с веб-браузерами, управлять файлами, отлаживать проблемы, рефакторить код и даже сотрудничать с другими агентами. Среда включает в себя Docker-песочницу с доступом к bash-оболочке, веб-браузингом и IPython-сервером. 🟢Crawl4AI - интеллектуальный веб-скрапинг. Библиотека, которая обрабатывает динамический контент, обходит механизмы защиты от ботов, извлекает структурированные данные и масштабирует задачи сбора массивов информации. Асинхронная архитектура дает высокую скорость работы даже со сложным JavaScript. На выходе - форматы JSON, markdown и очищенный HTML, готовые для импорта в LLM. Crawl4AI поддерживает Chromium, Firefox и WebKit через Playwright. 🟢LitServe - универсальный движок для развертывания моделей. Детище LightningAI - мощный инструмент для развертывания моделей и сложных AI-конвейеров. Построен на базе FastAPI, поддерживает PyTorch, TensorFlow, JAX и работает с GenAI, СV, ASR и эмбедингами. LitServe умеет в KV-кэширование для LLM, и подходит как для легких приложений, так и для тяжелых корпоративных нагрузок. 🟢Mirascope - унифицированный интерфейс LLM. Python-инструмент для упрощения извлечения структурированных данных из LLM. Он предлагает удобный интерфейс, основанный на декораторах и декларативных схемах. Mirascope поддерживает OpenAI, Anthropic и Cohere и имеет свой поисковый агент WebSearchAgent, который может автономно собирать информацию из интернета. 🟢Surya - OCR с высокой точностью. OCR-система на 90 языках. Surya извлекает текст из сканированных изображений, PDF-файлов и других визуальных форматов с точностью, сравнимой с Google Cloud Vision. Помимо OCR, Surya проводит расширенный анализ документа, определяя заголовки, изображения, таблицы и порядок чтения, что идеально для оцифровки книг, форм и научных документов. 🟢DataChain - конвейер данных для ИИ. Платформа для управления версиями мультимодальных наборов изображений, видео, текста и PDF-файлов. Библиотека преобразует разрозненные файлы в централизованные датасеты, которые легко запрашивать и манипулировать с помощью Python без использования Spark или SQL. DataChain поддерживает PyTorch, TensorFlow, AI-генерацию метаданных, сериализацию инференса LLM и выполнение пакетных процедур. 🟢Narwhals - универсальный слой совместимости для DataFrame-библиотек. Легковесный слой, который объединяет pandas, Polars, PyArrow, Modin и cuDF в Python. Он позволяет писать код, не зависящий от используемого бэкенда, используя подмножество API Polars в качестве интерфейса. Поддерживает как eager, так и lazy execution стили, включая Dask. Narwhals не имеет зависимостей и обеспечивает статическую типизацию для автозавершения и подсказок в IDE. 🟢PydanticAI - фреймворк для разработки AI-приложений. Фреймворк агентов, которые управляют взаимодействием с LLM и проверкой их инференса. Имеет систему внедрения зависимостей, позволяющую динамически получать контекстные данные. PydanticAI поддерживает пользовательские функции Python, вызываемые агентами для доступа к информации и выполнения вычислений. @ai_machinelearning_big_data

🔥 Сводка бенчмарков показаной вчера o3 от OpenAI ! SWE-Bench: 71.7% Codeforces: 2727 Competition Math: 96.7% PhD level science (GPQA): 87,7% Frontier Math: 25.2% (previous best was 2%) ARC-AGI: 87.5% 🤯

✅ TikTok только что выложил в открытый доступ свой фреймворк для рекомендательных систем (Monolith) - и в нем используется Keras Это означает, что почти все основные рекомендательные системы в индустрии построены на Keras - YouTube, TikTok, Spotify, Snap, X/Twitter и многие другие. ▪ Github @data_analysis_ml

🔈 Звук на этом видео на 100% сгенерирован с помощью MMAudio! @data_analysis_ml