Анализ данных (Data analysis)

Хотите научиться решать одну из популярных задач ML-инженера? Кредитный скоринг, или возможность определять, сможет ли человек вовремя вернуть кредит – одна из задач, с которой часто сталкиваются в работе. Приходите на бесплатный вебинар, где Савелий Батурин, Senior ML-Engineer в Postgres Professional и преподаватель курса по ML школы Simulative в прямом эфире покажет как построить модель кредитного скоринга на Kaggle. Что будем делать на вебинаре: 🟠Вникнем в задачу классификации и кредитного скоринга 🟠Разберем имеющийся датасет 🟠Построим пайплайны обработки числовых и категориальных признаков 🟠Обучим и подберем параметры ML модели-классификатора 🟠Проведем расчет и анализ метрик на основе результатов работы модели 🕗Встречаемся 19 февраля 19:00 по мск Вебинар будет интересен как новичкам, так и уже опытным специалистам Зарегистрироваться на бесплатный вебинар

📚 "Painful intelligence: What AI can tell us about human suffering Эта бесплатная книга — путеводитель по миру машинного обучения! Основное, что в ней рассматривается: • Базовые концепции: Алгоритмы, математические основы и принципы построения моделей. • Глубокое обучение: Нейронные сети, методы оптимизации и регуляризация для повышения качества моделей. • Практические кейсы: Реальные примеры применения ML в различных отраслях, от анализа данных до прогнозирования. • Современные методики: Настройка гиперпараметров, интерпретация результатов и стратегии улучшения производительности. Для специалиста по машинному обучению эта книга станет полезным ресурсом, помогая углубить знания, найти новые подходы и повысить эффективность проектов. 📚 Книга #freebook #book #ai #ml #machinelearning #opensource

🌟 Awesome AI/ML Resources Этот репозиторий — настоящий кладезь для всех, кто интересуется искусственным интеллектом и машинным обучением! Здесь собрано огромное количество проверенных ресурсов: статьи, туториалы, инструменты, библиотеки и многое другое. Благодаря такой структурированной подборке вы можете быстро находить актуальные материалы для обучения, исследований и разработки собственных проектов. Если хотите быть в курсе последних трендов и ускорить своё развитие в AI/ML — это то, что вам нужно! 🖥 Github @data_analysis_ml

🔥 CHRONOS — это инновационный подход к созданию хронологических сводок новостей, разработанный командой Alibaba-NLP! 💡 Он основан на итеративной генерации вопросов о теме и полученных документах для формирования последовательных хронологических резюме. В рамках проекта создан актуальный датасет для открытой хронологической сводки новостей, превосходящий существующие публичные наборы данных по размеру и продолжительности временных линий. Эксперименты показали, что метод CHRONOS эффективен в задачах открытой хронологической сводки и достигает сопоставимых результатов с передовыми методами в закрытых доменах, при этом значительно улучшая эффективность и масштабируемость. 🖥 Github @data_analysis_ml

RSHB DA Meetup: Качество данных и Data Vault 2.0 в действии Митап от РСХБ.цифра для дата-аналитиков и инженеров данных Приглашаем всех, кто занимается большими данными и следит за их качеством. Вас ждут доклады от руководителей дата-направлений. 🌐 Онлайн и офлайн в Москве 📆 27 февраля в 18:00 (МСК, GMT+3) 👥 Дискуссии для участников, афтерпати в офлайне ❓ Мерч и призы за вопросы Программа: 🗣 Леонид Калядин (МТS Digital) — «Data Quality в условиях Self-Service: как мы избежали хаоса и создали систему проверок для коммунальных витрин» 🗣 Алексей Кошевой и Кристина Проскурина (РСХБ-Интех) — «Как мы сделали одну большую песочницу для всех аналитиков» 🗣 Денис Лукьянов (Ecom․tech) — «Data Vault 2.0. Методология, логическая модель, построение витрин» Участвуйте в дискуссиях и задавайте вопросы спикерам — лично или в Telegram-чате. Организаторы подготовили мерч для офлайн-участников и призы для авторов лучших вопросов. Регистрируйтесь на сайте Реклама. Фонд «Сколково». ИНН 7701058410

ранняя версия Grok-3 (кодовое имя «шоколад») теперь №1 на Арене! 🏆 Грок-3 — это: - Первая в мире модель, преодолевшая отметку в 1400 очков! - №1 по всем категориям, достижение, которого становится все труднее достичь

🚀 Mistral-24B-Reasoning устанавливает новый стандарт для моделей рассуждений с открытым исходным кодом, превосходя s1.1-32B с меньшим количеством параметров! Модель Mistral-Small-24B-Instruct-2501-reasoning представляет собой специализированную версию модели Mistral-Small-24B-Instruct-2501, оптимизированную для задач математического рассуждения. Она была дообучена на датасетах: OpenR1-Math-и s1K-1.1, с целью повышения своих способностей к логическому и математическому анализу. Ключевые особенности: - Оптимизация для математических задач: Модель адаптирована для решения сложных математических задач, включая вычисления, доказательства теорем и анализ математических выражений. - Высокая производительность: С 24 миллиардами параметров модель достигает результатов, сопоставимых с более крупными моделями, обеспечивая точность и эффективность в математическом рассуждении. - Открытый исходный код: Доступность модели на платформе Hugging Face позволяет исследователям и разработчикам интегрировать её в различные приложения и проводить дополнительные исследования. 📊 Новая SOTA для открытых моделей на базе R1: ✅ Результат на Math 500: 95,0% ✅ Результат на AIME 2025: 53.33% ✅ Результат наGPQA-D: 62,02% https://huggingface.co/yentinglin/Mistral-Small-24B-Instruct-2501-reasoning

✔ Auto Deep Research — это мощный AI-ассистент для исследователей и разработчиков. Ключевые особенности: - Экономичность и открытый исходный код: Забудьте о дорогих подписках! Auto Deep Research предлагает доступную альтернативу с оплатой по мере использования, сохраняя высокую производительность. Как открытое решение, оно обеспечивает прозрачность и развитие сообщества. - Высокая производительность: Система демонстрирует результаты, сопоставимые с OpenAI Deep Research, занимая лидирующие позиции в GAIA Benchmark среди open-source решений. - Простота использования: Система развертывания в один клик позволяет мгновенно запускать передовые исследовательские возможности без сложных настроек. - Универсальная совместимость: Поддержка интеграции с различными большими языковыми моделями (OpenAI, Anthropic, Deepseek и другие) и гибкие режимы взаимодействия с функциями и без них. ▪GitHub #agent #llm #ai

🔥 Leffa — это унифицированная платформа для генерации изображений людей с возможностью точного управления их внешним видом (виртуальная примерка) и позой (перенос позы)! 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

📊 Бесплатный вебинар для тех, кто хочет освоить машинное обучение с нуля! Присоединяйтесь к практическому уроку «Задача регрессии в ML на пальцах» от OTUS. В прямом эфире обсудим один из ключевых методов машинного обучения — регрессионный анализ. На вебинаре вы: - познакомитесь с таким классом задач, как регрессия - детально изучите один из базовых алгоритмов машинного обучения — линейную регрессию - научитесь применять линейную регрессию на практике - сможете задать вопросы по Data Science 📅 Занятие пройдет 26 февраля в 20:00 мск. Все участники вебинара получат скидку на курс «Специализация Machine Learning»: С нуля до Middle ML инженера (Data Scientist) за 11 месяцев. Успейте занять место на бесплатном вебинаре: https://otus.pw/YlnI/?erid=2W5zFJ1H7EQ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🚀 Кто-то только что объединил «OpenAI Operator» с «Replit agent», чтобы создать приложение! Посмотрите, как два AI-агента объединяются, обмениваются данными и начинают тестирование. Еще несколько месяцев, и полный цикл разработки можно будет делать с помощью агентов. @data_analysis_ml

✔️ Бесплатные полезные руководства по дистилляции моделей: 1. Руководство по дистилляции от OpenAI 🖥 Руководство содержит подробное описание процесса передачи знаний от более крупной модели к компактной, c сохранением высокой производительности модели. Основные аспекты, рассмотренные в руководстве: - Сохранение выходных данных крупной модели: Создание набора данных, содержащего предсказания большой модели, которые будут использоваться для обучения меньшей модели. - Оценка производительности моделей: Сравнительный анализ точности и эффективности как крупной, так и компактной моделей на основе различных метрик. - Создание обучающих данных для компактной модели: Использование предсказаний крупной модели для генерации обучающего набора данных, способствующего эффективному обучению меньшей модели. - Оценка дообученной компактной модели: Проверка производительности и точности компактной модели после процесса дистилляции для подтверждения соответствия требованиям. 🔗Ссылка 2. Учебник по дистилляции знаний от PyTorch 🔥 Руководство от PyTorch, которое содержит практическое введение в технику передачи знаний для развёртывания моделей на устройствах с ограниченными вычислительными ресурсами. Основные аспекты руководства: - Извлечение скрытых представлений: В гайде показано, как получить промежуточные представления из обученной модели для дальнейшего использования. - Модификация циклов обучения в PyTorch: Здесь рассматривается интеграция дополнительных функций в стандартные циклы обучения для эффективной передачи знаний. - На примере показан процесс обучения компактной модели, с ипользованием предсказания более сложной модели в качестве ориентира. Руководство содержит пошаговые инструкции и примеры кода, что делает его ценным ресурсом, если вы хотите научиться оптимизировать свои модели для использования в средах с ограниченными ресурсами. ▪Ссылка 3. Jetson Introduction to Knowledge Distillation от Nvidia 🖥 В данном руководстве рассматривается процесс передачи знаний от модели OpenCLIP (vision-language model) к модели ResNet18 для классификации на наборе данных STL10. Особое внимание уделяется тому, как выбор данных, методы дистилляции и архитектура модели, влияют на итоговую точность. Кроме того, обсуждаются методы профилирования и оптимизации моделей для их развёртывания на устройствах NVIDIA Jetson Orin Nano. 🔗 Ссылка 4. Учебник по дистилляции знаний от Keras ⭐️ Подробно описывается концепция дистилляции знаний и ее применение в обработке медицинских изображений. 🔗Github 🔗Учебник Keras 5. Руководство по дистилляции от huggingface 🤗 Здесь показано, как выполнять дистилляцию знаний шаг за шагом на конкретном примере. 🔗 Ссылка 6. Дистилляция знаний для задач компьютерного зрения от huggingface 👁 Здесь рассматривается, как сделать файнтюн ViT-модели в MobileNet с помощью API Trainer из Transformers. 🔗Ссылка #KnowledgeDistillation #Distillation #openai #keras #tutorial #course #freecourses #huggingface #Nvidia #pytorch

✔ Deep-research-web-ui от AnotiaWang представляет собой веб-интерфейс для проекта deep-research с рядом улучшений и исправлений. Инструмент может быть весьма полезен для специалистов по машинному обучению, заинтересованных в создании или использовании интерактивного инструмента для глубокого исследования. В целом, если ваша работа связана с исследовательской аналитикой или прототипированием AI-решений, данный репозиторий может стать интересным и полезным инструментом для экспериментов и дальнейшей разработки. (см. полное описание в README: ) Преимущества - Инновационный подход к исследованиям Проект реализует «глубокого» ассистента исследователя, который сочетает возможности поисковых систем, веб-скрейпинга и больших языковых моделей. Это позволяет проводить итеративный и детальный анализ любой темы, что может быть интересно для специалистов, занимающихся исследовательскими проектами или прототипированием новых идей. - Безопасность и приватность Все данные, включая настройки и API-запросы, остаются локально в браузере пользователя. Такой подход повышает уровень безопасности и может быть важен для специалистов, обеспокоенных конфиденциальностью данных при работе с внешними API. (см. раздел "Safe & Secure" в описании: ) - Интерактивность и визуализация процесса Репозиторий реализует возможность отображения процесса исследования в виде дерева, что помогает визуально отслеживать ход поиска и анализировать промежуточные результаты. Кроме того, поддерживается потоковая передача ответов от AI в реальном времени, что улучшает взаимодействие с системой. (см. описание функционала: ) - Поддержка экспорта результатов Возможность экспортировать финальный отчёт в PDF-формате делает проект удобным для подготовки исследовательских материалов и отчётов, что может быть полезно для демонстрации результатов работы или дальнейшей аналитики. - Многообразие провайдеров Проект поддерживает работу с различными AI-провайдерами (OpenAI совместимые, DeepSeek, OpenRouter, Ollama) и веб-поисковыми сервисами (Tavily, Firecrawl). Такая гибкость позволяет специалистам выбирать инструменты, наиболее подходящие для их задач, и проводить сравнительный анализ результатов работы разных сервисов. - Современные технологии и Docker-поддержка Проект построен на современном стеке (Nuxt, TypeScript, Vue) и включает инструкции по развертыванию с помощью Docker. Это упрощает интеграцию в существующую инфраструктуру и позволяет быстро запустить систему в тестовом или продакшн-режиме. - Активное развитие и обновления В разделе "Recent updates" отмечены регулярные улучшения, исправления ошибок и расширение функционала (например, добавление поддержки новых моделей и провайдеров, улучшение работы экспорта и визуализации). Это свидетельствует о том, что проект находится в стадии активного развития. Недостатки и возможные ограничения - Узкая специализация Проект ориентирован на создание исследовательского ассистента, что может быть полезно не для всех специалистов по машинному обучению. Если ваша область интересов лежит вне применения таких интерактивных инструментов для исследования, функционал репозитория может показаться избыточным или не совсем релевантным. - Документация и настройка Хотя README содержит основные инструкции по развертыванию и использованию, для некоторых специалистов может потребоваться более подробная документация или примеры использования в сложных сценариях. Для продвинутой интеграции или кастомизации могут возникнуть вопросы, требующие дополнительного изучения кода. - Зависимость от внешних провайдеров Проект поддерживает работу с несколькими AI- и веб-поисковыми сервисами. Однако если вы планируете использовать нестандартные провайдеры или столкнётесь с изменениями в API этих сервисов, потребуется дополнительная адаптация кода. ▪ Github: https://github.com/AnotiaWang/deep-research-web-ui

🔥 Microsoft только что выпустила впечатляющий инструмент - OmniParser V2, который может превратить любого LLM в агента, способного использовать компьютер. Он решает две ключевые проблемы GUI-автоматизации: - Обнаружение интерактивных элементов. Традиционно LLM испытывают трудности с определением мелких иконок и других элементов пользовательского интерфейса. OmniParser V2 «токенизирует» скриншоты – переводит изображение экрана из пиксельного пространства в структурированные данные, представляющие интерактивные объекты. Понимание семантики интерфейса. Инструмент структурирует информацию так, чтобы LLM могли проводить поиск по элементам и предсказывать следующее действие на основе полученной информации. Плюсы OmniParser V2 - Повышенная точность: Благодаря обучению на большем объеме данных для обнаружения интерактивных элементов и функциональных описаний иконок, OmniParser V2 существенно улучшает точность даже для очень маленьких элементов по сравнению с предыдущей версией . Сокращение задержки: - Оптимизация размера изображения в модели описания иконок позволила снизить задержку на 60% по сравнению с предыдущей версией, что делает его более оперативным в реальном времени. Гибкость и интеграция: - OmniParser V2 легко интегрируется с современными LLM, такими как GPT-4o, DeepSeek, Qwen и Anthropic Sonnet. Это позволяет комбинировать распознавание интерфейса, планирование действий и их исполнение в одном конвейере. Поддержка тестов через OmniTool: - Для быстрого тестирования различных настроек агентов разработана платформа OmniTool – docker-решение на базе Windows, содержащее все необходимые инструменты для экспериментов. Минусы и ограничения - Требования к техническим навыкам: Для развертывания и интеграции OmniParser V2 требуется определённый уровень технической подготовки, особенно если вы планируете экспериментировать с настройками через OmniTool. Ограничения в безопасности: - Из соображений ответственного использования (Responsible AI), рекомендуется применять OmniParser V2 только к скриншотам, не содержащим чувствительной или личной информации. Это помогает минимизировать риски утечки данных , . Исследовательская стадия: На данный момент инструмент ориентирован на исследовательские и экспериментальные задачи, и его коммерческое использование может требовать доработок или адаптации под конкретные задачи. Как пользоваться OmniParser V2: Развертывание через OmniTool: Для упрощения экспериментов Microsoft разработала OmniTool – dockerизированную систему на базе Windows. Запустив OmniTool, вы получите преднастроенную среду, в которой OmniParser V2 может работать с различными LLM. Подготовка скриншотов: Сделайте скриншоты пользовательского интерфейса, которые хотите автоматизировать. OmniParser V2 обработает изображение, преобразовав его в структурированные данные, где каждому интерактивному элементу будет присвоен уникальный токен. Интеграция с LLM: Передайте полученные данные выбранной языковой модели. LLM, получив «токенизированный» интерфейс, сможет проводить retrieval-based next action prediction, то есть предсказывать следующее действие пользователя на основе распознанных элементов. Исполнение действий: После того как LLM определит, какое действие следует выполнить (например, нажатие на кнопку или выбор меню), система может автоматизированно выполнить это действие в графическом интерфейсе. OmniParser V2 существенно расширяет возможности LLM, превращая их в эффективных агентов для работы с графическими интерфейсами. ▪GitHub → https://github.com/microsoft/OmniParser/tree/master ▪Official blog post → https://microsoft.com/en-us/research/articles/omniparser-v2-turning-any-llm-into-a-computer-use-agent/ ▪Hugging Face → https://huggingface.co/microsoft/OmniParser-v2.0 @data_analysis_ml

🔥 RD-Agent — это инструмент с открытым исходным кодом, разработанный Microsoft для автоматизации процессов исследований и разработок (R&D), особенно в сфере искусственного интеллекта! 🌟 Он предназначен для повышения производительности в промышленности, фокусируясь на автоматизации высокоценных процессов, связанных с данными и моделями. 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

Евгений Разинков – преподаватель ML в Казанском университете с многолетним стажем, руководитель собственной команды ML-инженеров и автор популярного канала по машинному обучению на YouTube приглашает вас в свою AI-школу. Особенности: • теория и практика • акцент на самостоятельную реализацию архитектур с нуля • полное понимание того, что происходит внутри нейронной сети • архитектуры от сверточных нейронных сетей до трансформеров и языковых моделей. Регулярные живые QA-сессии, дружное комьюнити, а также компетишены, где можно будет посоревноваться (в командах и поодиночке) в решении ML задач. От вас: владение Python и знание основ классического ML (регрессия, классификация, градиентный спуск). Если классический ML не знаете - есть базовые курсы по ML. 7 месяцев, 4 курса: • AI: от основ до языковых моделей • Math for AI - необходимый математический бэкграунд • MLOps - всё про жизненный цикл модели, логирование, версионирование, docker • Decision making in AI - управление AI-проектом и стратегия В рамках Capstone Project вы с нуля реализуете и обучите небольшую языковую модель для генерации простых историй, а также выведете ее в продакшн. Полная стоимость за 7 месяцев (все 4 курса): • 112 000 рублей (единоразово) или • 17 000 рублей в месяц Если материалы вам не понравятся, мы вернем деньги за текущий оплаченный месяц (и последующие при единоразовой оплате)! Старт уже 17 февраля, скорее регистрируйтесь здесь! Еще больше подробностей о курсе ищите в видео и на странице с отзывами участников. Кстати, теоретические видео курса AI: от основ до трансформеров находятся в открытом доступе на канале Евгения! ООО «Лаборатория Евгения Разинкова», ИНН: 5043088023, erid: 2VtzqxKcuC1

🔥 deep-research - открытая реализация нового агента Deep Research от OpenAI! 💡 Цель проекта — предоставить возможности глубокого обучениы без необходимости оплачивать платные сервисы, предлагая настраиваемые параметры для регулирования глубины и широты исследования. Пользователи могут запускать агента в течение разного времени — от 5 минут до нескольких часов — в зависимости от потребностей, при этом система автоматически адаптируется к заданным параметрам. 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

Профессия аналитика данных — одна из самых высокооплачиваемых и перспективных в сфере IT. На курсе «Аналитик данных» от Нетологии вы с нуля освоите необходимые навыки за 7 месяцев под руководством опытных наставников-практиков. Вы изучите SQL, Python, Power BI — ключевые инструменты для работы с данными. Научитесь использовать статистические методы, строить и проверять гипотезы. Создадите 4 полноценных проекта для своего портфолио и выполните более 20 практических заданий. А по окончании курса получите диплом о профпереподготовке и сможете претендовать на должность junior-аналитика. Начните свой путь в сфере аналитики данных — присоединяйтесь к программе. Промокод BIGDATA45 даст повышенную скидку 45% от цены курса. Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5x7Td5z

✔ NanoSage — это продвинутый инструмент для рекурсивного поиска и генерации отчётов, который работает локально на вашем компьютере, используя небольшие языковые модели. NanoSage представляет собой «глубокого исследовательского ассистента», который: - Выполняет рекурсивный поиск: система разбивает исходный запрос на подзапросы, чтобы исследовать тему с разных сторон. - Интегрирует данные из нескольких источников: объединяются результаты локальных документов и веб-поиска, что позволяет получить максимально полное представление по теме. Генерирует структурированные отчёты: итоговый результат оформляется в виде подробного Markdown-отчёта с оглавлением, отражающим путь исследования. (См. подробное описание в ) Как работает NanoSage 1. Подготовка и конфигурация Настройка параметров: с помощью командной строки задаются основные параметры, такие как основной запрос (--query), глубина рекурсии (--max_depth), использование веб-поиска (--web_search) и выбор модели для поиска. Конфигурация через YAML: дополнительные настройки, например, минимальный порог релевантности, ограничение на длину запроса и др., задаются в конфигурационном файле. 2. Рекурсивный поиск и построение дерева знаний Расширение запроса: исходный запрос обогащается с помощью метода «chain-of-thought», что позволяет выявить скрытые аспекты темы. Генерация подзапросов: система автоматически разбивает исходный запрос на несколько релевантных подзапросов, каждый из которых анализируется отдельно. Фильтрация по релевантности: применяется алгоритм для оценки релевантности каждого подзапроса, что помогает избежать «провалов» и ненужных отклонений от темы. Сбор данных: для каждого релевантного подзапроса NanoSage загружает веб-страницы, анализирует локальные файлы и суммирует полученную информацию. 3. Генерация финального отчёта : итоговый отчёт составляется с использованием LLM модели (например, Gemma 2B), которая интегрирует все собранные данные в связное и подробное описание. Структурирование информации: результат оформляется в виде Markdown-документа, где оглавление представляет собой граф поискового процесса, а каждый раздел подробно описывает полученные результаты. (Подробнее о внутренней архитектуре см. и ) - Интеграция разных источников данных: Объединение информации из веб-ресурсов и локальных документов повышает полноту и точность исследования. - Баланс глубины и широты поиска: Использование метода Монте-Карло помогает находить баланс между детальным анализом отдельных аспектов и широким охватом темы. Гибкость и настройка: Параметры, такие как выбор модели для поиска, глубина рекурсии и порог релевантности, можно легко настроить под конкретные задачи. Если вам важны приватность, гибкость и детальный анализ информации, NanoSage может стать отличным решением для ваших исследовательских задач. ▪ Github #cli #local algorithms #python3 report #knowledgebase #g#ollama

🎥 Модель генерации видео Veo 2 теперь доступна в YouTube Shorts. С помощью функции Dream Screen создатели контент могут: ✨ Создавать новые клипы, которые органично вписываются в повествование на видео, с помощью текстовых промптов. ✨ Использовать eo 2 для создания фонов к видео. https://blog.youtube/news-and-events/veo-2-shorts/