Анализ данных (Data analysis)

Привет, ML-специалист! 😎 Надоели базовые туториалы и предсказуемые датасеты? Пора разобраться с тем, что действительно крутит этот мир — рекомендательными системами! Приглашаем на бесплатный вебинар продвинутого курса «Machine Learning. Advanced», где будем вскрывать матричные разложения без анестезии! На вебинаре с Марией Тихоновой (Senior Data Scientist, SberDevices): — Изучим специфику построения RS — Разложим по полочкам матричные разложения — Научимся создавать свои рекомендательные системы Это ваш шанс не просто послушать, а протестировать обучение на курсе! А если решите остаться — ловите промокод MLADV_10 для выгодного зачисления. 👉Регистрируйтесь сейчас - напомним перед вебинаром: https://otus.pw/kd5F/?erid=2W5zFGNyaTA Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🌐 Tongyi Lab и Alibaba представили ReSum — новый способ, который позволяет веб-агентам искать дольше и отвечать точнее. 📊 Ключевые результаты: - +4,5% к качеству по сравнению с ReAct - до +8,2% с ReSum-GRPO - Pass@1: 33,3% и 18,3% на сложных тестах BrowseComp 🛠️ В чём проблема ReAct? Агенты в ReAct ведут подробный «дневник»: думают, делают действие (поиск, клик), фиксируют результат и снова повторяют цикл. Это делает процесс прозрачным, но в длинных задачах история быстро разрастается → лимит контекста → потеря деталей. 🚀 Решение ReSum: - Когда контекст близок к пределу, агент останавливается и пишет резюме: проверенные факты + ещё открытые вопросы. - Потом он продолжает уже с этого резюме, вместо длинной переписки. ⚙️ Что добавили авторы: - Отдельную 30B-модель для резюме, которая лучше обрабатывает «шумные» страницы и выделяет важное. - Усиленное обучение ReSum-GRPO: агент получает награду только за финальный ответ, а она распределяется по всем промежуточным шагам. Это учит собирать правильные факты и делать сжатые, полезные резюме. 📌 Итог: агенты остаются в рамках токен-бюджета и решают сложные задачи веб-поиска и анализа фактов лучше, чем классический ReAct. 📄 https://arxiv.org/abs/2509.13313

Команде Kandinsky нужны именно вы? Сейчас узнаем! 😏 1) Разрабатывать и внедрять техники ускорения инференса. 2) Использовать и дорабатывать существующие ML-компиляторы. 3) Улучшать процессы обучения с помощью исследований. Если вы трижды ответили «да» — добро пожаловать на One Day Offer, который пройдёт 11 октября. Зарегистрироваться!

🧠 Google представила Gemini 2.5 Computer Use - ИИ, который управляет интерфейсами как человек Google выпустила Gemini 2.5 Computer Use model - специализированную версию Gemini 2.5 Pro, предназначенную для создания агентов, способных взаимодействовать с графическими интерфейсами (UI). Модель доступна в предпросмотре через Gemini API в Google AI Studio и Vertex AI. Главное отличие - агенты теперь могут навигационно работать с веб-страницами и приложениями: кликать, вводить текст, заполнять формы, выбирать пункты меню и даже действовать за логином, имитируя человеческое поведение. Модель показывает лучшие результаты на бенчмарках для веб- и мобильного контроля и при этом работает с низкой задержкой, обгоняя конкурентов. Gemini 2.5 Computer Use построена вокруг нового инструмента computer_use, который принимает запрос пользователя, скриншот интерфейса и историю действий, анализирует их и генерирует следующую команду — например, клик или ввод текста. После выполнения действия модель получает обновлённый скриншот и повторяет цикл до завершения задачи. Google также внедрила встроенные механизмы безопасности, предотвращающие рискованные действия (например, попытки обойти CAPTCHA или вмешаться в защищённые системы). Каждый шаг проверяется через отдельный слой безопасности перед выполнением. Модель уже используется внутри Google - в UI-тестировании, Project Mariner, Firebase Testing Agent и некоторых функциях AI Mode в Search. Ранние пользователи отмечают ускорение рабочих процессов на 50% и повышение точности до 18% в сложных сценариях. Gemini 2.5 Computer Use - это шаг к новой эре агентов, которые понимают интерфейсы и могут самостоятельно выполнять задачи прямо в браузере. https://gemini.browserbase.com/

📘 На Stepik вышел курс — «ML-инженер: от первой модели до продакшена» Хотите не просто натренировать модель в ноутбуке, а довести её до реального продукта? Этот курс — полный путь от основ до production. • Математика и Python: линейная алгебра, статистика, NumPy, Pandas, визуализация (Matplotlib, Seaborn, Plotly) • Классика ML: регрессия, KNN, деревья решений, Random Forest, SVM, Naive Bayes • Ансамбли: XGBoost, LightGBM, CatBoost, подбор параметров (Optuna, Hyperopt), MLflow • Deep Learning: PyTorch и TensorFlow/Keras, CNN, RNN/LSTM, Attention, Transfer Learning • Работа с данными: парсинг (BeautifulSoup, Scrapy), SQL/API, feature engineering • Продвинутые задачи: рекомендательные системы, временные ряды (ARIMA, Prophet), SHAP и LIME • MLOps: FastAPI, Docker, деплой в облако, мониторинг моделей • Подготовка к собеседованиям: технические вопросы, системный дизайн, SQL, портфолио 🎓 Сертификат — добавьте в резюме или LinkedIn 🚀 Скидка 25%, действует 48 часов 👉 Пройти курс на Stepik

🛠 Нашёл интересный инструмент — Parlant Это open-source фреймворк для создания LLM-агентов, где можно задавать чёткие правила их поведения. В отличие от обычных промптов, тут есть система «guidelines» — условия и действия, которые агент обязан выполнять. Например: *если пользователь спрашивает про погоду, сходи в этот тул и верни аккуратный ответ*. Есть готовые модули для интеграции: чат-компонент на React, сервис для Q&A на базе FAQ и шаблон для подключения своих инструментов. Понравилось, что подход более предсказуемый: агент меньше «галлюцинирует», проще контролировать стиль ответов и можно реально использовать в продакшне. Код и примеры здесь 👉 https://github.com/emcie-co/parlant

Твой шанс прокачаться в ИТ, получить карьерный буст и побороться за призовой фонд 10 250 000 рублей 💰 Успей зарегистрироваться до 20 октября. МТС приглашает на True Tech Champ — всероссийский чемпионат по программированию. Соревнование будет проходить в двух треках. Трек 1. Алгоритмический. Индивидуальный зачет [призовой фонд 2 750 000 рублей] Реши задачи, которые помогут прокачаться в работе с алгоритмами и структурами данных. Похожие задания встречаются на собеседованиях в МТС и других крупных компаниях. До 240 лучших участников попадут в финал и сразятся в лайв-кодинге. Трек 2. Программирование роботов. Командный формат [призовой фонд 7 500 000 рублей] Проведи робота по виртуальному лабиринту, затем управляй им дистанционно на офлайн-полигоне, а в финале — пройди испытания на реальной площадке и выбей соперников с платформы. Организаторы отправят командам финалистов по одному роботу Waveshare Cobra Flex для кастомизации. После соревнований они останутся у участников в качестве подарка. 📍 Зрелищный шоу-финал с ИИ-технологиями, кодерскими челленджами и выступлениями международных и российских спикеров пройдет 21 ноября в МТС Live Холл. 🎁 Регистрация участников до 20 октября на сайте.

🧠 ProofOfThought: LLM Reasoning with Z3 Theorem Prover ProofOfThought leverages large language models (LLMs) for reasoning tasks using the Z3 theorem prover. It provides a high-level API for easy integration and batch evaluation of reasoning queries, making it suitable for various applications in AI and logic. 🚀Основные моменты: - Использует LLM для логического вывода. - Высокоуровневый API для упрощения взаимодействия. - Поддержка пакетной оценки с метриками точности. - Примеры использования с Azure OpenAI. 📌 GitHub: https://github.com/DebarghaG/proofofthought #python

За 404 секунды можно понять, почему в комьюнити обсуждают MCP как следующий шаг в развитии open source Model Context Protocol убирает хаос интеграций: теперь AI-агент может одинаково легко работать с IDE, таск-трекерами, базами данных и другими сервисами. Открытый стандарт делает экосистему разработки более прозрачной и управляемой. В выпуске «404 секунды» — разбор MCP и того, как его уже поддержал SourceCraft, чтобы AI-агенты могли управлять полным циклом разработки: от кода и автотестов до деплоя в облако. Подробности — в свежем выпуске на YouTube или VK Видео

⚡️ Новые открытые модели стремительно сокращают разрыв с закрытыми флагманами в агентских задачах. На бенчмарке Terminal-Bench Hard (кодинг и терминальные агенты) модели DeepSeek V3.2 Exp, Kimi K2 0905 и GLM-4.6 показали серьёзный рост - DeepSeek уже обогнал Gemini 2.5 Pro. Это значит, что open-source-модели теперь становятся реальной альтернативой для агентных сценариев и разработки — выбор разработчиков шире, чем когда-либо. Внизу - анализ цены и производительности ведущих провайдеров 👇 🟠DeepSeek V3.2 Exp: https://artificialanalysis.ai/models/deepseek-v3-2-reasoning/providers 🟠GLM-4.6: https://artificialanalysis.ai/models/glm-4-6-reasoning/providersKimi 🟠K2 0905: https://artificialanalysis.ai/models/kimi-k2-0905/providers

🙂 Почему зрители привязываются к ИИ-стримерам и как это меняет взаимодействие Исследование, в котором анализирует феномен Neuro-sama – виртуального стримера, полностью управляемого крупной языковой моделью. Neuro-sama ведёт трансляции от лица анимированного аватара, общаясь с чатом в реальном времени без участия человека. Исследователи использовали опросы, интервью и анализ логов чата, чтобы понять, как зрители открывают для себя ИИ-стримера, почему остаются и как формируется эмоциональная связь. 🧩 Ключевые наблюдения: - Зрители приходят из любопытства: их привлекает новизна, скорость ответов и непредсказуемость поведения ИИ. - Они остаются из-за эмоциональных моментов, которые создают чувство общности и групповую идентичность вокруг персонажа. - Несмотря на осознание, что это программа, фанаты общаются с ИИ как с живым существом, формируя социальную привязанность. - Для зрителей аутентичность = стабильность, а не человечность. Последовательное поведение и узнаваемая личность важнее реалистичных эмоций. - В чате преобладают прямые вопросы и команды, превращая стрим в интерактивный тест ИИ. - 85% платных сообщений используются, чтобы направлять поведение Neuro-sama, делая зрителей соавторами контента. Основная дилемма: Создателям нужно сохранять устойчивый характер персонажа, но при этом давать пространство для импровизации и неожиданности. Слишком предсказуемый ИИ теряет интерес, но слишком изменчивый разрушает ощущение «личности». В итоге такие проекты показывают, как человеческое восприятие аутентичности постепенно адаптируется: нам всё меньше нужна «реальность», и всё больше – постоянство и вовлечённость, даже если источник этой личности — алгоритм. 📌 Подробнее: https://arxiv.org/abs/2509.10427 @data_analysis_ml

🚀 NeuTTS Air - on-device TTS с мгновенным клонированием голоса Это первая реалистичная модель синтеза речи, запускаемая на устройстве, без api. Формат - GGML, что позволяет работать на телефонах, ноутбуках и даже на Raspberry Pi. Клонирование голоса за 3 секунды: достаточно короткого аудиофрагмента, чтобы сконструировать голос для последующих синтезов. Базируется на лёгком языковом ядре (0,5 B) + нейрокодек NeuCodec, что обеспечивает баланс между качеством и скоростью. Генерируемые аудио отмечаются водяным знаком с помощью Perceptual Threshold Watermarker — для борьбы с злоупотреблениями. GitHub: https://github.com/neuphonic/neutts-air

🚀 Примеры и руководства по моделям DeepMind Gemini Репозиторий содержит небольшие примеры, фрагменты кода и руководства, демонстрирующие эксперименты с моделями Gemini от Google DeepMind. Здесь вы найдете полезные образцы для интеграции и использования различных функций Gemini, включая работу с OpenAI SDK и Google Search. 🚀 Основные моменты: - Примеры использования Gemini с OpenAI и Google Search - Руководства по функциям и агентам - Скрипты для работы с браузером и генерации контента - Интеграция с LangChain и PydanticAI 📌 GitHub: https://github.com/philschmid/gemini-samples #python

⚡️ Модель ModernVBERT с 250 млн параметров показывает результаты, сопоставимые или превосходящие модели, которые в 10 раз больше, в задачах поиска по документам. Модель лидирует среди моделей до 1 млрд параметров и кодирует запросы в 7 раз быстрее на обычных CPU. В отличие от декодеров, которые читают текст слева направо и не могут пересматривать ранние токены, ModernVBERT использует двунаправленный текстовый энкодер, обученный на маскировании слов, и небольшой визуальный модуль. Каждое изображение страницы разбивается на патчи, которые отображаются в то же пространство, что и текст, а затем объединяются с токенами слов. Механизм позднего взаимодействия (late interaction) сохраняет векторы всех токенов, позволяя каждому токену запроса находить наиболее точное соответствие. Эта комбинация двунаправленного внимания и позднего взаимодействия превосходит декодерные архитектуры при извлечении документов. Более высокое разрешение страниц и короткая «high-resolution cooldown» фаза повышают точность поиска, хотя могут ухудшить работу с обычными изображениями. Добавление пар «только текст» в контрастивное обучение помогает модели эффективно объединять текстовое и визуальное пространство. ColModernVBERT - остаётся компактной, демонстрирует высокие показатели на бенчмарках и работает эффективно даже на стандартных CPU. Интересное чтиво: https://arxiv.org/abs/2510.01149

💾 Генеральный директор Western Digital заявил, что жёсткие диски остаются центральным элементом хранения данных для ИИ: примерно 80% данных гиперскейлеров хранятся на HDD, 10% — на SSD и ещё 10% — на лентах. Такое распределение объясняется экономикой и энергопотреблением: диски примерно в 5–6 раз дешевле SSD при больших объёмах и потребляют меньше ватт на терабайт. В дата-центрах данные распределяют по уровням: «горячие» — на флэше, «тёплые и холодные» — на HDD, архивные — на ленте. Это оптимальный баланс стоимости и производительности. Однако спрос на хранение для ИИ настолько вырос, что производители не успевают удовлетворять рынок: время ожидания дисков сверхвысокой ёмкости (32 ТБ+) растягивается от нескольких месяцев до года. pcguide.com/news/hard-drives-far-from-obsolete-says-western-digital-ceo-and-ai-is-one-big-reason-why/

💡 Модель Ming-UniAudio — это универсальный фреймворк, сочетающий понимание речи, генерацию и редактирование. - Модель Ming-UniAudio — это универсальный фреймворк, сочетающий *понимание речи*, *генерацию* и *редактирование*. - В её основе лежит единый непрерывный токенизатор речи, интегрирующий семантические и акустические признаки. - Поддерживается инструкционное редактирование: можно менять звук, содержание или тональность без указания временных фрагментов. - В бенчмарках показывает конкурентные результаты и для распознавания, и для генерации речи. - Лицензия: Apache-2.0. 💻 GitHub: https://github.com/inclusionAI/Ming-UniAudio 🤗 Tokenizer: https://huggingface.co/inclusionAI/MingTok-Audio 🤗 Model: base: https://huggingface.co/inclusionAI/Ming-UniAudio-16B-A3B edit: https://huggingface.co/inclusionAI/Ming-UniAudio-16B-A3B-Edit 🤗 Benchmark: https://huggingface.co/datasets/inclusionAI/Ming-Freeform-Audio-Edit-Benchmark 🌍 blog: https://xqacmer.github.io/Ming-Unitok-Audio.github.io/ #AI #Speech #SpeechLLM #LLM #GenerativeAI #Audio #ASR #TTS #SpeechEditing

🚀 IBM Granite 4.0 теперь доступен в Unsloth 🧩 Модель в формате GGUF с гибридной архитектурой (Hybrid Mamba) — сочетание плотных слоёв и MoE для ускорения и снижения памяти. ⚡ Основные факты: - Доступные размеры: Micro (3B), Tiny (7B/1B активный), Small (32B/9B активный). - Контекст до 128K токенов. - Тренировка в Unsloth до 2× быстрее и требует на 50% меньше VRAM. - Поддержка Ollama, llama.cpp и Docker для лёгкого запуска. 🎯 Где полезно: чат-боты, edge-развёртывания, длинные документы, кастомизация через fine-tuning. Подробнее: https://docs.unsloth.ai/new/ibm-granite-4.0 Hf: https://huggingface.co/collections/unsloth/granite-40-68ddf64b4a8717dc22a9322d

Ищете мощный сервер без переплаты? Выгодное решение для обработки и анализа больших данных — выделенный сервер конфигурации AR45-NVMe от Selectel. Он подойдет для эффективной работы с многопоточностью и Python, R, Spark в рамках одной машины, а также машинного обучения на CPU. Преимущества сервера: - 16 высокочастотных ядер, - Безлимитный интернет-трафик и приватная сеть — 1 Гбит/с, - DDoS-защита, публичный IPv4, SLA — 99,8%, - Автоустановка ОС и загрузка своих ISO-образов, - Техподдержка 24/7 и замена комплектующих за 3 часа. Закажите сервер конфигурации AR45-NVMe на сайте в несколько кликов: https://slc.tl/2kf85?erid=2W5zFK8n6et

✔️ Прорыв в квантовых вычислениях Физики Гарварда создали первый в мире квантовый компьютер, который работает непрерывно без перезапуска. Ранее квантовые машины держались миллисекунды, максимум - около 13 секунд. Новая установка работает более 2 часов и может функционировать бесконечно. Ключевое новшество - решение проблемы потери атомов: система в реальном времени пополняет кубиты, впрыскивая 300 000 атомов в секунду с помощью оптических инструментов. Учёные считают, что практические, постоянно работающие квантовые компьютеры могут появиться уже в течение 2 лет - с огромным влиянием на медицину, финансы и научные исследования. thecrimson ✔️ Anthropic делает ставку на AI-приложения для бизнеса По данным The Information, Anthropic продвигает свою модель Claude как основу для создания enterprise-замен привычных приложений вроде Slack. Компания делает ставку на обучение с подкреплением, чтобы улучшить способности модели к программированию. Похожую стратегию развивает и xAI Илона Маска, но эксперты сомневаются, что крупные корпорации откажутся от укоренившихся систем вроде SAP или ServiceNow. Более вероятно, что первыми такие AI-first инструменты начнут использовать небольшие стартапы. Тем временем JPMorgan и другие банки активно заявляют об интеграции решений OpenAI, Anthropic и Google, хотя реальные масштабы затрат пока не соответствуют публичному энтузиазму. theinformation ✔️ Perplexity объявила, что её AI-браузер Comet, ранее доступный только по подписке $200/месяц, теперь стал бесплатным для всех (с ограничениями по запросам). Comet, запущенный в июле 2025 года, работает как встроенный ассистент: он умеет анализировать страницы, вытаскивать ключевые детали и сердить по ссылкам, проводя многошаговые исследования. Perplexity также представила Comet Plus за $5 — партнёрскую подписку, которая открывает доступ к контенту от CNN, The Washington Post, Fortune, Los Angeles Times и Condé Nast (The New Yorker, Wired и др.). Однако запуск совпал с продолжающимися исками от крупных издателей, включая Dow Jones (The Wall Street Journal) и New York Post, обвиняющих стартап в использовании их материалов для обучения ИИ. Скачать Comet ✔️ OpenAI раскалывает запуск Sora: ИИ-видео как TikTok, но сотрудники бьют тревогу TechCrunch пишет, что запуск нового соцприложения Sora 2 вызвал тревогу внутри самой OpenAI. Это TikTok-подобная лента, наполненная видео, созданными ИИ, включая дипфейки самого Сэма Альтмана. Часть исследователей OpenAI считает, что компания уходит от своей миссии ради хайпового контента. Один из сотрудников прямо заявил: «AI-ленты - пугающие. Я был шокирован, узнав, что мы выпускаем Sora 2…» Сторонники проекта объясняют, что такие продукты нужны, чтобы финансировать фундаментальные исследования и дать пользователям почувствовать силу технологий. В OpenAI утверждают, что хотят «показать людям что-то классное, чтобы они улыбнулись». Но вместе с ростом Sora OpenAI рискует повторить судьбу классических соцсетей: зависимость, манипуляции c информацией, проблемы с дипфейками и давлением на метрики вовлечённости. techcrunch ✔️ США продолжают контролировать большинство мировых мощностей для обучения ИИ, строя самые большие и энергоемкие кластеры Китай в 2025 году вложит до 98 млрд долларов, но экспортные ограничения на топовые чипы Nvidia и AMD тормозят прогресс. Huawei продвигает Ascend 910C, однако по памяти, пропускной способности и софту он уступает решениям Nvidia. США разрешили ограниченные продажи H20 и MI308 в Китай с 15% налогом, но топовые GPU недоступны китацы, и разрыв в производительности всё ещё в пользу американцев. X @ai_machinelearning_big_data #news #ai #ml

⚡ Это прорыв! Команда UCLA создала оптическую генеративную модель, которая работает на свете, а не на GPU. В демонстрации шум сначала кодируется в фазовые паттерны с помощью лёгкого энкодера, а затем свободное распространение света (оптический декодер) превращает их в изображения, цифры, одежду, бабочек, лица и даже картины в стиле Ван Гога. 🔥 Главное - во время генерации нет никакой вычислительной нагрузки. Результаты сопоставимы с цифровыми диффузионными моделями и открывают путь к сверхбыстрому и энергоэффективному ИИ на фотонике. 📄 Paper (Nature): https://nature.com/articles/s41586-025-09446-5#MOESM1