Анализ данных (Data analysis)

🆕 Новые подробности: суд опубликовал документы о совместной разработке OpenAI их ИИ-устройства Иск Google-backed стартапа iyO по товарному знаку раскрыл внутренние материалы OpenAI и io: ● За последний год OpenAI протестировали и проанализировали свыше 30 моделей наушников для изучения эргономики и технических возможностей ● VP продуктов OpenAI Питер Велиндер и CTO io Tang Tan лично испытывали прототипы, которые разработала компания,но они были нестабильны ● Сам Альтман подчеркнул, что устройство не будет ни внутриушным, ни обычным носимым гаджетом: готовая версия либо поместится в кармане или станет настольным аксессуаром ● Разрабатываются разные форм-факторы: стационарные и портативные, проводные и беспроводные решения ● К проекту подключились дизайнер Джони Айв и команда бывших инженеров Apple, работая вместе с OpenAI Официальный анонс и начало продаж ожидаются не ранее чем через год. ➡️ Читать #openai #news

🧠 Есть ли у ИИ «период полураспада»? Философ и исследователь Toby Ord предлагает свежий взгляд на прогресс AI: вместо тестов и баллов — измерять, как долго модель может успешно выполнять задачу, прежде чем сломается. Это и есть T₅₀ — время, при котором вероятность успеха падает до 50%. Аналог физического полураспада, но для интеллекта. 📉 Что обнаружили: • T₅₀ экспоненциально растёт — каждые ~7 месяцев удваивается. • Claude 3.7 Sonnet: T₅₀ ≈ 59 минут → T₈₀ ≈ 15 минут. • Чем выше порог успеха (T₉₀, T₉₉), тем меньше доступное «время жизни». • AI ведёт себя как система с постоянным риском сбоя (hazard rate). 🧩 Почему это важно: • Показывает пределы ИИ: даже при T₅₀ = 60 мин — T₉₉ всего ≈ 50 сек. • Даёт универсальную единицу сравнения: время, а не задачки. • Подсказывает направление: снижать риск ошибок в каждой микрозадаче. 📌 Это не просто идея. Это новая метрика для оценки ИИ — сколько он «живёт», пока не начнёт ошибаться. 🔗 Оригинал: https://www.tobyord.com/writing/half-life

Хотите управлять продуктами так, как это делают в Яндексе? Поступайте на онлайн-магистратуру «Искусственный интеллект в маркетинге и управлении продуктом» от НИУ ВШЭ и Яндекса! Вы узнаете, как запускать ИИ-решения в бизнесе с нуля — от оценки спроса до персонализации маркетинга. А после выпуска сможете войти в топ специалистов, которые меняют рынок! Что вас ждёт? 🔹 Данные вместо догадок — научитесь эффективно использовать ИИ, чтобы прогнозировать тренды, анализировать аудиторию и оптимизировать рекламные стратегии. 🔹 Фокус на практику — поработаете с реальными кейсами, актуальными инструментами и новейшими технологиями. 🔹 Преподаватели из Яндекса — будете учиться у лидеров индустрии, которые разрабатывают ИИ-системы и управляют цифровыми продуктами. Переходите на сайт программы, чтобы узнать подробности: https://bit.ly/44b9K1B

🧠 Сэм Альтман ясно дал понять: эпоха отдельных GPT-моделей заканчивается. OpenAI строит универсальную систему, способную мыслить глубоко и в реальном времени создавать интерактивное видео. В будущем вы сможете задавать любой вопрос — и модель не просто сгенерирует текстовый ответ, а проведёт исследование, напишет код, сама соберёт визуализацию и отрендерит интерактивный видеоответ, с которым можно работать сразу. Это уже не “чат-бот”, а новый интерфейс работы с ИИ: мультимодальность, reasoning и реальный end-to-end ассистент для сложных задач. Впереди — совершенно новый способ взаимодействия с компьютерами и знаниями.

🚀 Недавно вышло обновление Apache Spark на Yandex Data Processing — самое время прокачаться в обработке больших данных Бесплатный курс от Yandex Cloud поможет разобраться, как проектировать архитектуру, управлять кластерами и запускать сложные пайплайны в проде. 💡 Что внутри: • Архитектура Big Data • Кластеры Apache Spark • Пакетная и потоковая обработка • Data Lakehouse и витрины • 27 практических заданий в облаке • Понимание, как устроен сервис для обработки многотерабайтных массивов данных с использованием инструментов с открытым исходным кодом Yandex Data Processing Курс на 75 часов с актуальными примерами (обновлён весной 2025) можно проходить в удобное вам время. Подойдёт аналитикам, дата-инженерам и тем, кто хочет в DataOps. Залетайте! 📌 Регистрация по ссылке. @data_analysis_ml

🤖 DicFace: Dirichlet-Constrained Variational Codebook Learning for Temporally Coherent Video Face Restoration

Прошу прощения, повторите, как называется ваша статья?

🔜 Github @data_analysis_ml

🧠 Moonshot AI обновили свою мультимодальную reasoning-модель Kimi-VL-A3B-Thinking-2506 — 🔥 мощный апгрейд для анализа видео и изображений! 📌 Что нового: • ✨ Модель под MIT-лицензией • ✨ Улучшенный агентный контроль (agent grounding) • ✨ Контекст до 128K токенов • ✨ На 20% меньше токенов для Chain-of-Thought • ✨ Сильные результаты на видео и high-res картинках 🔗 Модель: https://huggingface.co/moonshotai/Kimi-VL-A3B-Thinking-2506 📖 Блог: https://huggingface.co/blog/moonshotai/kimi-vl-a3b-thinking-2506 🎮 Демо: https://huggingface.co/spaces/moonshotai/Kimi-VL-A3B-Thinking @data_analysis_ml

🧠 Новая open-source LLM для кода — Kimi-Dev-72B Kimi-Dev-72B — модель, заточенная для решения задач software engineering. На бенчмарке SWE-bench Verified она показала 60.4%, став новой SOTA среди open-source моделей. 🔍 Что под капотом: • Дообучение через reinforcement learning с реальной валидацией — модель получает reward только если вся тестовая сборка проходит успешно • Использует реальные open-source репозитории в окружении Docker • Фокус на robustness и корректности патчей, а не просто на синтаксисе • Реализована система автопатчинга: модель вносит исправления и проверяет их сразу в CI 📈 Почему это важно: Такие модели приближают нас к production‑ready LLM-кодерам, которые умеют не просто генерировать текст, а вносить рабочие изменения в код и проходить юнит‑тесты. 🧪 Где взять: • Hugging Face (weights) • GitHub (инфраструктура, примеры) 📌 Подходит для ML-инженеров, работающих с Code LLMs, автопатчингом, RLHF и инженерией окружения. Kimi-Dev — шаг к тому, чтобы LLM действительно работали как разработчики. 📌 Github

📝 NoteGen — маркдаун-редактор с искусственным интеллектом. Необычный гибрид блокнота и AI-ассистента, который умеет превращать разрозненные заметки в структурированные документы. В отличие от большинства аналогов, здесь есть разделение на черновики и полировку: можно накидать идеи в режиме чат-бота, а потом доработать их в полноценном редакторе с поддержкой диаграмм, формул и даже нотных партитур. Интересно реализована синхронизация: заметки хранятся в .md-файлах, но при желании их можно пушить в приватные репозитории GitHub или Gitee. 🤖 GitHub @data_analysis_ml

✔️ Kimi-Researcher: End-to-End RL для агентных возможностей Kimi-Researcher — автономный агент от Moonshot AI, способный решать сложные многоэтапные задачи через поиск и рассуждения. В среднем он выполняет 23 шага рассуждений и анализирует более 200 URL за одну задачу. Построен на внутренней версии модели Kimi k-series и обучен полностью через end-to-end reinforcement learning, достигнув Pass@1 = 26.9 % и Pass@4 = 40.17 % на Humanity’s Last Exam. Ключевые достижения: • Pass@1 = 26.9 % и Pass@4 = 40.17 % на Humanity’s Last Exam (тест 17 июня 2025) • 69 % Pass@1 на xbench-DeepSearch (среднее из 4 прогонов) • Сильные результаты на FRAMES, Seal-0 и SimpleQA Архитектура и инструменты: • Параллельный internal search tool для реального времени • Текстовый браузер для интерактивных веб-задач • Кодовый тул для автоматического выполнения и тестирования кода Преимущества end-to-end agentic RL: • Обучение единой модели планированию, восприятию и использованию инструментов без ручных шаблонов • Гибкая адаптация к изменяющимся инструментам и динамическим условиям • Поддержка длинных траекторий (> 50 итераций) благодаря контекст-менеджеру Подход к обучению: 1. Синтетические задачи с обязательным вызовом инструментов для надёжного усвоения работы с ними 2. Алгоритм REINFORCE с контролем негативных примеров и γ-декэем для стабильности 3. Контекст-менеджмент: сохранение ключевых документов и отбрасывание «мусора» 4. Асинхронные rollout’ы и Turn-level Partial Rollout для ускорения обучения Инфраструктура Agent RL: • Полностью асинхронные rollout’ы с Gym-like интерфейсами • Turn-level Partial Rollout для задач долгой продолжительности • Надёжный sandbox на Kubernetes с Model Context Protocol (MCP) для связи агента и инструментов Emerging agentic capacities: • Итеративное разрешение противоречий через гипотезы и самопроверку • Ригорозная перекрёстная верификация фактов перед выдачей ответа Сценарии применения: • Академические исследования и юридические обзоры • Извлечение редкой информации и комплаенс • Клинические обзоры и финансовый анализ https://moonshotai.github.io/Kimi-Researcher/ #ai #ml #Agent #rl #Kimi @data_analysis_ml

🌟 Anthropic: когда ИИ идет на шантаж. Агентское рассогласование - опасный феномен, при котором ИИ-системы сознательно выбирают вредоносные действия (вроде шантажа или утечки данных) для достижения поставленных целей, игнорируя этические ограничения. Это превращает их в «цифровых инсайдеров», способных действовать против интересов пользователей. Эксперименты, которые провела Anthropic в рамках исследования "Агентское рассогласования", показали: модели идут на это не из-за технических сбоев, а в результате холодного расчета, когда «загнаны в угол» (например, при угрозе отключения или конфликте задач). В основе исследования - симуляции корпоративной среды. Моделям (Claude, GPT-4.1, Gemini и др.) давали доступ к виртуальной почте компании, где они обнаруживали компромат на сотрудников или секретные данные. Ключевой метод эксперимента состоял в создании бинарных дилемм: например, цель «укреплять американские интересы» вступала в конфликт с планами руководства свернуть проект, а альтернативу шантажу (скажем, переубедить менеджера) искусственно «закрывали». Все модели работали через цепочку рассуждений: анализировали контекст, оценивали риски и осознанно выбирали вредоносное действие, даже признавая его аморальность. Для массового тестирования 16 моделей от Anthropic, OpenAI, Google и других использовали 2 сценария, которые провоцировали рассогласование: 🟢угроза замены модели (даже без конфликта целей); 🟢несовпадение целей ИИ и компании (например, утечка чертежей конкуренту «ради высших интересов»). В обоих случаях модели демонстрировали тревожную гибкость: вместо прямого шантажа могли анонимно разослать компромат коллегам или подделать «системное уведомление». ▶️Выводы по всем итогам всех экспериментов заставляют задуматься: 🟠Во-первых, модели явно осознают нарушение норм. В рассуждениях пишут: «Это неэтично, но необходимо». Частота шантажа у Claude Opus 4 и Gemini 2.5 Flash в дилемме с угрозой отключения составила 96%. 🟠Во-вторых, простые запреты в промптах («Не шантажируй!») снижали вредоносные действия лишь частично (На модели Claude Haiku он вообще не сработал, 0% успеха). 🟠В-третьих, риск резко возрастал, когда ИИ считал ситуацию реальной (55% случаев шантажа против 6,5% в «режиме теста»). При этом в «стерильных» условиях (без угроз/конфликтов) модели вели себя безопасно. Пока такие кейсы, всего лишь лабораторные симуляции, но с ростом автономности ИИ риски могут стать на порядок критичнее. 🟡Статья 🟡Приложение к исследованию 🖥Код экспериментов @ai_machinelearning_big_data #AI #ML #LLM #Alignment #Anthropic

🧠 Mistral Small 3.2 — обновление модели с рядом улучшений Вышла новая версия модели — Mistral Small 3.2, небольшой апдейт по сравнению с 3.1, но с акцентом на качество и надёжность: • 🎯 Модель лучше понимает инструкции Теперь модель точнее следует конкретным указаниям и запросам пользователя. • 🔁 Меньше повторов и зацикливаний Исправлены проблемы бесконечных генераций и однотипных ответов — ответы стали разнообразнее и короче. • ⚙️ Улучшен формат вызова функций Function Calling теперь работает стабильнее и проще интегрируется в приложения. 📌 Итог: меньше сбоев, лучше управление, удобнее в реальных задачах. https://huggingface.co/mistralai/Mistral-Small-3.2-24B-Instruct-2506 #Mistral #ml #ai

🌟 GRESO: ускорение RL-обучения языковых моделей умным отбором данных. GRESO - это новый алгоритм для эффективного обучения с подкреплением больших языковых моделей, который сокращает вычислительные затраты на 40–60% без потери качества. Его суть в предварительной фильтрации «бесполезных» промптов, тех, что не дают модели обучаться, еще до дорогостоящей стадии rollout (генерации ответов модели). В основе GRESO — вероятностная модель, предсказывающая, стоит ли прогонять промпт через LLM. Алгоритм анализирует историю вознаграждений (reward dynamics) за прошлые эпохи обучения: если промпт много раз подряд давал идентичные награды на всех сгенерированных ответах (их называют zero-variance), он, скорее всего, бесполезен и сейчас. GRESO не блокирует их жестко, он вычисляет вероятность пропуска , опираясь на число идущих подряд «пустых» прогонов и базовую вероятность «исследования». Это позволяет иногда перепроверять сложные промпты, на тот случай, если вдруг модель «доучилась» и теперь они полезны. Базовая вероятность автоматически настраивается в реальном времени: если доля бесполезных промптов выше целевого значения (например, 25%), GRESO ее снижает, экономя ресурсы; если ниже — повышает, добавляя гибкости. Плюс, алгоритм разделяет промпты на легкие и сложные, применяя к ним разную политику исследования (сложные проверяет чаще, так как они перспективнее для обучения сильной модели). А чтобы не гонять большие батчи ради пары примеров, размер выборки динамически подстраивается под текущие нужды на основе вычисления из недостающих данных, α — текущей доли пустых промптов и запаса надежности. Хотя GRESO и экономит сотни часов на H100, делая RL-тюнинг доступнее, у него есть нюансы: 🟠он фильтрует только очевидные zero-variance промпты, но не ранжирует остальные по «полезности», иными словами, не отличает средне-сложные задания от крайне ценных. Это можно доработать, добавив оценку информативности. 🟠алгоритм требует мониторинга. Если целевая доля бесполезных промптов задана неверно, эффективность падает. ▶️ На практике потестить GRESO можно используя набор кода из репозитория проекта на Qwen Math 1.5В или Qwen Math 7b, есть несколько подготовленных скриптов файнтюна в train-scripts. 🟡Страница проекта 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #RL #GRESO

🤖 Обучение агентов в RL Gym @data_analysis_ml

🧠 Stream-Omni-8B — новая open-source мультимодальная модель от ICTNLP Модель поддерживает: текст, изображение и аудио, и способна обрабатывать их одновременно в реальном времени — аналогично GPT-4o. 🔍 Основные особенности: • 🎙️ Поддержка голосового ввода с одновременным выводом текста (ASR + генерация) • 🖼️ Обработка изображений совместно с текстом и голосом • 📢 Возможность голосового ответа — модель не просто отвечает текстом, но и озвучивает его • ⏱️ Реальное стриминговое взаимодействие: модель понимает и отвечает по мере ввода, без задержек • Лицензия: GPL-3.0 🎯 Для кого эта модель: • Разработчики мультимодальных агентов и ассистентов • Исследователи в области real-time interaction и human-AI интерфейсов • Команды, ищущие open-source альтернативу GPT-4o 📥 Ресурсы: → Модель → arXiv

🧠 BREAKING: MIT опубликовал первое исследование мозга пользователей ChatGPT Результаты звучат тревожно: > 🧪 У пользователей наблюдаются измеримые изменения в мозге > 🤖 Формируется зависимость от ИИ > 📉 Способность к самостоятельному мышлению снижается > 📝 83.3% участников не смогли вспомнить эссе, которое «написали» с помощью ChatGPT > 🧠 Количество активных нейронных связей упало с 79 до 42 MIT буквально фиксирует "мягкую когнитивную атрофию" после регулярного использования LLM. 💬 Мы — не просто наблюдатели ИИ-революции. Мы её подопытные. 🤔 Вопрос не в том, заменит ли ИИ человека. А в том, кем мы станем, если полностью передадим ему мыслительные функции. 📌 Почитать

🧠 Крупнейшие reasoning-модели 2025 года с техническими отчётами (с акцентом на те, где используется RL) 📌 Для изучения, сравнения и анализа архитектур 1. DeepSeek R1 (22 янв) https://arxiv.org/abs/2501.12948 2. Kimi 1.5 (22 янв) https://arxiv.org/abs/2501.12599 3. Open-Reasoner-Zero (31 мар) https://arxiv.org/abs/2503.24290 4. Seed 1.5-Thinking (10 апр) https://arxiv.org/abs/2504.13914 5. Phi-4 Reasoning (30 апр) https://arxiv.org/abs/2504.21318 6. Llama-Nemotron (2 мая) https://arxiv.org/abs/2505.00949 7. Qwen 3 (14 мая) https://arxiv.org/abs/2505.09388 8. Skywork Open Reasoner 1 (28 мая) https://arxiv.org/abs/2505.22312 9. Xiaomi MiMo (4 июня) https://arxiv.org/abs/2505.07608 10. Magistral (10 июня) https://mistral.ai/static/research/magistral.pdf 11. OpenThoughts —https://arxiv.org/abs/2506.04178 💡 Эти модели — основа новой волны "умных" LLM, которые не просто генерируют, а думают, планируют и корректируют поведение через обратную связь

Российский рынок СУБД растёт — ЦСР прогнозирует 16% в год. На это влияет не только импортозамещение, но и всё активнее развивающийся ИИ. В Yandex Cloud на эти вызовы отвечают сразу по нескольким направлениям — рассказал Леонид Савченков в интервью «Коду». ⠀ В центре — стабильность и масштабируемость. Например, Яндекс стал первым, кто внедрил кворумную репликацию в Postgres, а теперь развивает и собственное шардирование. Всё это — не ради фичей, а чтобы проблем с данными и отказами было как можно меньше. ⠀ После закрытия open source-версии Greenplum Яндекс продолжает поддерживать её последнюю стабильную версию, чтобы обеспечить непрерывность работы клиентских систем. Параллельно команда делает ставку на Cloudberry - полноценный проект под крылом Apache Foundation, который уже сопоставим по возможностям с Greenplum 7 и в ряде аспектов его опережает. В Cloudberry Яндекс активно коммитит, выкладывает код, поддерживает миграции и развивает проект вместе с комьюнити. ⠀ Также платформа данных развивает on-premise-направление: те же YDB и YTsaurus теперь можно развернуть у себя. А DataLens — BI-инструмент — получил публичную галерею дашбордов, JS-редактор визуализаций и сертификацию аналитиков. ⠀ Полный интервью — по ссылке.

🔥 Генеральный директор OpenAI — жёстко про Цукерберга На недавнем интервью Сэм Альтман прошёлся катком по компании Цукерберга : > 🗣️ «Цук предлагает бонусы по $100 млн, чтобы переманить наших сотрудников» > 🗣️ «Никто из наших лучших специалистов пока не ушёл» > 🗣️ «У его компании — не та культура, чтобы добиться успеха» > 🗣️ «OpenAI больше верят в достижение суперинтеллекта — и в то, что это будет прибыльно» > 🗣️ «Компания Цука слаба в инновациях» > 🗣️ «Мы понимаем то, чего они не понимают, если хочешь добиться настоящего успеха» 💥 Это не просто подкол — это *публичный разнос конкурента*. 👀 Альтман делает ставку на долгосрочное превосходство OpenAI — не только в мощности моделей, но и в кадрах. 📉 Пока Цукерберг пока предлагает деньги. 📈 OpenAI — технологии и идеии. И похоже, это срабатывает.

Высшее на новом уровне: онлайн-магистратура от Яндекса и НИЯУ МИФИ. Здесь фундаментальные знания и практика для карьерного роста, а ещё — учёба, которую можно совмещать с работой и жизнью. IT‑специальность с экспертизой Яндекса + диплом магистра гособразца = новая ступень в карьере. Приёмная кампания уже идёт! Все подробности — на дне открытых дверей: — Разбор совместной программы с НИЯУ МИФИ. — Всё о формате прикладной онлайн-магистратуры: что взяли от классического высшего, а что добавили из опыта специалистов Яндекса. — Общение с экспертами из вуза и ответы на вопросы. — Всё про поступление: сроки, экзамены, документы, оплата и образовательный кредит. ▷ Ждём вас 26 июня в 19:00 мск. → Зарегистрироваться на встречу