Анализ данных (Data analysis)

🔥 Главное из нового интервью Ильи Суцквера (25 ноября 2025, Dwarkesh Podcast) Самые интересные цитаты: 1. Масштабирование кончилось > «Current scaling approaches will go some distance and then peter out» 2. Суперинтеллект уже на горизонте > «Superintelligence in 5 to 20 years. You know what’s crazy? That all of this is real» 3. Главная проблема генерализация > «A teenager learns to drive in 10 hours. Our best models still can’t after billions of examples» 4. RL стал самым дорогим и самым бесполезным этапом > «Reinforcement learning already takes more compute than pre-training and gives almost nothing in return» 5. Дальше только исследования > «We are squarely in the age of research, but this time with powerful computers» 6. У ИИ пока нет настоящих «эмоций» > «Value functions are basically emotions. Without them alignment will stay fragile» 7. Цитата, которую уже растащили все сми > «The gap between benchmark scores and real-world performance is getting embarrassing» 8. Про свою компанию SSI > «We have no products, no distractions. Just safe superintelligence» Главный вопрос он ставит так: Какой супер-интеллект мы создадим -

«15-летнего гениального подростка, который жадно учится или «что-то уже полностью готовое и законченное. »

Полное интервью: https://www.youtube.com/watch?v=aR20FWCCjAs

✔️ Upwork* опубликовал исследование с громким выводом: самые мощные LLM-агенты часто не справляются даже с простыми рабочими задачами, если действуют полностью самостоятельно. Но стоит подключить эксперта-человека - и успешность выполнения растёт до +70%. 🔍 Что выяснили - Upwork провёл 300 реальных оплачиваемых проектов (до $500) в областях: написание текстов, дата-сайенс, веб-разработка, инженерия, продажи, перевод. - Задачи были специально упрощены, чтобы дать агентам шанс. - Даже так - агенты, работающие в одиночку, часто проваливались. - Но когда опытный фрилансер давал короткий отзыв (в среднем 20 минут), качество резко росло с каждой итерацией. 📊 Конкретные цифры - Claude Sonnet 4 (данные): 64% → 93% - Gemini 2.5 Pro (маркетинг/продажи): 17% → 31% - GPT-5 (инжиниринг): 30% → 50% Эффект особенно заметен в задачах, требующих вкуса, контекста и оценочных решений: письмо, маркетинг, перевод. Там один цикл обратной связи повышает результат на до +17 пунктов. Бенчмарки мало отражают реальную работу. В исследовании использовали строгий pass/fail на финальном результате, плюс внешнюю независимую проверку. Паттерн очевиден: - детерминированные задачи (код, преобразование данных) — агенты справляются лучше - творческие и «открытые» задачи — агенты ошибаются чаще 💰 Экономика Связка «агент + эксперт» дешевле и быстрее, чем «человек в одиночку». AI-расходы на Upwork выросли на 53% YoY в Q3-25. Еще Upwork строит Uma оркестратора, который направляет задачи между людьми и моделями, проверяет результаты и замыкает улучшение по циклу. *Upwork - это крупная международная онлайн-биржа фриланса Полный отчёт: upwork.com/static/webflow/assets/webflow-human-agent-productivity-index/upbench_paper.pdf

⏬ Привет, это Yandex for Analytics Предлагаем размяться и проверить свои навыки. Ответы есть, но подглядывать во время решения — неспортивно ⬇️ 🔵 Задача 1. Вспоминаем теорию вероятностей 🔵 Задача 2. Теорема Байеса 🔵 Задача 3. Базовая база теории игр 🔵 Задача 4. Тренируем SQL 🔵 Задача 5. Честная математическая статистика 🔵 Задача 6. Что-то на бизнесовом 💠 Скоро вернёмся с новыми задачами. А пока делитесь своими решениями в комментариях! Подписывайтесь: 💬 @Yandex4Analytics

🧠 Depth Anything 3: Восстановление визуального пространства из любых видов Depth Anything 3 (DA3) — это модель, предсказывающая пространственно согласованную геометрию из произвольных визуальных входов. Она использует простой трансформер и уникальное представление глубины, что позволяет достигать высоких результатов в оценке глубины и позы. 🚀Основные моменты: - 💎 Модель DA3 превосходит предыдущие версии в оценке глубины. - 🌊 Поддержка монокулярной и многовидовой оценки глубины. - 🎯 Оценка позы с высокой точностью. - 🔧 Удобный интерфейс и возможность экспорта в разные форматы. - 📐 Специальные модели для метрической оценки глубины. 📌 GitHub: https://github.com/ByteDance-Seed/Depth-Anything-3 #python

Запустите интеллектуальную базу знаний в облаке с AI Корпоративная база знаний с AI — это централизованная система в облаке для хранения, управления и поиска информации, дополненная искусственным интеллектом. Встроенные в базу AI-ассистенты автоматически упорядочивают документы, отвечают на вопросы сотрудников и помогают быстро работать с большими объемами данных 😎

Сценарии использования: ❇️Создание и ведение продуктовой базы знаний ❇️Управление проектной документацией ❇️Хранение и быстрый поиск кадровых документов ❇️Ведение личных заметок сотрудниками

Начните работу в корпоративной базе знаний с AI: разверните готовое open source решение в облаке Cloud.ru, чтобы получить полный контроль над данными с резервным копированием и встроенной защитой. Оставить заявку

Запустите интеллектуальную базу знаний в облаке с AI Корпоративная база знаний с AI — это централизованная система в облаке для хранения, управления и поиска информации, дополненная искусственным интеллектом. Встроенные в базу AI-ассистенты автоматически упорядочивают документы, отвечают на вопросы сотрудников и помогают быстро работать с большими объемами данных 😎

Сценарии использования: ❇️Создание и ведение продуктовой базы знаний ❇️Управление проектной документацией ❇️Хранение и быстрый поиск кадровых документов ❇️Ведение личных заметок сотрудниками

Начните работу в корпоративной базе знаний с AI: разверните готовое open source решение в облаке Cloud.ru, чтобы получить полный контроль над данными с резервным копированием и встроенной защитой. Оставить заявку

⚡️ OpenAI, Anthropic и Google только что получили доступ к петабайтам закрытых экспериментальных данных. Эти данные десятилетиями копили 17 Национальных лабораторий США. И речь уже не про «улучшение чатботов». Новая государственная программа США — Genesis Mission - официально строит автономных научных агентов. Они называют это «закрытым научным контуром» (Closed-Loop discovery), и это меняет саму физику изобретений. Не человек использует инструменты — система работает полностью автономно. Схема, описанная в дорожной карте DOE, выглядит как научная фантастика: • AI проектирует: смотрит на массивы данных и формирует гипотезу вроде «если смешать эти сплавы при 4000°C - получится сверхпроводник». • Он отправляет инструкции в роботизированную лабораторию (которую строит DOE), чтобы физически смешать материалы. • Робот мгновенно возвращает результаты. Если эксперимент провален - AI корректирует формулу. • Такой цикл прогоняется тысячами итераций, без пауз, 24/7. Genesis Mission - это попытка впервые в истории построить систему, где наука создаёт саму себя. Без человека в центре.

Обычно модель хорошо работает только на том датасете, на котором её обучили. Стоит поменять источник данных, качество падает. В этой статье показывают простой приём: можно заставить нейросеть учиться так, чтобы она не могла определить, с какого датасета пришёл пример. В итоге она начинает выделять более общие, универсальные признаки, которые работают в любых условиях. Метод очень лёгкий - добавляется к любой нейросети за несколько строк кода. Но результат стабильный: модель лучше справляется с новыми данными, которых раньше не видела. Работа приятно выделяется: понятная идея, чёткое объяснение, реальные результаты, а не очередные «+2% на случайной метрике». Почитать: chapterpal.com/s/386d57f4/domain-adversarial-training-of-neural-networks PDF: arxiv.org/pdf/1505.07818

💡 Синтетические картинки, которые обучают лучше реальных Исследователи из MIT показали неожиданную вещь: крошечный синтетический датасет может обучать linear probes на огромных vision-моделях лучше, чем настоящие изображения. Они создали метод Linear Gradient Matching (LGM), который делает следующее: 1) Берут замороженную модель-основу (DINO, CLIP и т.д.) 2) Смотрят, какие градиенты она выдаёт на реальных изображениях 3) Генерируют синтетические картинки так, чтобы градиенты совпадали 4) Обучают линейный классификатор - и он работает лучше, чем при обучении на исходных данных Почему это полезно: — работает между моделями (генерировано под DINO → отлично работает в CLIP) — особенно сильна на тонких классификациях, где важны микродетали — помогает увидеть, на что реально смотрит модель: спурьёзные корреляции, похожие кластеры, структуру embedding-пространства Это меняет представление о данных. Раньше: «Нужно собрать миллионы картинок». Теперь: «Нужно правильно сгенерировать десятки». arxiv.org/abs/2511.16674

Хочешь перейти из BA в продакты? Многие BA хотят стать продактами, но сталкиваются с проблемой: продуктовый контекст слишком широкий, и нет ощущения цельной картины. Интенсив «Product Manager 2.0: менеджер продукта в эпоху ИИ» поможет закрыть разрыв между ролями быстрее и качественнее, чем год самостоятельных попыток. Что ты получишь: — понимание роли и компетенций Product Manager в эпоху ИИ, а не по курсам пятилетней давности — чёткое разграничение: что делает AI, а что остаётся на плечах продакта — работу с AI Operating Model: как меняются продукт и процессы, когда AI действительно встроен в операционку — full-stack видение product development: Discovery, Delivery, стратегия, экономика — практику гипотез, исследований, экспериментов и AI-прототипирования — метрики, юнит-экономику, P&L, roadmap  Это — короткий мост между BA и PM, который помогает перестать быть “почти продактом” и стать им по факту. 3 дня, два опытных продакта в качестве преподавателей и международный сертификат ICP-PDM. 👉 Ссылка на программу Реклама. ООО "СКРАМТРЕК". ИНН 9709056610. erid: 2W5zFHZ91pU

⚡️ Сэм Альтман: ИИ меняет ценность профессий По словам Сэма Альтмана, ИИ резко меняет то, сколько стоят разные профессии. Если твоя работа - за компьютером (кодинг, дизайн, написание текстов), ИИ уже умеет делать большую часть таких задач быстро и дёшево. Это снижает ценность цифровых профессий. Почему так? Потому что проще всего автоматизировать работу, основанную на знаниях и мышлении. А вот профессии, где нужно быть физически на месте и работать руками сантехники, электрики, хирурги, логистика, доставка- защищены намного лучше. ИИ пока слаб в физическом мире. Получается интересный переворот: Работы, считавшиеся «престижными» из-за высокого интеллектуального порога, становятся менее особенными - ИИ делает их слишком быстро. А профессии, связанные с реальным миром и ручными навыками, наоборот, растут в ценности. ИИ меняет отношение к цифровому труду: Не так важно, насколько ты хорош в компьютерных задачах - ИИ легко копирует такую работу. Важнее то, что ты можешь *создать*, *починить*, *построить* или *сделать* своими руками. И это затрагивает не только рынок труда. Когда ИИ берёт на себя интеллектуальные задачи, которые раньше давали людям чувство вызова и значимости, многие начинают искать удовлетворение в реальной, физической работе. В том, где результат - не в файле, а в реальном мире.

Gemini 3.0 Pro устанавливает рекорд в новом физическом бенчмарке - 9.1% CritPt - новый исследовательский физический бенчмарк уровня аспирантуры, созданный более чем 60 учёными. Он проверяет ИИ на действительно новые, сложные задачи сразу в 11 разделах физики - и ни одна модель пока не преодолела порог в 9%. Даже топовые системы вроде Gemini 3.0 Pro Preview набирают лишь 9.1%, подчёркивая, насколько далеко современные модели остаются от настоящих пост-град рассуждений в передовой физике. https://x.com/ArtificialAnlys/status/1991913465968222555

🌟 RL-фреймворк для обучения MoE-моделей от создателей Chatbot Arena. Miles - фреймворк для RL-обучения от команды LMSYS ORG, ориентированный на энтерпрайз-уровень. Если вы следите за опенсорс разработками, вы наверняка слышали о предшественнике этой системы, проекте slime. Это легкий инструмент, который используют во многих современных пайплайнов пост-трейна. На нем, кстати, запускали GLM-4.6. Slime доказал, что легковесный дизайн работает, и Miles делает следующий шаг - масштабное обучение архитектур MoE и поддержка тяжелых промышленных нагрузок. 🟡Технические детали. Miles предлагает то, что называют "True On-Policy". Раньше между тренировкой и инференсом часто возникало расхождение. Теперь же, благодаря инфраструктурному подходу, LMSYS добилась нулевой дивергенции. Это стало возможным благодаря использованию Flash Attention 3, библиотеки DeepGEMM и ядер от Thinking Machines Lab, работающих в связке с torch.compile. Вторая особенность - в использовании спекулятивного декодирования. Обычно в RL черновая модель замораживается, что мешает ей следовать политике целевой модели. LMSYS добавили онлайн-обучение черновой модели. Результаты на тестах положительные: ускорение генерации более чем на 25%, особенно на поздних стадиях обучения. 🟡Стабильность. Для энтерпрайза память - это деньги. В Miles включили механизмы, предотвращающие падение системы при некритичных ошибках OOM и исправили чрезмерное потребление памяти в FSDP. В дорожной карте проекта обещают поддержку мультимодального обучения, совместимость со SGLang v2 и расширенное спекулятивное декодирование. 🟡Статья 🖥Github @ai_machinelearning_big_data #AI #ML #RL #Miles #LMSYS

🤟 Google усиливает свои позиции и сокращает отрыв OpenAI Сам Альтман признал: прогресс Google - особенно впечатляющие результаты Gemini 3 - создают краткосрочное давление на OpenAI. Когда-то уверенное лидерство OpenAI заметно ослабло. Google и Anthropic активно усиливаются, в то время как OpenAI сталкивается с огромными затратами на вычислительные мощности, что вызывает беспокойство у инвесторов. Альтман при этом уверен, что в долгосрочной перспективе OpenAI снова выйдет вперёд. Он ставит на новые модели вроде Shallotpeat, улучшения в этапах предобучения и масштабную автоматизацию, которая должна привести к следующему ряду прорывов. Из внутреннего письма:

“Не хочу, чтобы это звучало негативно — мы по-прежнему показываем выдающиеся результаты как компания… и я ожидаю, что это продолжится.”

И финальная мысль Альтмана: “Да, тяжело одновременно быть лучшей исследовательской лабораторией, лучшей AI-инфраструктурной компанией и лучшей продуктовой AI-платформой, но такова наша реальность. И я бы не променял наши позиции ни на чьи :)” https://www.theinformation.com/articles/openai-ceo-braces-possible-economic-headwinds-catching-resurgent-google

✔️ HunyuanVideo 1.5 - новая открытая модель для генерации видео, которая сейчас считается самым сильным open-source решением в этой области. Построенная на архитектуре DiT, модель поднимает планку по качеству и доступности. Что важно: ⚡️ Всего 8.3B параметров - модель можно запускать даже на потребительских GPU с 14GB VRAM 🖥️ Качество: генерирует 5–10 секунд видео в 480p/720p, а через суперразрешение —ё- до 1080p с киношной детализацией SOTA-качество с очень низкими требованиями к железу. 🟠Проект: hunyuan.tencent.com/video/zh 🟠GitHub: github.com/Tencent-Hunyuan/HunyuanVideo-1.5 🟠Hugging Face: huggingface.co/tencent/HunyuanVideo-1.5 @data_analysis_ml

Пока одни строят сложные data-инфраструктуры, другие до сих пор сталкиваются с «вечными» задержками отчётов и расхождениями в цифрах. Специально для таких ситуаций создали бота, который с иронией помогает подобрать креативные объяснения, когда данные из разных систем отказываются складываться в единую картину, а отчётность снова задерживается. Такой бот — отличный способ снять напряжение в команде, когда нужно срочно объяснить расхождения в данных. Возможно, именно его ответы станут самым честным комментарием к вашей следующей отчётности. Зайдите и сгенерируйте оправдание — самое меткое сразу отправляйте коллегам в рабочий чат. Пусть оценят, как можно с юмором выходить из сложных ситуаций с отчётностью.

PINA теперь официально входит в PyTorch Ecosystem — и приносит в него единый фреймворк для Scientific Machine Learning. PINA — это открытая Python-библиотека, построенная на PyTorch и PyTorch Lightning, с совместимостью с PyTorch Geometric. Она упрощает весь SciML-пайплайн: от моделирования физических систем и решения PDE до построения ML-силовых полей и симуляции динамики. Фреймворк модульный: чёткая структура для постановки задачи, дизайна модели, выбора солвера и обучения. Это даёт гибкость для исследования и воспроизводимость для инженерии. 🔗 Подробнее о проекте и способах участия: https://pytorch.org/blog/pina-joins-the-pytorch-ecosystem-a-unified-framework-for-scientific-machine-learning/ #PyTorch #OpenSourceAI #SciML #MachineLearning

Представьте себе коммуналку, в которой живут только аналитики. Как вы думаете, о чём там будут говорить? Если подумали исключительно про цифры, то зря 🙂 Потому что мы в Авито собрали в Телеграме комьюнити «Коммуналка аналитиков», чтобы посмотреть, что будет. Получилось очень даже интересно. Оказалось, аналитики с удовольствием пишут обо всём вокруг профессии: ✍️ Рассказывают о рабочих буднях ✍️ Хвастаются успехами и вспоминают фейлы ✍️ Постят мемы ✍️ Запускают опросы и собирают бинго ✍️ Шутят ✍️ Делятся лайфхаками ✍️ Создают серьёзные посты про аналитику ✍️ И-и-и обсуждают другие штуки, которые сложно классифицировать Подписывайтесь на канал и читайте недушную аналитику 😉

Нновое поколение моделей Segment Anything: 1️⃣ SAM 3 - теперь умеет находить, сегментировать и отслеживать объекты на изображениях и видео. Модель поддерживает короткие текстовые подсказки и пример-подсказки, что делает взаимодействие более гибким и точным. 📌 Подробнее 2️⃣ SAM 3D - выводит всю линейку в трёхмерность. Модель способна восстанавливать точные 3D-объекты и даже людей по одной 2D-картинке, что открывает новые возможности для графики, VR/AR и визуальных инструментов. 📌Подробнее Обе модели дают разработчикам и исследователям новые возможности для создания медиа-инструментов, экспериментов и автоматизации рабочих процессов.

🎯 Как взять качество данных под контроль?  Неточные отчёты, дубликаты в базах, несоответствия данных - всё это тормозит бизнес и подрывает доверие к аналитике. Если вы хотите стать экспертом в управлении качеством данных и повысить свою ценность на рынке, новый курс «Data Quality» от OTUS - то, что нужно! 📚 Что вас ждёт на курсе: ✔️ Автоматизация контроля качества с помощью Soda, OpenMetadata, Airflow, NiFi ✔️ Построение системы Data Governance - от метаданных до Data Contracts ✔️ Метрики и профилирование данных - научитесь измерять и улучшать качество ✔️ Управление инцидентами и соответствие регуляторным требованиям  ✔️ Практические проекты, которые можно добавить в портфолио 🎓 Формат обучения: 📅 Старт: 26 ноября 💻 Онлайн с практическими заданиями и обратной связью от экспертов 👉 Узнать подробности и записаться: https://tglink.io/93cc483c4086?erid=2W5zFJBnBnY #реклама О рекламодателе