Анализ данных (Data analysis)

🚀 Авито и getmatch запустили открытый тест для оценки уровня для DS-специалистов Проект использует систему, на которой Авито проводит реальные интервью — с теми же принципами, форматами вопросов и логикой оценки 🧩 Что внутри: 📊 Определение уровня Тест анализирует ответы и показывает предполагаемый грейд — от junior до senior — на основе компетенций и практических кейсов. 🧠 Разбор навыков Даёт подсказки, какие области «проседают» и что стоит подтянуть, чтобы двигаться вверх по уровню. 💸 Ориентиры по рынку Параллельно можно посмотреть, какие вилки сейчас встречаются у специалистов похожего уровня — это встроено через калькулятор getmatch. Интересен сам формат: попытка собрать единый срез навыков и рыночных данных, но без собеседований, звонков и классического HR-скрининга. ➡️ Проверить свой уровень

⚡️ Новый пост Andrej Karpathy : автоматическая оценка десятилетних обсуждений Hacker News с позиции «задним числом» Он взял все 930 материалов и обсуждений с главной страницы Hacker News за декабрь 2015 года и прогнал их через GPT 5.1 Thinking API, попросив модель определить самые дальновидные и самые ошибочные комментарии. Примерно 3 часа ушло на написание кода и ещё час и ~$60 - на запуск. Почему это важно: 1. Анализ «задним числом»- мощный инструмент для тренировки собственного навыка прогнозирования. Чтение таких выводов помогает лучше понимать, где именно люди предугадывали будущее, а где промахивались. 2. Стоит задуматься, как будет выглядеть мир, когда будущие LLM смогут делать такие исследования намного дешевле, быстрее и точнее. Любой ваш комментарий в интернете может стать объектом глубокого анализа - бесплатно и в огромном масштабе. Как автор писал ранее: «будьте хорошими, будущие LLM за вами наблюдают». 🎉 Топ-10 аккаунтов: pcwalton, tptacek, paulmd, cstross, greglindahl, moxie, hannob, 0xcde4c3db, Manishearth и johncolanduoni - GPT 5.1 Thinking признал их комментарии самыми точными и дальновидными в декабре 2015 года. 🔗 Полные материалы: - Подробный разбор: karpathy.bearblog.dev/auto-grade-hn/ - Репозиторий проекта: github.com/karpathy/hn-time-capsule - Готовые результаты: karpathy.ai/hncapsule/ @data_analysis_ml

🚀 Вышел Qwen-Image-i2L от DiffSynth-Studio - первый open-source инструмент, который умеет делать LoRA-модель из одной картинки. 🖼️➡️🧠 Что можно извлекать из изображения: 🎨 Style — только стиль и эстетика 🧩 Coarse — стиль + содержание сцены ✨ Fine — улучшение детализации 1024×1024 (используется вместе с Coarse) ⚖️ Bias — подстройка под фирменный визуальный почерк Qwen-Image Модель построена на SigLIP2 + DINOv3 + Qwen-VL. Итог — можно взять одну картинку и быстро натренировать под неё собственную LoRA, без больших датасетов. 🔗 ModelScope: modelscope.cn/models/DiffSynth-Studio/Qwen-Image-i2L/summary 💻 Код: github.com/modelscope/DiffSynth-Studio/blob/main/examples/qwen_image/model_inference_low_vram/Qwen-Image-i2L.py

🚀 Mistral AI представила Devstral 2 и Mistral Vibe CLI - новое поколение моделей для программирования и CLI для автоматизации разработки. Два Релиза: • Devstral 2 - 123 млрд параметров, плюс облегчённая Devstral Small (24 млрд) для локального использования • Vibe CLI - интерфейс командной строки, который понимает контекст проекта и работает с файлами, git и сборкой 📌 Обе модели - SOTA-уровня, open source и бесплатны для использования. uv tool install mistral-vibe https://mistral.ai/news/devstral-2-vibe-cli

🌪️ Game Changer: Вихри в симуляции текучей среды Новая научная работа (Wang et al., SIGGRAPH 2025) совершила невероятный прорыв, решив одну из самых сложных проблем компьютерной графики и инженерных симуляций: долговременное и точное моделирование вихревых потоков (vorticity). ❓ В чем проблема? Вихри - это мельчайшие водовороты, которые определяют, как ведут себя газы и жидкости (дым, вода, воздух вокруг крыла самолета). Точное моделирование их хаотичного поведения (турбулентности) критически важно, но чрезвычайно сложно: - Сложность визуализации: Вихри часто невидимы (например, в воздухе), что требует сложных методов трассировки (как пузырьки или дым). - Нестабильность симуляции: В большинстве прошлых методов вихри очень быстро разрушались, искажались или, в худшем случае, приводили к «взрыву» симуляции 💥 после нескольких шагов. 💡 Гениальное решение: «Частицы с памятью» Исследователи возродили и обновили метод Vortex-in-Cell, используя гибридный подход, который наконец-то может справиться с хаосом: - Сетка (Grid): Используется для расчета общей скорости и давления потока. - Частицы (Particles): Внутри этой сетки размещаются частицы, которые действуют как «погодные зонды». Они несут в себе информацию о локальной ротации (вихревом потоке). Сохранение «Травмы»: Главная хитрость: эти частицы «помнят» все растяжения и скручивания, которым они подверглись. Это позволяет вихрям оставаться четкими и стабильными, даже когда они взаимодействуют друг с другом и распадаются на более мелкие. 📈 Главный результат Новый метод позволяет сохранять детализацию вихрей до 30 раз дольше, чем предыдущие, и впервые обеспечивает реалистичное моделирование таких сложных сцен, как: 🐋 Движение морского ящера в воде. 🌪️ Эволюция сложных узлов вихревых колец. 🚀 Выхлопные газы от ракеты или потоки воздуха вокруг сверхзвукового самолета. 🎯 Приложения Эта беспрецедентная точность несет огромный потенциал: - Прогнозирование Погоды: Более четкие и надежные модели ураганов и торнадо могут спасти жизни. - Инженерия: Проектирование более тихих реактивных двигателей и аэродинамически эффективных автомобилей. - Компьютерная Графика: Невероятно реалистичные спецэффекты для фильмов и игр! Источник

🚀 Большое обновление Qwen Code v0.2.2–v0.3.0 ✨ Два ключевых обновления: 🎯 Stream JSON • --output-format stream-json — потоковый вывод • --input-format stream-json — структурированный ввод • 3-уровневая архитектура адаптеров + управление сессиями • Идеально для SDK, автоматизации и CI/CD 🌍 Полная интернационализация • Встроенные интерфейсы EN/CN + расширяемые языковые пакеты • /language ui zh-EN - мгновенная смена языка • /language output English - задаём язык ответов модели • Сообщество может добавлять свои локализации 🌏 🛡️ Безопасность и стабильность выросли • Защита от переполнения памяти • Починили кодировки Windows • Улучшена кроссплатформенность и определение ripgrep • Переработана авторизация и управление authType • Стабильный CI/CD и исправленные интеграционные тесты • Поддержка провайдера ModelScope и stream_options • Улучшены подсказки, уведомления в терминале и логика завершения промптов • Множество внутренних фиксов - заметно более стабильная работа 💪 https://github.com/QwenLM/qwen-code

🚀 Релиз GLM-4.6V! • GLM-4.6V (106B) - старшая модель. • GLM-4.6V-Flash (9B) — лёгкая, быстрая, отлично подходит для локального использования. 🔥 Что внутри: ✅ Нативный multimodal tool calling -заточена на работу с изображениями и документами. ✅ Контекст 128K - переваривает 150-страничные документы или часовые видео за один прогон ✅ Visual → Action pipeline - мультимодальные агенты: “найди эту одежду онлайн” → возвращает структурированный список покупок ✅ На 50% дешевле GLM-4.5V-— ~1$ за миллион входных токенов. (На ModelScope API можно использовать бесплатно.) → modelscope.cn/collections/GLM-46V-37fabc27818446

🚀 Трансформеры стали стандартом в NLP, но у большинства специалистов есть одна и та же проблема: «Как их дообучать правильно и без хаоса в коде?» 📅 10 декабря в 18:00 МСК — открытый урок, на котором мы разберём: ✅ Что происходит внутри трансформера ✅ Как использовать предобученные веса ✅ Как устроен fine-tuning и автоматизация с LLM ✅ Как адаптировать BERT под свои задачи: классификацию, извлечение сущностей, анализ текстов Вы поймёте, где граница между «слегка дообучить» и «сломать модель», научитесь избегать ошибок и ускорять работу с помощью современных инструментов. 🎓 Присоединяйтесь к открытому уроку курса «NLP / Natural Language Processing»: https://otus.pw/OrWr/?erid=2W5zFGBy5fN 🎁 Выберите обучение на ближайшие месяцы — и получите максимальную выгоду: один курс по тающей скидке до 20% или комплект из 2–3 курсов со скидкой 25–30%. Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🔥 fastmcpp - это C++ реализация протокола Model Context Protocol (MCP), обеспечивающая высокую производительность для серверов и клиентов MCP. Поддерживает различные транспортные слои, включая STDIO, HTTP и WebSocket, с минимальным набором зависимостей. 🚀Основные моменты: - Полная реализация протокола MCP (JSON-RPC). - Поддержка нескольких транспортов: STDIO, HTTP, WebSocket. - Интеграция с инструментами, совместимыми с MCP. - Кроссплатформенность: Windows, Linux, macOS. - Бета-версия с основными функциями, соответствующими Python-версии. 📌 GitHub: https://github.com/0xeb/fastmcpp #cpp

Аналитик? Из какой секты? Кто управляет вселенной формулами в Excel или… Из тех, кто ручками собирает дашборды? Как бы ни было — пора делегировать рутину иишкам. Алексей Колоколов, аналитик с 15-летним стажем, решил наконец-то проверить: какой ИИ реально работает в аналитике, а какой только косит под умного. 9 декабря он проведёт краш-тест на честных условиях: один датасет, одинаковые требования, строгая методика оценки. Участвуют: ChatGPT, DeepSeek и Claude. Будет разбор слабых мест, промпты, live-сборка дашбордов — без прикрас. Если хочешь понимать, на кого можно положиться в работе с отчётами — приходи. Для своих — бесплатно. 👉 Ссылка тут. Подключайся и смотри как дашборды строят сами себя. Реклама. ООО "АНАЛИТИКА ПЕРСОНАЛА", ИНН 6671088519

Как становятся промт-инженерами:

⚡️ Essential AI объявила о выпуске своей первой открытой модели - Rnj-1, пары из базовой и instruct-версии на 8B параметров. Rnj-1 демонстрирует сильные результаты в Кодине, математике и STEM-задачах. На SWE-bench модель показывает 20.8% в Verified-режиме (bash-only) - выше Gemini 2.0 Flash и сопоставимо с GPT-4o. Вместо brute-force команда делала ставку на дисциплинированное проектирование: качественную подготовку данных, продуманные оптимизации и исследовательские методики для выполнения кода, infill-генерации и рассуждений. Модель обучалась на кластере TPU и AMD-GPU, увидела почти 8.7 триллиона токенов, и её качество продолжает расти. В компании говорят, что это только начало: Essential AI (22 человека) строит долгосрочную исследовательскую программу с новыми моделями, методами и прорывами в pipeline. Blog → https://essential.ai/research/rnj-1 Model → https://huggingface.co/EssentialAI/rnj-1-instruct

⚡️ Tencent официально представила HY 2.0 - крупное обновление своей базовой модели. Модель построена на архитектуре Mixture of Experts с общим размером 406B параметров и 32B активных. Модель поддерживает контекст 256K токенов. HY 2.0 демонстрирует заметные улучшения на ключевых бенчмарках. Главные достижения HY 2.0: 🧠 Reasoning: результат 73.4 на IMO AnswerBench - почти плюс 20 процентов, что закрепляет модель среди лидеров по математическому и научному мышлению. 🛠 Coding и Agents: скачок в SWE Bench Verified с 6.0 до 53.0, а Tau2 Bench вырос с 17.1 до 72.4. ⚡ Instruction Following: более стабильное выполнение сложных инструкций и естественный стиль ответов. Модель выпускается в двух вариантах: • HY 2.0 Think - для глубокого рассуждения, генерации кода и сложных задач • HY 2.0 Instruct - для диалога, креативного письма и многотуровых контекстных бесед 🌐 Website: https://hunyuan.tencent.com 🔗 API Access: http://hunyuan.cloud.tencent.com/#/app/modelSquare 📄 Documentation: https://cloud.tencent.com/document/product/1729/104753 #AI #Tencent #Hunyuan #HY2 #LLM #MoE #DeepLearning #AIModels

⚡️ PaddleOCR-VL объяснили свою архитектуру и почему двухэтапный подход уверенно выигрывает у end-to-end моделей в сложных документах. 1) Этап 1: PP-DocLayoutV2 - система сначала понимает структуру страницы Модель определяет, какие элементы находятся на странице и в каком порядке их нужно читать. Используются RT-DETR для обнаружения текстовых блоков, таблиц, формул и графиков, а также Pointer Networks для предсказания человеческого порядка чтения. Благодаря этому исчезают ошибки структуры, и получается чистый список элементов. 2) Этап 2: PaddleOCR-VL-0.9B — этап точного распознавания Каждый элемент проходит через компактную, но очень точную VL-модель. Она использует динамическое разрешение в стиле NaViT без искажений, ERNIE 4.5-0.3B для быстрого декодинга и двухслойный MLP-проектор для объединения визуальной и языковой информации. Модель уверенно распознает текст, таблицы, графики и формулы при размере всего 0.9B параметров. 3) Зачем делить процесс на два этапа Такой подход дает стабильную работу на много-колоночных и смешанных макетах, повышает скорость обработки, потому что элементы идут параллельно, и облегчает расширение под новые типы данных вроде кода или схем. Специализированная задача получает специализированную модель. 4) Полный путь от PDF к структуре Сначала документ анализируется, затем элементы вырезаются, после этого распознаются и в конце собираются обратно в структуру. Результат получается в виде Markdown или JSON, которые готовы для поиска, RAG или автоматизации. В следующем материале команда покажет внутреннюю «фабрику данных» из более чем тридцати миллионов примеров с автолейблингом и подбором сложных кейсов. https://aistudio.baidu.com/paddleocr?lang=en

Пройдите собеседования за выходные и получите офер в Яндекс 13–14 декабря проводим Weekend Offer ML — мероприятие быстрого найма для инфраструктурных и DL-инженеров, которые работают с NLP, CV, ASR, TTS или RecSys. Такой формат ивента позволяет пройти всего две секции, вместо трёх, и финальные интервью с командами за выходные, и сразу получить офер. Вместе с командой вам предстоит создавать и развивать технологии голосового ввода, синтеза речи и компьютерного зрения. Всё это ляжет в основу сервисов, которыми пользуются миллионы! Как всё устроено: ⚪до 9 декабря оставляйте заявку на сайте; ⚪13 декабря пройдите всего две технические секции; ⚪14 декабря пройдите финальные интервью с командами и получите офер. У нас сильная инженерная культура, свобода экспериментов и возможность создавать продукты, которыми ежедневно пользуются миллионы. Все подробности и регистрация — на сайте.

🧠Gemini 3 получил новый режим прокачанного мышления В отличие от обычного “быстрого” ИИ-ответа, Deep Think не спешит: он параллельно перебирает несколько идей, прогоняет задачу через несколько раундов рассуждений и в итоге выдаёт более умный и нюансный результат. Где это особенно полезно: - сложное программирование и разбор багов - задачи по математике - сложные вопросы по науке и аналитике Режим уже доступен пользователям Gemini Ultra в приложении: просто включи “Thinking” и выбери Deep Think в строке вод промпта. https://blog.google/products/gemini/gemini-3-deep-think/

🧠 Memlayer: Умный слой памяти для LLM Memlayer добавляет интеллектуальную память к любому LLM, позволяя агентам запоминать контекст и извлекать структурированные знания. С минимальной настройкой, он обеспечивает быстрый поиск и фильтрацию важной информации. 🚀 Основные моменты: - Поддержка универсальных LLM (OpenAI, Claude и др.) - Интеллектуальная фильтрация памяти с тремя режимами - Гибридный поиск с использованием векторного и графового подходов - Высокая скорость работы (<100 мс) и локальное хранение данных 📌 GitHub: https://github.com/divagr18/memlayer #python

🔭 Вышло огромное исследование на 303 страницы от ведущих китайских лабораторий — подробный разбор того, как создают и обучают модели, ориентированные на написание кода, и как на их основе строят полноценные софт-агенты. Вот что в нём разбирается: 1. Как формируют модель - Сбор и очистка гигантских датасетов кода. - Предобучение: модель впитывает реальные паттерны программирования в промышленных масштабах. - SFT и RL: дополнительные этапы, где модель учат лучше следовать инструкциям, проходить тесты и избегать очевидных ошибок. 2. Как модели превращают в инженерных агентов - Агент читает баг-репорт или фичу. - Планирует шаги. - Меняет файлы. - Запускает тесты. - Повторяет цикл, пока не добьётся результата. 3. Какие проблемы всё ещё остаются - Работа с огромными репозиториями. - Безопасность и надёжность генерируемого кода. - Корректная оценка качества работы агентов. - Реальные приёмы и лайфхаки, которые используют текущие команды. Исследование - мощный срез состояния индустрии: от датасетов и архитектур до практических инженерных пайплайнов. Это именно то, как современные LLM превращаются в «второго разработчика» в команде. https://arxiv.org/abs/2511.18538

🚀 Эксперимент InstantDB: нейромодели собрали полноценный 3D-шутер без единой строки ручного кода InstantDB провели показательный эксперимент: три крупные модели - Codex Max 5.1, Claude Opus 4.5 и Gemini 3 Pro — получили задачу создать мультиплеерный 3D-шутер с картой, физикой, оружием, врагами и комнатами для игроков. Все три модели успешно справились и представили рабочие FPS-прототипы. Как распределились сильные стороны: - Лучший фронтенд - Claude: наиболее аккуратные карты, визуальный стиль уровня Minecraft и плавные анимации. - Лучшая серверная часть - Gemini: стабильный мультиплеер, минимум ошибок, грамотно реализованные комнаты и сохранения. - Уверённое второе место по всем направлениям - Codex: качественно, предсказуемо, но без ярких преимуществ. Эксперимент показывает, насколько быстро модели приближаются к созданию сложных игровых систем под ключ. Демоверсии доступны для Codex, Claude, Gemini

Релиз Transformers v5 ! 🔥 Hugging Face выпустили Transformers v5 - обновление, которое стало логичным итогом бурного роста всего стека за последние годы. Цифры впечатляют: - 20k → 3 млн+ установок в день - 40 → 400+ поддерживаемых архитектур - ~1k → 750k+ чекпоинтов - 1.2 млрд+ общих установок Что нового в v5: - полностью PyTorch-ориентированная архитектура - модульные определения моделей - подход quantization-first - OpenAI-совместимый Transformers Serve (включая Responses API) Transformers становится ключевым фундаментом открытого AI/ML-стека - для обучения, дообучения и моделей. Новый этап экосистемы официально начался. https://huggingface.co/blog/transformers-v5