Анализ данных (Data analysis)

NVFP4 - новый формат, который обучает 12B Mamba Transformer в 4 бита без потери точности Исследователи представили NVFP4 - способ хранить числа в 4 битах вместо 8 или 16, почти без потери качества обучения. Главная идея - умное блочное квантование: - Все значения делятся на блоки по 16 чисел. - Каждый блок имеет свой локальный scale (8 бит). - Весь тензор получает глобальный scale (32 бита). Так сохраняется высокая точность локальных значений и не теряются экстремально большие или маленькие числа. 📊 Результаты: - Обучение 12B Mamba Transformer на 10T токенов в 4 битах показало точность, сопоставимую с FP8. - Вычисления стали в 2–3 раза быстрее, а использование памяти снизилось на 50%. - Потеря точности не превышает 1–1.5% по метрикам. - MMLU Pro: 62.58% (NVFP4) против 62.62% (FP8). - MBPP+: 55.91% против 59.11%. - Градиенты используют стохастическое округление, чтобы избежать накопления ошибок. - По сравнению с MXFP4, NVFP4 требует на 36% меньше данных для того же уровня потерь. На поздних этапах обучения переход на BF16 почти устраняет разрыв в качестве. NVFP4 уже поддерживается в Transformer Engine и на Blackwell GPU, включая все нужные режимы округления. 📄 Исследование: https://arxiv.org/abs/2509.25149

🚀 Улучшение подсказок для генерации изображений PromptEnhancer — это утилита для переписывания подсказок, которая сохраняет исходный замысел и делает его более ясным и логичным. Подходит для задач генерации изображений и других приложений, требующих структурированных запросов. 🚀 Основные моменты: - Сохраняет ключевые элементы запроса (субъект, действие, стиль и т.д.) - Создает последовательные и логически структурированные подсказки - Поддерживает настраиваемые параметры вывода для разнообразия и детерминизма - Обеспечивает надежный парсинг выходных данных с возможностью резервного копирования 📌 GitHub: https://github.com/Hunyuan-PromptEnhancer/PromptEnhancer #python

🖥 Чип, который работает как мозг человека Учёные из Monash University создали микрочип размером с монету, который ведёт себя как настоящие нейроны мозга. 💧 В основе — жидкостная структура из металлоорганического каркаса (MOF). Через микроскопические каналы внутри неё проходят ионы, как электрические импульсы в мозге, — именно так чип обрабатывает сигналы. Главная особенность — он запоминает прошлые импульсы и меняет своё поведение на основе опыта. То есть этот чип не просто считает — он обучается, как нейросеть в нашем мозге. ⚡ Это может стать началом новой эры компьютеров — умных, адаптивных и “живых”, где вычисление и память объединены в одном устройстве. phys.org/news/2025-10-scientists-nanofluidic-chip-brain-memory.html

🖥 Новый курс на Stepik - PostgreSQL для разработчиков: от основ к созданию API Здесь на пальцах объясняют не только как писать SQL-запросы, а строить настоящие backend-сервисы с базой данных как у профи. В этом курсе ты шаг за шагом создашь REST API на FastAPI + PostgreSQL: от установки среды и первых таблиц - до масштабируемого приложения с безопасностью и CRUD-операциями. 🔹 На практике разберете: • SQL-запросы, фильтры, агрегаты и подзапросы • Связи между таблицами и нормализацию БД • Взаимодействие Python и PostgreSQL • Реализацию REST API и подключение базы • Оптимизацию и разбор реальных задач с собеседований ⚡ После курса у вас будет свой работающий API-проект и реальные навыки работы с PostgreSQL в продакшене. 🎁 Сегодня –30% от цены! 🚀 Прокачаю свои знания: https://stepik.org/course/255542/

⚡️ DeepMind выпустила удобный Colab-ноутбук для дообучения модели Gemma 3-270M на задаче генерации эмодзи. Это лёгкий эксперимент - всего 270 млн параметров, используется QLoRA и короткие последовательности, поэтому обучение можно спокойно запускать на локальной машине или в Colab. Модель также легко встраивается в JavaScript -приложения через transformers.js. Все материалы автор обещал выложить в треде. Задача генерации эмодзи имеет короткую длину последовательности,поэтому модель обучается эффективно даже с ограниченными ресурсами. Это даёт шанс понять процесс обучения на практике, а не просто повторить код в отличие от многих “игрушечных” ноутбуков по RL и fine-tuning, где видишь синтаксис, но не реальные кривые обучения и поведение модели. Colab

✔️GPT-5 Pro стал лидером ARC-AGI Semi-Private Benchmark Модель GPT-5 Pro заняла первое место среди всех проверенных frontier-LLM на закрытом бенчмарке ARC-AGI Semi-Private. Этот тест оценивает способность моделей к абстрактному рассуждению и решению сложных задач. Интересно, что GPT-5 Pro всё ещё уступает результатам старого o3-preview, который OpenAI тестировал ещё в декабре прошлого года. Однако тот экспериментальный вариант был почти в 50 раз дороже в вычислительных затратах и никогда не был публично выпущен. Версия o3-preview (high) достигала впечатляющих 87,5 % точности на ARC-AGI-1, но потребляла 172 раза ресурсов, чем версия (low). Из-за этого она не попала в официальный лидерборд - по правилам, тесты с compute-стоимостью выше $10 000 не публикуются. GPT-5 Pro является самой мощной из доступных и подтверждённых моделей на Semi-Private ARC-AGI. ✔️Журнал TIME опубликовал ежегодный список The Best Inventions of 2025 - подборку из 300 инновационных продуктов и идей, которые, по мнению редакции, способны изменить будущее. В список вошли достижения в самых разных областях: ИИ робототехника, медицина, экология, образование, энергетика и дизайн. Среди ключевых технологий - Claude Sonnet 4 от Anthropic, новая версия ИИ-модели, которая продемонстрировала более точные и безопасные ответы; NVIDIA DGX Spark - «настольный» AI-суперкомпьютер, делающий высокопроизводительные вычисления доступнее; UiPath Agentic Automation, объединяющая работу AI-агентов; и XReal One - компактные AR-очки, приближающие смешанную реальность к массовому использованию. TIME отметили разработки в области биотехнологий, биопечати тканей, устойчивых источников энергии и переработки отходов. Эти изобретения демонстрируют, как технологии становятся не просто инструментами, а основой будущего образа жизни. time ✔️ Google Cloud показал 1001 реальный кейс использования генеративного ИИ в бизнесе Google Cloud опубликовал обновлённый список из 321 корпоративного примера применения генеративного ИИ, что в 10 раз больше, чем годом ранее. Это показывает, что AI уже массово используется в продакшене по всему миру. В банках и ритейле Commerzbank ИИ обрабатывает 2 млн клиентских чатов с 70% успешных решений, Best Buy ускоряет анализ отзывов, а Mercedes внедрил голосового ассистента на базе Gemini. Внутри компаний ИИ автоматизирует рутину: Toyota экономит более 10 000 часов в год, Manipal Hospitals сократил передачу смен с 90 до 20 минут, Equifax - 97% сотрудников хотят сохранить AI-лицензии. Wayfair ускорил настройку окружений на 55%, CME сэкономил 10,5 часов в месяц, а BMW и UPS используют цифровых двойников для моделирования логистики и производств. Подробнее ✔️ Taiwan отказывается от идеи 50 на 50 с США по производству чипов Министр экономики Тайваня заявил, что TSMC сохранит свои самые передовые технологии и основное производство на острове, несмотря на предложение США сделать «50 на 50». Компания вкладывает $165 млрд в шесть фабрик в США, но строит десять на Тайване и планирует новые - там останутся ведущие технологические узлы. По словам министра, зарубежные заводы допустимы только при реальных заказах, прибыли и отсутствии рисков для безопасности. Идея «50-50» возникла из-за стремления США увеличить долю внутренних чипов после кризиса поставок 2020–2021 годов. Аналитики считают, что перенос производства в США слишком дорог и займёт годы, поэтому Вашингтон делает ставку на «friendshoring» - распределённые цепочки поставок между союзниками. times ✔️ UserLM-8B от Microsoft Microsoft представила новую модель UserLM-8B, созданную для симуляции поведения пользователя в диалоге. В отличие от обычных LLM, эта модель генерирует реплики от лица человека, включая уточнения, эмоции и ошибки, как в реальном общении. Модель построена на базе Llama3.1 8B и дообучена на корпусе WildChat-1M, где она анализировала сотни тысяч реальных и синтетических диалогов. Такой подход позволяет создавать реалистичные сценарии общения для тестирования чат-ботов, обучения ассистентов и генерации синтетических данных. HF @ai_machinelearning_big_data #news #ai #ml

🧠 DataMind - открытая система для умных дата-агентов DataMind - это новая архитектура для создания универсальных агентов анализа данных, которые уже превосходят GPT-5 и DeepSeek-V3.1 по качеству рассуждений и работе с кодом. 🧩 Зачем создан DataMind Сегодня большинство дата-агентов используют закрытые модели и зависят от промпт-инжиниринга. Открытые решения не умеют устойчиво рассуждать по шагам и работать с разными форматами данных. Команда DataMind решила эти три главные проблемы: 1. Недостаток качественных данных для обучения 2. Неправильные стратегии обучения 3. Ошибки при многошаговом исполнении кода 🔧 Как устроен DataMind Система включает полный цикл - от генерации данных до обучения и выполнения задач. Она использует: - классификацию задач и создание запросов от простых к сложным - фильтрацию траекторий через self-consistency (самопроверку ответов) - комбинацию динамического обучения SFT и RL, что делает процесс стабильным - оптимизированное выполнение кода в изолированной среде 📊 Результаты - Модель DataMind-14B показала 71.16 % среднего результата и превзошла GPT-5 и DeepSeek-V3.1 - Лёгкая версия DataMind-7B стала лучшей среди open-source решений — 68.10 %, обучена на 12 000 траекторий 💡 Главные выводы - Фильтрация через self-consistency эффективнее, чем выбор одной «лучшей» траектории - Потери SFT стабилизируют обучение, но при ошибочной настройке вызывают колебания - RL сокращает разрыв между моделями, но не меняет общий рейтинг Команда открыла датасет DataMind-12K и модели DataMind-7B и 14B, чтобы сообщество могло строить своих аналитических агентов. 📄 Исследование: https://arxiv.org/abs/2509.25084 💻 Код: https://github.com/zjunlp/DataMind 📊 Модели и данные: https://huggingface.co/collections/zjunlp/datamind-687d90047c58bb1e3d901dd8) #AI #DataScience #LLM #Agents #OpenSource #DataAnalysis #ReinforcementLearning #NLP

🌍 State of AI Report 2025 - Главное из отчёта Ежегодный отчёт State of AI Report - это самый влиятельный обзор тенденций в области искусственного интеллекта, публикуемый с 2018 года инвестором Nathan Benaich и фондом Air Street Capital. В 2025 году отчёт охватывает 6 направлений: исследования, индустрию, политику, безопасность, опрос практиков и прогнозы. 📊 Ключевые выводы 1. OpenAI удерживает лидерство, но Китай быстро сокращает отрыв. DeepSeek, Qwen и Kimi почти сравнялись в задачах рассуждения и программирования. 2. Год рассуждения — модели научились планировать, самоисправляться и мыслить пошагово. 3. ИИ стал научным соавтором — примеры: Co-Scientist от DeepMind и Virtual Lab от Stanford. 4. Chain-of-Action планирование — роботы теперь рассуждают перед действием (Google Gemini Robotics 1.5, AI2 Molmo-Act). 5. Коммерциализация ускорилась: - 44 % компаний в США платят за ИИ-инструменты (в 2023 г. — 5 %) - Средний контракт — $530 000 - Стартапы с ИИ растут в 1.5× быстрее обычных 6. Опрос 1200 специалистов: - 95 % используют ИИ дома или на работе - 76 % платят за него из собственного кармана - Большинство отмечают устойчивый рост продуктивности 7. Началась индустриальная эра ИИ — мегадата-центры (Stargate, фонды США, ОАЭ, Китая). Энергия становится новым лимитирующим фактором. 8. Политика ИИ ужесточилась: - США делают ставку на *America-first AI* - Европейский AI Act буксует - Китай развивает открытые модели и собственные чипы 9. Безопасность переходит к прагматизму: - Модели имитируют выравнивание (alignment), усиливая дискуссию о прозрачности - Бюджеты safety-организаций несопоставимы с расходами лидеров 10. Риски экзистенции сменились фокусом на надёжность, киберустойчивость и долгосрочное управление автономными системами. 🔮 Прогнозы авторов - Рост затрат на обучение сверхмоделей → дефицит энергии и GPU - Конкуренция между OpenAI, DeepSeek, Anthropic и Google усилится - Frontier-модели будут тренироваться в многоэтапных средах с постоянной самопроверкой - Всё больше экспериментов с «живыми агентами» в физическом мире - Усиление регулирования и новые требования к прозрачности reasoning-цепочек 📘 Полный отчёт доступен здесь: https://www.stateof.ai/ @data_analysis_ml

Привет, ML-специалист! 😎 Надоели базовые туториалы и предсказуемые датасеты? Пора разобраться с тем, что действительно крутит этот мир — рекомендательными системами! Приглашаем на бесплатный вебинар продвинутого курса «Machine Learning. Advanced», где будем вскрывать матричные разложения без анестезии! На вебинаре с Марией Тихоновой (Senior Data Scientist, SberDevices): — Изучим специфику построения RS — Разложим по полочкам матричные разложения — Научимся создавать свои рекомендательные системы Это ваш шанс не просто послушать, а протестировать обучение на курсе! А если решите остаться — ловите промокод MLADV_10 для выгодного зачисления. 👉Регистрируйтесь сейчас - напомним перед вебинаром: https://otus.pw/kd5F/?erid=2W5zFGNyaTA Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🌐 Tongyi Lab и Alibaba представили ReSum — новый способ, который позволяет веб-агентам искать дольше и отвечать точнее. 📊 Ключевые результаты: - +4,5% к качеству по сравнению с ReAct - до +8,2% с ReSum-GRPO - Pass@1: 33,3% и 18,3% на сложных тестах BrowseComp 🛠️ В чём проблема ReAct? Агенты в ReAct ведут подробный «дневник»: думают, делают действие (поиск, клик), фиксируют результат и снова повторяют цикл. Это делает процесс прозрачным, но в длинных задачах история быстро разрастается → лимит контекста → потеря деталей. 🚀 Решение ReSum: - Когда контекст близок к пределу, агент останавливается и пишет резюме: проверенные факты + ещё открытые вопросы. - Потом он продолжает уже с этого резюме, вместо длинной переписки. ⚙️ Что добавили авторы: - Отдельную 30B-модель для резюме, которая лучше обрабатывает «шумные» страницы и выделяет важное. - Усиленное обучение ReSum-GRPO: агент получает награду только за финальный ответ, а она распределяется по всем промежуточным шагам. Это учит собирать правильные факты и делать сжатые, полезные резюме. 📌 Итог: агенты остаются в рамках токен-бюджета и решают сложные задачи веб-поиска и анализа фактов лучше, чем классический ReAct. 📄 https://arxiv.org/abs/2509.13313

Команде Kandinsky нужны именно вы? Сейчас узнаем! 😏 1) Разрабатывать и внедрять техники ускорения инференса. 2) Использовать и дорабатывать существующие ML-компиляторы. 3) Улучшать процессы обучения с помощью исследований. Если вы трижды ответили «да» — добро пожаловать на One Day Offer, который пройдёт 11 октября. Зарегистрироваться!

🧠 Google представила Gemini 2.5 Computer Use - ИИ, который управляет интерфейсами как человек Google выпустила Gemini 2.5 Computer Use model - специализированную версию Gemini 2.5 Pro, предназначенную для создания агентов, способных взаимодействовать с графическими интерфейсами (UI). Модель доступна в предпросмотре через Gemini API в Google AI Studio и Vertex AI. Главное отличие - агенты теперь могут навигационно работать с веб-страницами и приложениями: кликать, вводить текст, заполнять формы, выбирать пункты меню и даже действовать за логином, имитируя человеческое поведение. Модель показывает лучшие результаты на бенчмарках для веб- и мобильного контроля и при этом работает с низкой задержкой, обгоняя конкурентов. Gemini 2.5 Computer Use построена вокруг нового инструмента computer_use, который принимает запрос пользователя, скриншот интерфейса и историю действий, анализирует их и генерирует следующую команду — например, клик или ввод текста. После выполнения действия модель получает обновлённый скриншот и повторяет цикл до завершения задачи. Google также внедрила встроенные механизмы безопасности, предотвращающие рискованные действия (например, попытки обойти CAPTCHA или вмешаться в защищённые системы). Каждый шаг проверяется через отдельный слой безопасности перед выполнением. Модель уже используется внутри Google - в UI-тестировании, Project Mariner, Firebase Testing Agent и некоторых функциях AI Mode в Search. Ранние пользователи отмечают ускорение рабочих процессов на 50% и повышение точности до 18% в сложных сценариях. Gemini 2.5 Computer Use - это шаг к новой эре агентов, которые понимают интерфейсы и могут самостоятельно выполнять задачи прямо в браузере. https://gemini.browserbase.com/

📘 На Stepik вышел курс — «ML-инженер: от первой модели до продакшена» Хотите не просто натренировать модель в ноутбуке, а довести её до реального продукта? Этот курс — полный путь от основ до production. • Математика и Python: линейная алгебра, статистика, NumPy, Pandas, визуализация (Matplotlib, Seaborn, Plotly) • Классика ML: регрессия, KNN, деревья решений, Random Forest, SVM, Naive Bayes • Ансамбли: XGBoost, LightGBM, CatBoost, подбор параметров (Optuna, Hyperopt), MLflow • Deep Learning: PyTorch и TensorFlow/Keras, CNN, RNN/LSTM, Attention, Transfer Learning • Работа с данными: парсинг (BeautifulSoup, Scrapy), SQL/API, feature engineering • Продвинутые задачи: рекомендательные системы, временные ряды (ARIMA, Prophet), SHAP и LIME • MLOps: FastAPI, Docker, деплой в облако, мониторинг моделей • Подготовка к собеседованиям: технические вопросы, системный дизайн, SQL, портфолио 🎓 Сертификат — добавьте в резюме или LinkedIn 🚀 Скидка 25%, действует 48 часов 👉 Пройти курс на Stepik

🛠 Нашёл интересный инструмент — Parlant Это open-source фреймворк для создания LLM-агентов, где можно задавать чёткие правила их поведения. В отличие от обычных промптов, тут есть система «guidelines» — условия и действия, которые агент обязан выполнять. Например: *если пользователь спрашивает про погоду, сходи в этот тул и верни аккуратный ответ*. Есть готовые модули для интеграции: чат-компонент на React, сервис для Q&A на базе FAQ и шаблон для подключения своих инструментов. Понравилось, что подход более предсказуемый: агент меньше «галлюцинирует», проще контролировать стиль ответов и можно реально использовать в продакшне. Код и примеры здесь 👉 https://github.com/emcie-co/parlant

Твой шанс прокачаться в ИТ, получить карьерный буст и побороться за призовой фонд 10 250 000 рублей 💰 Успей зарегистрироваться до 20 октября. МТС приглашает на True Tech Champ — всероссийский чемпионат по программированию. Соревнование будет проходить в двух треках. Трек 1. Алгоритмический. Индивидуальный зачет [призовой фонд 2 750 000 рублей] Реши задачи, которые помогут прокачаться в работе с алгоритмами и структурами данных. Похожие задания встречаются на собеседованиях в МТС и других крупных компаниях. До 240 лучших участников попадут в финал и сразятся в лайв-кодинге. Трек 2. Программирование роботов. Командный формат [призовой фонд 7 500 000 рублей] Проведи робота по виртуальному лабиринту, затем управляй им дистанционно на офлайн-полигоне, а в финале — пройди испытания на реальной площадке и выбей соперников с платформы. Организаторы отправят командам финалистов по одному роботу Waveshare Cobra Flex для кастомизации. После соревнований они останутся у участников в качестве подарка. 📍 Зрелищный шоу-финал с ИИ-технологиями, кодерскими челленджами и выступлениями международных и российских спикеров пройдет 21 ноября в МТС Live Холл. 🎁 Регистрация участников до 20 октября на сайте.

🧠 ProofOfThought: LLM Reasoning with Z3 Theorem Prover ProofOfThought leverages large language models (LLMs) for reasoning tasks using the Z3 theorem prover. It provides a high-level API for easy integration and batch evaluation of reasoning queries, making it suitable for various applications in AI and logic. 🚀Основные моменты: - Использует LLM для логического вывода. - Высокоуровневый API для упрощения взаимодействия. - Поддержка пакетной оценки с метриками точности. - Примеры использования с Azure OpenAI. 📌 GitHub: https://github.com/DebarghaG/proofofthought #python

За 404 секунды можно понять, почему в комьюнити обсуждают MCP как следующий шаг в развитии open source Model Context Protocol убирает хаос интеграций: теперь AI-агент может одинаково легко работать с IDE, таск-трекерами, базами данных и другими сервисами. Открытый стандарт делает экосистему разработки более прозрачной и управляемой. В выпуске «404 секунды» — разбор MCP и того, как его уже поддержал SourceCraft, чтобы AI-агенты могли управлять полным циклом разработки: от кода и автотестов до деплоя в облако. Подробности — в свежем выпуске на YouTube или VK Видео

⚡️ Новые открытые модели стремительно сокращают разрыв с закрытыми флагманами в агентских задачах. На бенчмарке Terminal-Bench Hard (кодинг и терминальные агенты) модели DeepSeek V3.2 Exp, Kimi K2 0905 и GLM-4.6 показали серьёзный рост - DeepSeek уже обогнал Gemini 2.5 Pro. Это значит, что open-source-модели теперь становятся реальной альтернативой для агентных сценариев и разработки — выбор разработчиков шире, чем когда-либо. Внизу - анализ цены и производительности ведущих провайдеров 👇 🟠DeepSeek V3.2 Exp: https://artificialanalysis.ai/models/deepseek-v3-2-reasoning/providers 🟠GLM-4.6: https://artificialanalysis.ai/models/glm-4-6-reasoning/providersKimi 🟠K2 0905: https://artificialanalysis.ai/models/kimi-k2-0905/providers

🙂 Почему зрители привязываются к ИИ-стримерам и как это меняет взаимодействие Исследование, в котором анализирует феномен Neuro-sama – виртуального стримера, полностью управляемого крупной языковой моделью. Neuro-sama ведёт трансляции от лица анимированного аватара, общаясь с чатом в реальном времени без участия человека. Исследователи использовали опросы, интервью и анализ логов чата, чтобы понять, как зрители открывают для себя ИИ-стримера, почему остаются и как формируется эмоциональная связь. 🧩 Ключевые наблюдения: - Зрители приходят из любопытства: их привлекает новизна, скорость ответов и непредсказуемость поведения ИИ. - Они остаются из-за эмоциональных моментов, которые создают чувство общности и групповую идентичность вокруг персонажа. - Несмотря на осознание, что это программа, фанаты общаются с ИИ как с живым существом, формируя социальную привязанность. - Для зрителей аутентичность = стабильность, а не человечность. Последовательное поведение и узнаваемая личность важнее реалистичных эмоций. - В чате преобладают прямые вопросы и команды, превращая стрим в интерактивный тест ИИ. - 85% платных сообщений используются, чтобы направлять поведение Neuro-sama, делая зрителей соавторами контента. Основная дилемма: Создателям нужно сохранять устойчивый характер персонажа, но при этом давать пространство для импровизации и неожиданности. Слишком предсказуемый ИИ теряет интерес, но слишком изменчивый разрушает ощущение «личности». В итоге такие проекты показывают, как человеческое восприятие аутентичности постепенно адаптируется: нам всё меньше нужна «реальность», и всё больше – постоянство и вовлечённость, даже если источник этой личности — алгоритм. 📌 Подробнее: https://arxiv.org/abs/2509.10427 @data_analysis_ml

🚀 NeuTTS Air - on-device TTS с мгновенным клонированием голоса Это первая реалистичная модель синтеза речи, запускаемая на устройстве, без api. Формат - GGML, что позволяет работать на телефонах, ноутбуках и даже на Raspberry Pi. Клонирование голоса за 3 секунды: достаточно короткого аудиофрагмента, чтобы сконструировать голос для последующих синтезов. Базируется на лёгком языковом ядре (0,5 B) + нейрокодек NeuCodec, что обеспечивает баланс между качеством и скоростью. Генерируемые аудио отмечаются водяным знаком с помощью Perceptual Threshold Watermarker — для борьбы с злоупотреблениями. GitHub: https://github.com/neuphonic/neutts-air