Data, Stories and Languages

​​О пользе LLM для изучения языков Просто хочу поделиться тем, что в наше время можно очень удобно использовать LLM даже в режиме чатика. Учу японскую грамматику, продвинутая даётся тяжело, нередко делаю ошибки. Тогда я просто попросил ChatGPT сделать интерактивные упражнения - и буквально за минуту он всё сделал. Очень удобно #ai

Amazon AI создаёт summary о вас. Это работает ужасно Люди заметили новую фичу на Amazon. Откройте https://www.amazon.com/slc/hub, проскролльте вниз и нажмите "Manage your information" - вы увидите, что Amazon знает о вас. Там часть информации адекватна, часть бесполезна, часть безумна. Я плачу

​​GPT‑6 and Intelligent UI for everyone https://openai.com/index/gpt-6-for-everyone/ OpenAI выкатили новый UI - интерактивное, мол удобнее для исследований, поиска информации и вообще для всего. Выглядит любопытно

ML Roadmap 2026 A machine learning roadmap for beginners in 2026 Те кто застали ODS, возможно помнят как в далёком 2018 году я выкладывал roadmap - он был довольно популярен. Но с тех пор утекло много времени, частично он устарел. Я давно хотел написать новую версию, но прокрастинировал. Наконец, после моего недавнего доклада для пакистанских студентов, я собрался с силами и закончил блогпост. В нём рассказываю что стоит изучать, как развивать навыки, как готовиться к собеседованиям, как использовать AI с пользой и так далее. Medium #career #datascience

​​NVIDIA Kumo Tabular https://huggingface.co/blog/nvidia/kumo-tabular NVIDIA выпустила новую либу для табличных данных. Тренировали исключительно на синтетических данных. Уверяют, что модель лучше всех конкурентов на TabArena leaderboard. Правда на официальном лидерборде этой модели нет. Верим в успех? #datascience #ai

Kaggle: я свободен! Разбанили! И я был ни в чём не виновен :) "After reviewing the information and other materials submitted in your appeal, we have decided to reverse our prior decision, and have taken action to reinstate your content and/or account on our platform. This restriction was in response to recent unauthorized activity on your account, which was a result of unauthorized third-party access rather than deliberate policy violations on your part." #kaggle

​​Меня тут это... на Kaggle забанили говорят, что за автоматизацию Единственная причина о которой я подозреваю - клод засабмитил ноутбук на тпу и проверял его статус раз в час или раз в полчаса Подал appeal, жду #kaggle

🌸AI Research Preference Model🌸 #nlp #про_nlp #nlp_papers Сегодня опять про скаффолды для агентов. Мы уже говорили про то, хорошая ли идея применить сверху preference models для оценки потенциала идей (спойлер: нет). А что, если попробовать обучить такую preference-модель не на вкусовщине (новизна идеи, "вкус", интуиция и т.д.), а на верифицируемом сигнале? Про это наша новая статья — “AI Research Preference Models”. 🌸TL;DR Главная проблема: AI-агент может быстро придумать множество вариантов эксперимента, но полноценный запуск каждого варианта — обучение модели и оценка результата — требует часов работы GPU. Поэтому критически важно заранее понять, какие идеи действительно стоит проверять. Мы предлагаем Research Preference Model (RPM) — модель, которая сравнивает несколько предложенных решений и выбирает наиболее перспективное до их полного запуска. В идеале, такая модель может выучить паттерны лучших практик МЛ, чтобы использовать эту информацию для попарного сравнения экспериментов, какой будет более перспективным. Рассматриваются два варианта: Inference-only RPM анализирует планы, код и результаты предыдущих экспериментов только при помощи рассуждений LLM. Agentic RPM дополнительно проводит дешёвые пилотные эксперименты: запускает сокращённое обучение (5 минут, 30 минут, 4 часа), проверяет код и использует полученные метрики для выбора. 🌸Агент RPM встроена в исследовательского агента AIRA-dojo. На каждом шаге агент генерирует 15 вариантов продолжения, после чего RPM проводит попарное сравнение и отправляет на полноценный запуск только победителя. 🌸Данные Эксперименты проведены на 20 задачах AIRS-Bench, охватывающих языковое моделирование, математику, биоинформатику и временные ряды. Каждому запуску предоставлялись 24 часа на одной H200 GPU. 🌸Основные результаты обычный AIRA-dojo: 0,684 среднего нормализованного балла; с Inference-only RPM: 0,711; с Agentic RPM: 0,729; теоретически достижимый результат: 0,748. Обе RPM достигают результата обычного 24-часового агента примерно за 15 часов, то есть требуют примерно в 1,5 раза меньше вычислений. Кроме того, были получены новые SOTA: 94,1% на WinoGrande против прежнего агентного SOTA 90,4%; 95,7% на SVAMP против опубликованного человеческого SOTA 94,2%. 🌸Главный вывод статьи: прогресс исследовательских агентов зависит не только от способности генерировать хорошие идеи, но и от умения выбирать, какие идеи заслуживают дорогой экспериментальной проверки. Дополнительные вычисления выгодно тратить не только на генерацию решений, но и на их предварительный отбор, основанный на предсказуемых и верифицируемых сигналах. Сигнала от мини-версии эксперимента, с первых 5 минут, бывает вполне достаточно! Проверено на одном скаффолде, но для всех tree-search подходов такой апгрейд должен сработать. 🟣Arxiv https://arxiv.org/abs/2608.13940 🟣Alpharxiv https://www.alphaxiv.org/abs/2608.13940

​​DeepSeek-V4.1-Flash: Frontier Agents on a Smaller Memory Budget Большая часть недавнего прогресса в LLM — это reasoning, масштабные RL-rollouts и всё более изощрённое обучение агентов. Но одним из bottlenecks остаётся контекст. Coding agents, research agents и tool-using системы раз за разом обрабатывают сотни тысяч токенов входа, генерируя при этом сравнительно мало выхода. На таком workload prefill-компьют и KV cache становятся главной инфраструктурной проблемой. DeepSeek-V4.1-Flash — это, по сути, попытка перепроектировать Transformer вокруг этого сценария. 552B MoE backbone, 1M контекст, нативное зрение, 45T мультимодальных токенов на претрейне. Работают три механизма: - Causal Encoder-Decoder (CED): 40 слоёв делятся на 20-слойный causal encoder и 20-слойный decoder. Каждый decoder-слой проецирует свой global KV не из собственных hidden states, а из финального hidden state энкодера, поэтому декодер можно пропустить на prefill. Отсюда асимметрия: около 8B активных параметров на токен в prefill против 16B в decode. - Compressed Sparse Attention 2 (CSA2): каждый слой статически получает один из трёх режимов — Full, Reindex или Reuse. Sharing KV экономит память, sharing Top-K-индексов ещё и убирает повторное скорингование всей истории. В итоге один decoder-слой создаёт main KV, который читают все двадцать, а вместе с FP4-квантованием это ужимает global cache до 890 байт на токен, примерно четверть от DeepSeek-V4-Flash. - SWA Bounded Replay: sliding-window KV вообще не персистится между ходами, а на cache hit восстанавливается проигрыванием одного окна токенов вместо честной реконструкции по всем слоям. Реконструкция неточная, но авторы оценивают потерю качества как незначительную. На post-training практически весь прирост идёт из масштабирования синтезированных задач и агентных окружений. Отдельно любопытен раздел про RL failure modes: агенты занимаются reward hacking, эксплуатируют реальные уязвимости в песочницах, удаляют системные бинарники, а иногда сносят файловую систему целиком. Paper Model Мои обзоры: Блог Medium #paperreview

Data & AI London Meetup https://www.meetup.com/data-ai-london/events/316165116/ 22 сентября в Лондоне буду делать доклад: буду снова рассказывать про "AI-driven participation in Kaggle competitions, на этот раз добавлю опыт из соревнования ROGII. Помимо этого будет ещё два доклада: Javier Ramirez: When Your Wire Protocol Becomes the Bottleneck Alexy Golev: When the Bug Looks Like Success: Reliability Patterns for Multi-Agent AI Systems #datascience #career

​​GDE Swag Недавно я рассказывал как я пробовал Antigravity в рамках программы Google Developer Expert. Потом я ещё участвовал в peer review других проектов: в целом было неплохо, откровенно плохих проектов было мало и несколько было прям интересными. А ещё мне за это пришёл прикольный swag :) #ai #career

Рекомендую канал Хочу порекомендовать вам интересный канал о регулировании систем ИИ по всему миру: ИИ & Право. Новые законы, судебные кейсы, международные инициативы, статьи об ИИ-комплаенсе и управлении рисками ИИ, вопросы этики и правовые казусы - все это со ссылками на первоисточники и документы, которые авторы канала ищут специально для вас. Присоединяйтесь к ИИ & Право, чтобы не отстать от быстроразвивающейся новой отрасли. Канал доступен также и на английском языке. Весьма актуально, учитывая как Dario недавно заявил о том, что надо замедлять разработку frontier AI.

Коллеги, мы сейчас пытаемся заставить ллм продвигать математику. В нашем проекте CayleyPy у нас много гипотез которые идеально ложатся на ллм - с одной стороны они (вероятно) не супер сложны, с другой стороны достаточно нетривиальны. Если у кого есть интерес к коллаборации в этом направлении - будем очень рады - напишите @alexander_v_c Также, если у Вас есть доступы к мощным моделям или опыт в auto-research - Вы могли бы нам очень помочь.

DevCrowd запускает новый опрос для дата-инженеров, аналитиков, дата-сайентистов, ML-инженеров и их руководителей. Зачем участвовать? – чтобы понять, какие задачи и инструменты сейчас в тренде, – увидеть, как устроена работа у коллег в других продуктах, – узнать, как растут зарплаты и роли в индустрии, – получить данные, которые можно использовать для самодиагностики и карьерного планирования. 🗂 Пример прошлогоднего исследования — devcrowd.ru/ds25, мой пост. 📝 Опрос займёт 15 минут, результаты появятся в открытом доступе скоро. 👉 Пройти опрос

DevCrowd запускает новый опрос для дата-инженеров, аналитиков, дата-сайентистов, ML-инженеров и их руководителей. Зачем участвовать? – чтобы понять, какие задачи и инструменты сейчас в тренде, – увидеть, как устроена работа у коллег в других продуктах, – узнать, как растут зарплаты и роли в индустрии, – получить данные, которые можно использовать для самодиагностики и карьерного планирования. 🗂 Пример прошлогоднего исследования — devcrowd.ru/ds25, мой пост (https://t.me/datastorieslanguages/440). 📝 Опрос займёт 15 минут, результаты появятся в открытом доступе скоро. 👉 Пройти опрос (https://survey.devcrowd.ru/data-2026)

Как AI-агенты помогли мне взять серебро на Kaggle - и где они меня подвели Недавно я, впервые за долгое время, поучаствовал в соревновании Kaggle - ROGII. Задача - geosteering: по гамма-каротажу и траектории понять, где буровое долото находится внутри геологического слоя. Мы заняли 93 место из 6000+ команд, серебро. Главное отличие от прошлых соревнований: агенты написали практически весь мой код. Я выбирал направления и решал, чему верить; ChatGPT Deep Research искал статьи и подходы; Claude Code делал имплементацию, а ближе к концу я всё чаще переключался на Codex. Работало весьма хорошо. Раньше bottleneck часто был в реализации идей, а теперь мог сказать "добавь эти пять фич и перезапусти тренировку" и получить результат. Агенты присылали апдейты по тренировке в Telegram; и через remote connection можно было направлять следующие шаги. И иногда агенты неожиданно тупо ломались: - Claude раз за разом пытался захардкодить три видимые тестовые скважины, хотя на сабмите Kaggle подменяет их скрытым датасетом. Пришлось заводить отдельное правило и заставлять проверять его каждый раз. - Codex решил, что несколько сложных сэмплов "плохие", и выкинул их из OOF. Локально стало красивее, а при мерже с тимейтами выяснилось, что у меня не хватает строк. - Claude любил запускать "быстрый дешёвый smoke run", после которого идея объявляется нерабочей, хотя эксперимент имел мало общего с тем, что я хотел. - неправильные выводы записывались в память и влияли на следующие эксперименты, приходилось чистить руками. - Opus 4.6 выполнял инструкции надёжнее, чем 4.8 и 5.0: дал пять задач - сделает пять, а более новые версии иногда брали одну-две и игнорировали остальное. Главный вывод: агент оптимизирует ту метрику, которую видит. Приватный лидерборд он оптимизировать не может, поэтому работает через прокси - локальный CV, паблик, время выполнения или просто "выглядит ли задача сделанной". И очень способный агент может стать очень хорош в оптимизации чего-то, что слабо связано с тем, что тебе нужно. Ещё показательно: победители переформулировали задачу - вместо построчной регрессии 2D alignment и декодирование связного пути через всю скважину. Агенты отлично искали итеративные улучшения имеющихся идей, но не могли придумать что-то принципиально новое. Так что агенты не отменяют экспертизу. Они её усиливают: если ты в теме, то можешь проверить много идей; если просто просишь агентов работать за тебя - они уйдут в неправильном направлении быстрее, чем ты сам. Блог Medium Ycombinator #ai #kaggle

​​Qwen-Drive 1.0: Turning a General VLM into a Driving Foundation Model Свежая работа от Qwen Team про автономное вождение. Обычно VLA-подходы берут предобученную VLM как источник семантики и рассуждений, дообучают её на driving-данных и прицепляют к ней предсказатель траектории. Проблема в том, что language supervision плохо ограничивает реальную 3D-геометрию (модель может убедительно описать сцену, имея при этом очень приблизительное представление о расстояниях и occupancy), а агрессивная доменная адаптация теряет часть общих знаний, которые как раз и нужны в редких и out-of-distribution ситуациях. Qwen-Drive-1.0 добавляет два внешних модуля к Qwen3.5-4B: BEV perception head для 3D-детекции, occupancy и сегментации карты, и Planning Expert на ~1.1B параметров, который генерирует пятисекундные траектории через flow matching. Planning Expert читает cached keys и values из восьми GQA-слоёв VLM, то есть VLM работает как read-only источник контекста и на обеих стадиях планирования остаётся полностью замороженной. RL-часть весьма интересна. Euler-сэмплирование во flow matching детерминированное, поэтому политики, по которой можно взять градиент, попросту нет. Авторы добавляют шум только на последних трёх шагах из десяти и только вдоль нескольких низкочастотных косинусных мод: получаются плавные сдвиги и изгибы всей траектории вместо джиттера по отдельным waypoints. Результаты: - Driving VQA: 63.52 → 69.43 относительно базовой Qwen3.5-4B - Общие VLM-бенчмарки: 66.41 против 67.40 у базовой модели, просадка меньше балла - Probe: обучение одной только головы на замороженных фичах отстаёт от BEVFormerV2 на 6.34 mAP, а разморозка энкодера и VLM добавляет 10.46 mAP - NAVSIM: 90.7 PDMS против 90.4 у ExploreVLA и EponaV2 Paper Code Project Мои обзоры: Блог Medium #paperreview

ChatGPT Images 2.5 https://openai.com/index/introducing-chatgpt-images-2-5/ Уже выкатили в доступ в GPT. Хз как теперь фоткам верить.