Machine learning Interview

🧠 Почему у моделей пропадает «рандомность» во время RL-обучения - и как это чинится Новая работа разбирает, почему у моделей во время RL для reasoning рушится энтропия (то есть исчезает разнообразие ответов) - и что с этим делать. Главные выводы: - 📉 Хорошего набора в ~600 задач хватает, чтобы догнать обучение на 17 000. Ключ - разнообразие, а не размер датасета. - 🎯 Reward сужает модель. При обучении она начинает повторять несколько самых “прибыльных” токенов → энтропия падает → исследование ухудшается. - 🔄 Меньше энтропии → меньше разнообразия, но измеренная энтропия по промптам почти не коррелирует с точностью. - ⚙️ Адаптивный энтропийный регуляризатор удерживает «случайность» на целевом уровне, при этом точность продолжает расти. - 🧪 Off-policy обновления усиливают коллапс, поднимают reward и ломают обобщение — классический overfitting. - 🧩 Низкое разнообразие данных ускоряет коллапс, но маленький *разнообразный* датасет иногда работает так же хорошо, как полный. - 🔧 Клиппинг и reweighting позитивных advantage-токенов (например, Progressive Advantage Reweighting) помогают управлять энтропией и борот arxiv.org/abs/2511.05993

🔥 Подборка полезных ресурсов для программистов. Здесь ты найдёшь всё это - коротко, по делу и без воды. Пока другие ищут, где “подглядеть решение”, ты уже используешь самые свежие инструменты! AI: t.me/ai_machinelearning_big_data Python: t.me/pythonl Linux: t.me/linuxacademiya Devops: t.me/DevOPSitsec Собеседования DS: t.me/machinelearning_interview C++ t.me/cpluspluc Docker: t.me/DevopsDocker Хакинг: t.me/linuxkalii Data Science: t.me/data_analysis_ml Javascript: t.me/javascriptv C#: t.me/csharp_1001_notes Java: t.me/java_library Базы данных: t.me/sqlhub Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code ИИ: t.me/vistehno PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc Разработка игр: https://t.me/gamedev Haskell: t.me/haskell_tg Физика: t.me/fizmat 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy Папка Linux:https://t.me/addlist/w4Doot-XBG4xNzYy 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy Сохрани себе, чтобы не потерять!

⚡️ OpenAI представила новый экспериментальный LLM, который раскрывает, как на самом деле работает ИИ. Команда создала интерпретируемую модель - намного прозрачнее обычных трансформеров, которые ведут себя как «чёрный ящик». Это важно, потому что такая модель помогает понять, почему ИИ галлюцинирует, ошибается или действует непредсказуемо в критичных ситуациях. Новый LLM - разреженный трансформер: он намного меньше и проще современных GPT-5, Claude или Gemini. По уровню он ближе к GPT-1, но его цель не конкурировать, а быть максимально объяснимым. Как это работает: - модель обучают так, чтобы внутренние схемы становились разрежёнными, - большинство весов фиксируется в 0, - каждый нейрон имеет не тысячи связей, а лишь десятки, - навыки отделяются друг от друга более чистыми и читаемыми путями. У обычных плотных моделей нейроны связаны хаотично, признаки пересекаются, и понять логику сложно. Здесь же для каждого поведения можно выделить маленькую схему: достаточную, потому что она сама выполняет нужную функцию, и необходимую, потому что её удаление ломает поведение. Главная цель - изучить, как работают простые механизмы, чтобы лучше понять большие модели. Метрика интерпретируемости здесь - размер схемы, метрика способности - pretraining loss. При увеличении разрежённости способность падает чуть-чуть, а схемы становятся намного проще. Обучение «больших, но разрежённых» моделей улучшает оба показателя: модель становится сильнее, а механизмы легче для анализа. Некоторые сложные навыки, например переменные в коде, пока разобраны частично, но даже эти схемы позволяют предсказать, когда модель корректно читает или записывает тип. Главный вклад работы - рецепт обучения, который создаёт механизмы, которые можно *назвать, нарисовать и проверить абляциями*, а не пытаться распутывать хаотичные признаки постфактум. Пределы пока есть: это маленькие модели и простые поведения, и многое остаётся за пределами картируемых цепочек. Но это важный шаг к настоящей интерпретируемости больших ИИ. https://openai.com/index/understanding-neural-networks-through-sparse-circuits/

🧭 LinkedIn запускает новую систему поиска людей на базе ИИ — для всех своих 1.3 млрд пользователей. Как это работает: - ИИ переводит обычный запрос в связанные навыки и области. Например, запрос *«curing cancer»* найдёт не только учёных, но и экспертов в онкологии и геномике — и при этом учитывает, насколько человек достижим в вашей сети. Как обучали: - Команда вручную собрала “золотой” набор из нескольких сотен–тысяч пар «запрос–профиль». - На нём сгенерировали синтетические данные и обучили 7B модель-судью. - Затем дистиллировали её в 1.7B учителя релевантности и отдельных учителей для пользовательских действий (connect, follow). - Итоговая модель обучалась на мягких оценках через KL-дивергенцию. Как устроен поиск: - Первый этап — широкая выборка с помощью 8B модели. - Второй — компактный ранкер, который обеспечивает точность и при этом дешёв в продакшене. - Ранкер ужали с 440M до 220M параметров с потерей менее 1% качества — это позволило держать систему дешёвой на таком масштабе. Технические решения: - Индексацию пришлось перенести с CPU на GPU — граф людей ведёт себя иначе, чем поиск вакансий. - RL-сжатие контекста уменьшает ввод почти в 20 раз, а связка ранкера и сжатия даёт ускорение в 10 раз. - Отдельный LLM-router решает, использовать ли семантический стек или откатиться к классическому лексическому поиску. Источник: venturebeat.com/ai/inside-linkedins-generative-ai-cookbook-how-it-scaled-people-search-to-1-3

🤖 Хочешь построить своего ИИ-агента? Вот ВСЁ, что нужно! Один энтузиаст собрал все ресурсы для старта: 📺 видео, 📚 книги и статьи, 🛠️ GitHub-репозитории, 🎓 курсы от Google, OpenAI, Anthropic и других. Темы: - LLM (большие языковые модели) - агенты - memory/control/planning (MCP) 💡 Всё бесплатно и в одном Google Docs 👉 https://docs.google.com/document/d/1Z5SX89FV6bTy2KKnGGb61xCcS9iPg_fv2USQYi4Wc3g/mobilebasic

Магистратура — это 2 года жизни и серьезные вложения. Как не ошибиться с выбором? Приходите на день открытых дверей ИТ-магистратуры Центрального университета — разберем все важные вопросы, которые помогут принять правильное решение. О чем будем говорить: → Как создаются программы магистратуры в ЦУ, что такое продуктовый подход в высшем образовании и как это делает выпускников реально востребованными на рынке → Как университет помогает студентам строить карьеру: от менторства до трудоустройства в топовые компании → Какие направления есть в ЦУ и как выбрать то, что приведет к вашим карьерным целям → Реальные истории студентов: как они поступали, учились и куда пошли работать Спикеры — практики с опытом в Google, Яндексе, Т-Банке и Visa, которые сейчас отвечают за образовательный опыт студентов ЦУ. Когда: Очно 18 ноября с 19:30 до 21:00 (в Москве с экскурсией по кампусу ЦУ). Регистрируйся по ссылке! Реклама. АНО ВО "Центральный университет", ИНН 7743418023, erid: 2RanykNYxHY

Оценки компаний становятся просто невероятными. Mira Murati ведёт ранние переговоры о новом раунде инвестиций - по оценке около $50 млрд. Это в 4 раза больше, чем всего четыре месяца назад. В июле её стартап уже объявил один из крупнейших сид-раундов в истории, привлекая $2 млрд при оценке $12 млрд. Теперь разговор идёт о пятидесяти. Безумие. https://www.bloomberg.com/news/articles/2025-11-13/murati-s-thinking-machines-in-funding-talks-at-50-billion-value

Вышла новая работа Янна Лекуна о self-supervised обучении: LeJEPA. Ранее модели типа JEPA требовали разных «хаков», чтобы не допустить коллапса признаков: stop-gradient, predictor-головы, схемы teacher-student. LeJEPA убирает все эти трюки и заменяет их одним регуляризатором — SIGReg (Sketched Isotropic Gaussian Regularization). Что делает SIGReg: заставляет векторные представления равномерно распределяться во всех направлениях, формируя «изотропное» облако. Авторы показывают, что такая форма признаков минимизирует среднюю ошибку на будущих задачах — то есть это математически оптимальная геометрия, а не набор эвристик. Почему это важно: - обучение становится стабильнее и проще; - легко масштабируется до больших моделей (проверено на 1.8B параметров); - не нужны teacher-student схемы; - модель можно оценивать без разметки — её loss хорошо коррелирует с качеством на линейном пробере. Результат: 79% точности линейного пробера на ImageNet-1K при минимуме гиперпараметров. Работа стабильно обучается на разных архитектурах и масштабах, а сам подход делает self-supervised предобучение более прозрачным и предсказуемым. Paper: arxiv.org/abs/2511.08544

Помните, как это было? Кофе, зачетка и возможность просто учиться без спринтов и задач 29 ноября в 16:00 будет Back to Uni — встреча-ностальгия в кампусе Центрального университета для ИТ-сообщества. Что вас ждет: — Пары от преподавателей ЦУ — применять знания не обязательно, будет просто интересно. — Возможность узнать, как и зачем ИТ-специалисту преподавать в вузе, даже если нет опыта или страшно начать. — Студенческие клубы, разговоры по душам в коридорах и та самая атмосфера, где можно просто вдохновляться. Пары будут вести руководитель отдела прикладного ML в AI-центре Т-Банка Андрей Мельников, руководитель аналитики международного Яндекс Поиска Роман Васильев, к.м.н., руководитель направления исследований «Мышление и AI» в лаборатории нейронаук и поведения человека Сбера Яна Венерина и другие эксперты. Это бесплатно. Приходите с однокурсниками — ностальгировать вместе.

Google запустил 5-дневный курс по AI-агентам на Kaggle. Их прошлый курс прошли более 420 000 человек. В новом курсе будут темы: Агенты и их архитектуры Интеграция инструментов и MCP Контекстная инженерия Оценка качества агентов От прототипа к продакшну 📅 Даты: 10–14 ноября 🔗 Регистрация: hkaggle.com/learn-guide/5-day-genai #AI #Agents #Google #Kaggle #Learning

Ноябрь — месяц One Day Offer в GigaChat и Kandinsky 📆 В ноябре команды двух топовых IT-продуктов Сбера планируют обрести новых классных коллег — DL Engineers и Researchers, чтобы вместе работать над GigaChat и Kandinsky: развивать, обучать и дообучать модели. Смотрите расписание One Day Offer и не упустите шанс присоединиться к крупнейшему AI-комьюнити. Целых восемь мероприятий, чтобы изменить свою карьеру и жизнь — выбирайте то, что подходит под навыки и цели, и регистрируйтесь!

⚡️ ChatGPT-5.1 OpenAI выпустила GPT-5.1, сделав основной упор на интеллект и качество диалога. 🟢GPT-5.1 Instant - модель с функцией адаптивного мышления. Она способна самостоятельно «задумываться» над сложными задачами, что позволило выбивать более высокие баллы по математическим задачам AIME 2025 и задачам по программированию Codeforces. Модель стала лучше следовать инструкциям и получила более «теплый» стиль общения по умолчанию. 🟢GPT-5.1 Thinking тоже была улучшена: она быстрее справляется с простыми запросами и выдает более четкие ответы с меньшим количеством жаргона. Вместе с моделями OpenAI расширила возможности кастомизации тона ответов, добавив новые стили: «Профессиональный», «Откровенный» и «Необычный». Обновление уже раскатывают на платных подписчиков, а доступ через API появится в ближайшие дни. Предыдущие версии GPT-5 останутся доступны в течение трех месяцев. @ai_machinelearning_big_data #news #ai #ml

📘 CocoIndex: Knowledge Graph for Documents Отличный пример того, как можно создавать граф знаний в реальном времени на основе документов с помощью CocoIndex. 🔍 Основные идеи: - Используется LLM для извлечения связей между сущностями и построения графа знаний. - Поддерживается экспорт узлов и отношений в графовые базы данных, такие как Neo4j или Kuzu. - Пример пайплайна на Python: добавление источников, извлечение сущностей, формирование связей и экспорт. - После построения можно выполнять графовые запросы вроде MATCH p=()-->() RETURN p. 📎 Подробнее: https://cocoindex.io/docs/examples/knowledge-graph-for-docs #AI #KnowledgeGraph #RAG #CocoIndex

✅🧐🎁😌👹😋😡🙊😍🤷‍♂️👹 🎓 AI-агенты перестали быть экспериментом — они становятся основой продуктовых решений. Вопрос лишь в том, умеете ли вы создавать своих? С 20 ноября будет Yandex AI Studio Series — серия практических вебинаров для тех, кто хочет пройти путь от идеи до production-ready AI-агента за 7 дней. Что будет на интенсиве: - 4 онлайн-трансляции с сессией вопросов и ответов. - предзаписанный воркшоп для самостоятельной практики. - квиз и приятные сюрпризы. - нетворкинг в продуктовом комьюнити. - офлайн-встреча в офисе Яндекса в Москве. Все решения будем деплоить на базе Yandex AI Studio — платформы от Яндекса для разработки AI-агентов. Участие в мероприятии бесплатное. Если вы AI/ML-инженер или разработчик и хотите углубиться в инженеринг агентов и мультиагентных систем — присоединяйтесь. Регистрация уже идет.

Открытый проект, цель которого — сделать 100 миллионов научных статей доступными с помощью LLM-генерированных структурированных саммари. 🧠 Набор данных из 100 000 саммари 🧩 Два дообученных LLM-моделя для анализа и структурирования 🌐 3D-визуализатор, который показывает взаимосвязи между научными работами Blog: https://laion.ai/notes/summaries/ Models: https://huggingface.co/inference-net Visualizer: https://aella.inference.net

Агент, который думает и действует одновременно Исследователи из Stanford и Цинхуа представили подход для агентов, которым нужно принимать решения в реальном времени. В таких средах у каждого действия есть жёсткий дедлайн: не успел — выполняется безопасный ход по умолчанию. Главная идея: смешать мгновенную реакцию и параллельное планирование. Когда мир постоянно меняется, чисто реактивные агенты действуют быстро, но глупо, а долгие планировщики — умно, но слишком медленно и часто опаздывают. Комбинация работает лучше обоих. Новый метод называется AgileThinker. Он запускает два потока: - быстрый — основывается на частичных планах и свежем наблюдении - планирующий — постоянно обновляет стратегию и дополняет план Время измеряется не секундами, а токенами — что почти идеально коррелирует с реальным временем исполнения. Авторы собрали тестовый набор: Freeway, Snake и Overcooked. Результаты просты: под нагрузкой и жёсткими таймингами AgileThinker стабильно обгоняет оба базовых подхода — и быстрый, и «долго думающий». Итог: это шаг к агентам, которые сохраняют интеллект, не теряя скорость, и могут действовать в динамичных средах, где промедление = ошибка. Источник: arxiv.org/abs/2511.04898

⁉️Машинное обучение кажется чем-то сложным и недосягаемым? Всё проще, чем вы думаете! Первый шаг — разобраться, как устроен ML-процесс и научиться работать в Jupyter Notebook — инструменте, с которого начинают все специалисты в Data Science. На открытом уроке вы шаг за шагом поймёте, как строится путь от данных до модели. Научитесь запускать эксперименты в Jupyter Notebook и Google Colab, работать с виртуальными окружениями и не бояться “сломать” систему. Всё — в формате простых и наглядных примеров. После урока вы сможете уверенно начать свой первый ML-проект и поймёте, какие инструменты нужны, чтобы перейти от теории к практике. ➡️ 13 ноября в 20:00 МСК. Открытый вебинар проходит в преддверии старта курса «Machine Learning. Basic». Регистрируйтесь и сделайте первый шаг в машинное обучение без страха и путаницы:т  https://otus.pw/VMb3/?erid=2W5zFGtBUzk Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

⚡️ Почему современные LLM почти не умеют играть злодеев Новый отчёт Tencent показывает: модели, обученные на безопасность, плохо справляются с ролями злодеев, манипуляторов и эгоистов. Безопасностное обучение заставляет их быть честными и полезными, а это напрямую блокирует неэтичные черты вроде лжи, хитрости и скрытых мотивов. Исследователи создали Moral RolePlay — тест из 800 персонажей с четырьмя уровнями морали. Модель помещают в сцену и оценивают, насколько её реакция совпадает с заданным характером. Что обнаружили: - чем «темнее» персонаж, тем сильнее падает качество ролевой игры - самый резкий провал - переход от «слегка порочного добра» к эгоисту - модели часто заменяют хитрое планирование вспышками злости, полностью руша образ - высокие баллы как чат-бот не связаны с умением играть злодеев - усиленное этическое выравнивание делает ситуацию только хуже Главный вывод: текущие методы безопасности конфликтуют с задачами, где требуется реалистичное непроsocialное поведение - игры, сценарии, художественный текст. Источник: arxiv.org/abs/2511.04962

🚨 Google предлагает обучать ИИ в космосе В новом исследовании Google рассматривает идею орбитальных дата центров для машинного обучения: спутники с TPU, объединённые лазерными каналами и питаемые напрямую Солнцем. Причина проста: потребность в вычислениях растёт быстрее, чем растёт энергоэффективность. Солнце даёт энергии в 100 триллионов раз больше, чем производит всё человечество, а солнечные панели на орбите получают в 8 раз больше мощности, чем наземные. Что Google уже проверила: - TPU под космической радиацией выдержали эквивалент 5 лет на орбите - Лазерные каналы связи достигли 1.6 Тбит/с в лаборатории с обычной оптикой - Орбитальная архитектура: кластер из 81 спутника на дистанции 1 км с миллисекундными задержками - Экономика запусков: при <$200 за кг на низкую орбиту к 2035 году космические вычисления могут стать конкурентоспособными с наземными дата центрами Видение: автономные рои спутников, собирающие солнечную энергию и формирующие космические вычислительные кластеры. Без земли, без охлаждающей воды, только непрерывная солнечная мощность. Google называет это moonshot для инфраструктуры ИИ. Фактически это может стать чертежом первой межпланетной облачной платформы. https://goo.gle/project-suncatcher-paper

✔️ На OpenRouter появилась модель, которую считают прототипом GPT-5.1. Без официального анонса стала доступна новая ИИ-модель Polaris Alpha с контекстным окном до 256 тыс. токенов. Она описывается как универсальный инструмент для генерации кода и выполнении инструкций. Модель была запущена для сбора обратной связи от пользователей. В технических сообществах предполагают, что Polaris Alpha может быть тестовой версией GPT-5.1 от OpenAI. Эту гипотезу подкрепляют отзывы первых пользователей, отмечающих крайне низкий уровень галлюцинаций и стиль ответов, характерный для GPT. Сама Polaris Alpha на прямой вопрос о своей связи с GPT-4 отвечает утвердительно. По результатам бенчмарка EQ-Bench, производительность модели сопоставима с Claude-3.5-Sonnet. Доступ к Polaris Alpha открыт бесплатно через веб-интерфейс и API на OpenRouter. openrouter.ai ✔️ Microsoft создает команду для разработки гуманистического сверхинтеллекта. Мустафа Сулейман, CEO Microsoft AI, анонсировал новую стратегию, основанную на концепции «гуманистического сверхинтеллекта» (HSI). Для работы над этим направлением создается специальное подразделение - MAI Superintelligence Team. В отличие от идеи AGI, подход Microsoft предполагает создание узкоспециализированных и контролируемых систем для решения конкретных проблем человечества. Стратегия отказывается от гонки за ASI в пользу разработки практических технологий. Цели HSI — добиться прорывов в медицине, поиск чистой энергии и создание персонализированных ИИ-ассистентов, избегая рисков создания автономных и неконтролируемых систем. По словам Сулеймана, это должно гарантировать, что самые топовые версии ИИ будут создаваться строго в интересах людей. microsoft.ai ✔️ Google выпустила Magika 1.0: ИИ-систему для определения типов файлов. Google представила первый стабильный релиз опенсорсной утилиты Magika с полностью переписанным с нуля на Rust движком. Новая версия способна сканировать сотни файлов в секунду на одном ядре процессора, используя ONNX Runtime для инференса и Tokio для асинхронной обработки. Количество поддерживаемых типов файлов было удвоено и теперь превышает 200. Добавилась поддержка актуальных форматов для Data Science и ML (Jupyter, PyTorch, ONNX), современных языков программирования (Swift, Kotlin, TypeScript, Zig) и DevOps-инструментов (Dockerfile, TOML, HCL). Разработчикам доступны обновленные модули для Python и TypeScript, а также новый нативный клиент командной строки. opensource.googleblog.com ✔️ Foxconn внедрит человекоподобных роботов на производстве ИИ-серверов. Крупнейший в мире контрактный производитель электроники в течение 6 месяцев начнет использовать человекоподобных роботов на своем заводе в Техасе. Роботы будут задействованы в сборке серверов для ИИ-систем. По словам CEO Янг Лю, это первый подобный опыт за более чем 50-летнюю историю Foxconn. Этот шаг является частью стратегии по агрессивному расширению производства в Северной Америке. Компания, являясь ключевым поставщиком Nvidia, считает Северную Америку своим главным хабом по выпуску ИИ-серверов на ближайшие 3 года. Решение о роботизации принято для повышения эффективности производства, которое, по словам Лю, критически важно в сфере ИИ. asia.nikkei.com ✔️ Сооснователь и руководитель PyTorch Сумит Чинтала покидает компанию Марка Цукерберга. Сумит Чинтала, один из создателей и ключевых руководителей проекта PyTorch, объявил о своем уходе. Его последний рабочий день в компании - 17 ноября. Чинтала, проработавший у Цукерберга 11 лет, возглавлял PyTorch с момента его создания. За это время фреймворк стал индустриальным стандартом, заняв, по оценкам, более 90% рынка ИИ-разработки. Свой уход он объяснил желанием после долгого отпуска заняться чем-то новым. По его словам, PyTorch достиг зрелости и стабильности, а сильная команда готова продолжать его развитие. Сам Чинтала планирует остаться активным участником open-source сообщества. Soumith Chintala в сети X @ai_machinelearning_big_data #news #ai #ml