en
Feedback
ML — это ОК

ML — это ОК

Open in Telegram

Канал ML-команды ОК. 12 лет делаем крутые вещи и делимся ими здесь Контакты: @anokhinn

Show more
Russia223 462Technologies & Applications30 677
2 091
Subscribers
No data24 hours
-27 days
+230 days
Posts Archive
ML — это ОК
ML — это ОК
2 091
🔭Exploration в рекомендациях служит для поддержания долгосрочного качества системы. Практики признают это, но объяснения даю
🔭Exploration в рекомендациях служит для поддержания долгосрочного качества системы. Практики признают это, но объяснения дают скорее умозрительные, чем основанные на данных. Причина в том, что для объективного измерения вклада exploration нужно крутить технически сложный A/B-эксперимент: поддерживать две версии системы, разделённые по пользователям и данным, и наблюдать, как эти версии эволюционируют в долгосрочной перспективе. Если (когда) что-то пойдёт не так, многонедельный эксперимент придётся заводить заново. Поэтому подобные эксперименты откладываются до момента, когда будут исправлены все баги. К счастью для нас, исследователи из Google провели серию таких экспериментов и рассказали об этом в своей статье на WSDM 2024. Теперь мы можем быть уверены, что существуют рекомендательные системы, в которых exploration объективно полезен. ➡️➡️

ML — это ОК
ML — это ОК
2 091
📝Чек-лист статьи о рекомендациях в 2024 году: ✔️Новая формулировка задачи рекомендаций. Желательно “вдохновиться” смежной об
📝Чек-лист статьи о рекомендациях в 2024 году: ✔️Новая формулировка задачи рекомендаций. Желательно “вдохновиться” смежной областью; ✔️Предложить свой блок attention. Не забыть про красивый префикс (self/cross/flash/rocket/…); ✔️Больше триллиона параметров, industrial-scale датасет, потому что воспроизводимость — не для бедных. На ридинг-группе 13 июня разберем такую статью с ICML 2024. Роман Болозовский, МЛ-инженер ОК, представит её на полтора месяца раньше официальной презентации на конференции. Теперь наша ридинг-группа не только несёт знания, но и выгоду (вы сэкономите на поездке в Вену!). Начало разбора — в 16.00. Зум: ссылка Meeting ID: 737 3931 8110 Passcode: 1 Календарь: ссылка

ML — это ОК
ML — это ОК
2 091
📹Запись ридинг-группы ОК от 30 мая. Андрей Аргаткин рассказал про DenseAttention, придуманную им модификацию трансформерного блока.

ML — это ОК
ML — это ОК
2 091
⚡️На ридинг-группе 30 мая обсудим статью нашего коллеги Андрея Аргаткина DenseAttention: No-Compromise Exact All NxN Interact
⚡️На ридинг-группе 30 мая обсудим статью нашего коллеги Андрея Аргаткина DenseAttention: No-Compromise Exact All NxN Interactions Algorithm with O(N) Space and Time Complexity. Андрей расскажет о том, как убрать из стандартного трансформерного блока несколько компонентов, не потеряв в качестве, но выиграв в скорости (даже у flash attention!). Встречаемся в зуме в 17:00. Зум: https://us05web.zoom.us/j/82613108856?pwd=l4FUK61nYJTKRtXnKj21RalZHWnCsz.1 Meeting ID: 826 1310 8856 Passcode: 6EiSpW

ML — это ОК
ML — это ОК
2 091
На следующей неделе, в субботу, 25 мая, пройдет Data Fest в гостях у VK. Помимо классных докладов будут активности, в которых будут участвовать ребята из нашей команды. Например, Сергей Ермилов, который недавно разбирал SANSA, будет играть в “Достань тимлида”. Отличный шанс допросить его про наши вакансии и инфраструктуру. Приходите, регистрация ещё открыта.

ML — это ОК
ML — это ОК
2 091
📹Запись ридинг-группы от 16 мая 2024 года. Александр Петров из Университета Глазго рассказал про то, как сделать трансформерные рекомендеры более эффективными в задачах рекомендаций с большими каталогами айтемов.

ML — это ОК
ML — это ОК
2 091
Мы начинаем!

ML — это ОК
ML — это ОК
2 091
📄На ридинг-группе 16 мая Александр Петров из Университета Глазго представит свою статью RecJPQ: Training Large-Catalogue Sequential Recommenders. Поговорим о том, как сделать трансформерные рекомендеры более эффективными в задачах рекомендаций с большими каталогами айтемов. Встречаемся в зуме в 18:00. Зум: ссылка Идентификатор конференции: 732 1727 3314 Код доступа: okdsrg

ML — это ОК
ML — это ОК
2 091
Ранжирование ленты – задача, для решения которой нужна команда ML-инженеров. Эта задача становится ещё сложнее, когда к ней добавляются требования, выходящие за рамки одной рекомендательной выдачи («хотим отдавать 5% трафика локальным группам»). Для поддержки этих требований можно использовать эвристики («умножаем скоры локальных групп на 2»). Но эвристики нужно настраивать, и они не гарантируют оптимальности. Авторы статьи Ranking with Long-Term Constraints предлагают своё решение задачи ранжирования с учётом долгосрочных требований. Предложенные в статье алгоритмы наводят мост между долгосрочным контролем рекомендательной системы и построением ленты «в моменте». Долгосрочная цель формулируется как сумма полезности, извлеченной пользователями, и штрафов за несоблюдение требований. И если полезность легко разбивается по отдельным выдачам, то со штрафами дело обстоит сложнее. Авторы предлагают три подхода: - Myopic controller равномерно «размазывает» все штрафы по всем выдачам. - Stationary controller в реальном времени следит за выполнением требований и приоритезирует те, что выполнены хуже остальных. - Predictive controller добавляет к stationary controller прогноз трафика, чтобы учитывать выполнение требований в будущем. Для ранжирования с дополнительными требованиями нет хороших реальных датасетов, поэтому эксперименты в статье синтетические. Они показывают эффективность предложенных алгоритмов. При этом для применения результатов статьи нужно решить практические вопросы (Как выбрать горизонт планирования? Где взять хорошую модель прогнозирования трафика? Что делать с меняющимися требованиями?). Тем не менее статья заслуживает внимания, потому что предлагает идеи, позволяющие поддерживать долгосрочное здоровье системы. А это более важная задача для ML-инженеров, чем увеличение NDCG на 0,005.

ML — это ОК
ML — это ОК
2 091
photo content

ML — это ОК
ML — это ОК
2 091
Всем привет! Ребята из Mail.ru делают классное мероприятие: smartmail:ML Meetup, уютный офлайн-митап по NLP, LLM и ML в целом. ⏰17 мая в 18:00 по МСК 📍Офис VK 🦾 На митапе будут доклады от тимлидов Mail.ru, где ребята обсудят NLP-подходы, а также расскажут про свой AutoML пайплайн. А ещё обязательно поделятся опытом по заведению LLM-фич in the wild! 🦿Участие в митапе для всех свободное, но необходимо пройти регистрацию. Рекомендуем!

ML — это ОК
ML — это ОК
2 091
📹Запись ридинг-группы от 25 апреля 2024 года. Макс Каледин из ВШЭ рассказал про удаление шума из аудиопотока с помощью GAN

ML — это ОК
ML — это ОК
2 091
начинаем!

ML — это ОК
ML — это ОК
2 091
🎤🎧На ридинг-группе 25 апреля обсудим алгоритм удаления шума из речи в аудиопотоке с помощью лёгких генеративных состязательных сетей (GAN). Ведущим будет Макс Каледин из ВШЭ. Ждём вас в 18:00. Зум: https://us05web.zoom.us/j/81356812687?pwd=zWXaFnJptvDu5EMKS4gLFrHknDjSAr.1 Meeting ID: 813 5681 2687 Passcode: 123

ML — это ОК
ML — это ОК
2 091
Запись РГ про SANSA от Сергея Ермилова

ML — это ОК
ML — это ОК
2 091
⚡️Начинаем через 5 минут

ML — это ОК
ML — это ОК
2 091
Мы любим автоэнкодерные рекомендеры не только за то, что они дают хорошее качество, но и за самые крутые аббревиатуры (SLIM!
Мы любим автоэнкодерные рекомендеры не только за то, что они дают хорошее качество, но и за самые крутые аббревиатуры (SLIM! EASE!). На ридинг-группе 11 апреля обсудим новую модель из этого семейства — SANSA. Статью с конференции RecSys 2023 будет представлять Сергей Ермилов, ML-инженер ОК. Начало встречи в 18:00. Ссылка на звонок: зум Идентификатор конференции: 997 5281 5267 Код доступа: 2JAg34

ML — это ОК
ML — это ОК
2 091
📹Запись ридинг-группы от 28 марта 2024 года. Николай Анохин рассказал про подход к распределению рекламной нагрузки в ленте социальной сети. https://vk.com/video/@lab?list=7fa39bef8d9f40d9a2&preview=&screen=&webcast=&z=video-187376020_456239071

ML — это ОК
ML — это ОК
2 091
Начинаем через 5 минут

ML — это ОК
ML — это ОК
2 091
💰На ридинг-группе 28 марта обсудим, как выбрать слоты для рекламы в ленте, чтобы и денег заработать, и пользователей не расстроить. Алгоритм сидения на двух стульях представит Николай Анохин, ведущий специалист по машинному обучению OK. Будем опираться на статью Ad-load Balancing via Off-policy Learning in a Content Marketplace с конференции WSDM 2024. Начало встречи в 18:00. Зум: https://us05web.zoom.us/j/89763772406?pwd=e3xoXL1xNr2HchasKKAGxhqbyKPdez.1 Meeting ID: 897 6377 2406 Passcode: 31337