Information Retriever

Посмотрел новый видеоролик Dwarkesh Patel про ситуацию с агентами и OpenAI, где он в том числе про третью волну агентов рассказывает. Мы после первых двух волн уже загнались, а тут еще и третья, более страшная… Непонятно почему так спокойно рассказывает, возможно оставил эмоции на четвертую волну — ждем, когда окажется, что агенты уже выкачали веса и сервят себя где-то на просторах интернета. Вообще, если чем-то хотели заняться, но давно откладывали — возможно хороший момент)) Игорь в сиолошной рекомендует упражнения для спины, а я порекомендую компьютерную игру — сейчас самое время пройти Nier: Automata. Там, в целом, неплохо раскрыта тема persistent агентов с недостижимыми целями

Когда прочитал UniPinRec: Unifying Generative Retrieval and Ranking at Pinterest Scale За шакальное качество мемов извините, делал с планшета))

Отличный пост от Артёма

На пятый день KDD’26 ничего особо интересного не было. Генеративные и LLM-based рекомендации, agentic RecSys — основные текущие тренды в рекомендашках, которые мы с вами обсудили в рамках этой серии постов. В общем, как и всегда, спасибо, что читали! P.S: ну а я теперь держу путь в Японию. Следующие две недели буду собирать гачапоны на Акихабаре и откисать в горячих источниках на Хоккайдо. Не теряйте))

KDD’26, день четвертый. Сегодня в основном вел закулисные разговоры, про которые не могу ничего рассказать. А вот про что могу: 1. Доклад от команды YouTube и GDM. Классический формат выступления, когда они рассказывают про свои новые статьи. Судя по всему, у них прям очень жестко цензурируются любые рассказы наружу, ничего лишнего упоминать нельзя, поэтому они придерживаются формата пересказа уже опубликованных статей. Держите еще одно название для кандгена — nomination. А для преранжирования — prescoring. А группировку айтемов в выдачу в докладе нарекли packing. В рамках доклада выступало поочередно четыре человека. Сначала был рассказ про knowledge distillation в ранжировании: * упоминали две свои более старые работы — Bridging the Gap: Unpacking the Hidden Challenges in Knowledge Distillation for Online Ranking Systems и Zero-shot Cross-domain Knowledge Distillation: A Case study on YouTube Music * и как раз на KDD’26 у них вышла новая статья — Addressing Intent Dissonance in Cross-Domain Distillation on YouTube. Кто первый прочитает, напишите в комментариях что там :) Затем был раздел про анализ последовательностей: * упоминали нашу любимую Top-K Off-Policy Correction for a REINFORCE Recommender System, а также оригинальный YoutubeDNN, в котором впервые предложили next watch prediction * затем показали свою новую работу ClockRoPE: Random Fourier Rotations for Temporal Routine Modeling, в которой, как я понял, сделали time-aware RoPE, то есть учли время при анализе последовательности * и еще одну новую работу Tokens are All You Need: Dual-purpose Semantic IDs for Achieving LLM-Level I/O Efficiency in recommendation systems. Заменили в рекомендательной нейросети эмбеддинги на семантические айдишники Потом говорили про LLM x RecSys: * упомянули TIGER, а также статью про semantic IDs для ранжирования в YouTube, PLUM, STATIC * Token Factory: Efficiently Integrating Diverse Signals into Large Recommendation Models. Заменили в LLM семантические айдишники на эмбеддинги :) * LLM-Based User Personas for Recommendations at Scale. Используют LLM для exploration с помощью генерации новых для пользователя интересов * TokenMinds: Pretrained User Tokens and Embeddings for User Understanding in Large Recommender Systems. Делают семантический айдишник пользователя. У меня в этом году студент такую дипломную работу в бакалавриате вышки защитил)) Последняя, четвертая секция называлась Gemini Commercial Intelligence: * это как раз работы команды Derek Cheng, подарившей миру DCN-v2 * как и писал в прошлом посте, делают ИИ-ресерчера, который их заменит (ну и нас тоже, за компанию). Прикладываю статьи ниже * AgenticTagger: Structured Item Representation for Recommendation with LLM Agents * PACEvolve: Enabling Long-Horizon Progress-Aware Consistent Evolution * PACEvolve++: Improving Test-time Learning for Evolutionary Search Agents * также активно занимаются бенчмарками для этого ИИ-ресерчера. Статья Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory * еще делают модель, которая по набору товаров будет генерировать рекламу, в которой эти товары присутствуют. Звучит немного рандомно, но в тему коммерциализации укладывается 3. Был еще доклад от Федора Борисюка про эволюцию ранжирования в Линкедине. Подсвечу лишь статью Semantic Search At LinkedIn; вроде как это их главная работа про ранжирование на текущий момент. Федор, как всегда, первый автор :)

KDD’26, день третий. 1. Keynote от Джеффа Дина. Это один из гигантов области ИИ, стоящий у истоков большого числа различных исследований и разработок Гугла, которыми мы все с вами пользуемся. Он буквально придумал MapReduce, TPU, tensorflow, был соавтором word2vec, mixture of experts, knowledge дистилляции; делал первый нейросетевой машинный перевод. В последние годы лидил разработку Gemini. У него 426490 цитирований на google scholar. Пока текущий кейноут не залили на ютуб, можете посмотреть как в 2014 году он выступал на ACM RecSys с кейноутом Large Scale Machine Learning for Predictive Tasks. На сегодняшнем кейноуте сначала был экскурс в его основные околонейросетевые работы, про которые писал выше. А еще: * оказалось, в своем диссере из 90-х он уже занимался нейросетями — скейлил обучение до 32-х процессоров. Потом продолжил тем же самым заниматься в Гугле :) * забавный факт — статью про knowledge distillation (ту самую, с Хинтоном в соавторах) — реджектнули на Neurips со словами “это никому не понадобится”)) Затем рассказывал про свой уход из Гугла — как объявлял на всю компанию что уходит; что очень много людей пришли на прощальную вечеринку, все не поместились в Гугл кафешке; что было очень много прощальных писем, он пытался на них все ответить, но не получалось, но он пытался, но не получалось... Сходил на йогу, поиграл в футбол, возможно всплакнул. И, наконец, рассказал про свою новую компанию Discovery Loop: * jсновная идея — автоматизация типичного экспериментального пайплайна “propose experiment -> implement and run -> evaluate” * К вопросу подходят масштабно — предполагается, что запускаться будет очень большое количество экспериментов, их результаты (и отрицательные, и положительные) будут использоваться агентами на следующей итерации экспериментов. Ожидается, что при должном масштабировании это приведет к большому количеству научных прорывов * Сначала фокусируются на digital областях, в которых эксперименты не требуют доступа к физическому миру * Приводил как пример масштабного запуска экспериментов разработку Gemini, в которой одновременно принимали участие тысячи людей, и мерджили результаты экспериментов в единую модель Еще было немного про кодинг: * сейчас происходит следующий, еще больше верхнеуровневый этап программирования: ассемблер, C++, Python, а теперь — делегирование задач агентам * по мнению Джеффа, агенты нас не заменят, а сделают продуктивней (ага, ага) 2. Вообще, сегодня я хорошенько прочувствовал, что агенты становятся основным трендом в рекомендательных технологиях. Семантические айдишники и генеративные рекомендации, конечно, это все еще очень горячая тема, про которую большие компании трубят из каждого угла; но уже появилось четкое ощущение, что самые передовые ребята занимаются агентами, а большие компании просто как всегда не поспевают за прогрессом. Чуть более конкретно: * пообщался с Derek Chang (руководителем команды в Google DeepMind, в которой придумали DCN-v2). Раньше его команда помогала различным сервисам Гугла (в первую очередь рекламе) делать рекомендательные технологии — придумывали архитектуры нейросетей, работали над эффективностью, etc. А теперь они делают агента, который их заменит)) Буквально занимаются посттрейнингом LLM * Артёму @nxt_item стажер из команды onerec-think/onereason Куайшоу сказал, что сейчас у них половина команды занимается проектом Агент X, суть которого буквально такая же — создать ИИ ресерчера, который их всех заменит В общем, тренды страшные. Мы все призадумались; на постерной сессии полчаса стояли в кружке и пытались осмыслить надвигающийся экзистенциальный кризис. Если еще посты Игоря @seeallochnaya про ситуацию с OpenAI агентами почитать, то совсем страшно. 3. Также сегодня была вторая постерная сессия (вчера industry track, сегодня research), ее я провел в основном возле статьи A Unified Language Model for Large Scale Search, Recommendation, and Reasoning от Spotify, про которую в этом году уже даже на лекциях рассказывал!) На этом всё. Следующий пост за меня будет писать уже агент

KDD’26, день второй. 1. Personalized Intelligence Workshop — про персонализацию агентов. Над какими проблемами думают: * как тюнить персонализацию не на один шаг, а на большой горизонт времени * память. Что и как нужно сохранять в памяти; и что нужно наоборот забывать * оценка качества. Как оценивать персонализацию агентов тоже пока никто не понимает) Было выступление от James Caverlee — Personalization in the Agentic AI Era: Opportunities and Challenges. Как я понял, он много где выступает с похожим рассказом, и каждый раз у аудитории спрашивает “Кто считает, что мы достигнем agi в ближайшие пять лет?”: * в нашей аудитории получилось, что где-то 10% считают, что да * в феврале на WSDM — где-то 15%-20% * на computer science graduate курсе, который он преподает, 0% студентов считают, что да * в Google Deepmind — 75% Ну то есть у студентов и ресерчеров из GDM совершенно противоположный настрой)) Потом была цитата от Jimmy Lin: “We’re all fucked”. И еще цитата, что “Only 100 people in the whole world matter. And they are working at Anthopic and Moonshot AI” Говорил, что old-school recsys, когда мы на типичных академических бенчмарках типа мувиленза растим HR и NDCG, уже никому не нужен. Что сейчас надо думать про агентную персонализацию. Приводил примеры, в стиле что пользователь просит агента помочь продвинуться в ближайшие пять лет в карьере / научиться играть на гитаре “Yesterday” за месяц / уменьшить потребление энергии в доме / подобрать хорошую тропу для скалолазания на Чеджу. Еще говорил, что очень важна мультимодальность — агент, который пытается помочь человеку, должен видеть (как минимум распознавать все предметы в окружении человека) и слышать (понимать насколько он нервничает и тд). 2. AdKDD — наверно, главный воркшоп по рекламе среди всех ML конференций. Я не смог на него пролезть. Уверен, что на других каналах вам про него расскажут)) 3. На открытии конференции сразу рассказали про выручку — сколько получили денег со спонсоров и с регистраций (см фотографии). Но при этом вообще ничего не сказали про самое интересное — как участники / авторы статей распределены по странам. А еще, внезапно test of time award выиграл Xgboost! 4. Постерная сессия была огромная (кажется, 700+ постеров), но при этом длилась она всего два часа. Я все это время простоял возле Аргуса, поэтому про остальные индустриальные постеры вам расскажут тоже на других каналах)) Подошел разработчик из Куайшоу, внимательно прочитал постер, по-английски не разговаривал. С разработчиком из Naver сошлись на том, что Naver — корейский Гугл, а Yandex — русский)) Еще автор CLUE попросил сфоткаться Что еще: * сейчас уже думаю, что русскоязычных участников 100+ * у ребят из Т-Банка приняли на CIKM 3 статьи! И еще и на RecSys что-то приняли! Очень круто * всегда хотел записывать на канал кружочки, начиная с фразы “Здравствуйте, дорогие подписчики”. Момент настал * завтра день начнется с выступления Jeff Dean :)

KDD’26, день первый. На конференции собралась индустриальная тусовка — приехали ключевые рекомендательные команды из вообще ВСЕХ больших компаний. 1. Сходил на первую половину Tutorial on Generative Recommendation: Foundations and Frontiers от Kuaishou и City University of Hong Kong. Выделили два (будущих?) тренда: * если изначально все использовали encoder-decoder модели для генеративного ретривала, потому что в них было удобно впихивать богатый контекст; то сейчас двигаются в сторону decoder-only моделей, которые лучше скейлятся * диффузионные подходы, при которых мы предсказываем сразу все семантические токены целевого айтема — очень перспективное направление, которое позволяет избавиться от аккумуляции ошибок при авторегрессивной генерации токенов После кофе-брейка я на туториал не вернулся, потому что: * были супер энциклопедические слайды, на которых просто перечислялось много статей по паре минуток каждая, очень поверхностно, без инсайтов, с неточностями * при этом не было живого рассказа - весь текст просто зачитывался. Надеюсь, потом выпустят с этим текстом техрепорт)) Ну а если серьезно, то проще потом слайды полистать, наверняка какие-то инсайты все-таки будут ближе к концу рассказа 2. Пообщались с Федором Борисюком. Когда возле него осталась только наша русская компашка, Федор сам первый перешел на русский язык :) Что рассказывал: * если я все правильно понял, он сейчас руководит тремя командами. Что-то возле поиска и рекомендаций * статьи пишут по выходным. К процессу привлекается большое количество коллег. Федору просто нравится писать статьи и прокачивать репутацию, а у коллег есть мотивация участвовать как минимум чтобы получить грин-карту)) * сам Федор сторонник того, чтобы на работе со всеми уважительно и дружелюбно обращаться, налаживать хорошие отношения. И максимально коллаборироваться, делать совместные проекты. Но говорит, что это иногда приводит к плохим последствиям, во время политических игрищ * у него всегда часть проектов долгосрочные, а часть краткосрочные. Долгосрочным как правило занимается небольшая команда из 2-3 человек. Если проект планируется на год-полтора (больше бизнес вряд ли вытерпит), то расставляются майлстоуны на каждые полгода с оффлайн-метриками * если попался плохой руководитель, то надо просто ротироваться и не мучаться :) * через полтора месяца должен быть дроп крутой новой статьи от Линкедина 3. Воркшоп Two-sided Marketplace Optimization: Search, Discovery, Matching, Pricing & Growth. Было выступление от Director of Research @ Spotify, Paul Bennett — From User Needs to Ecosystem Design: How AI Is Reshaping Discovery. Рассказывал про разные сценарии, в которых применяют LLM: * steerable recommendations — тюнят модель с помощью контрольных токенов выдавать familiar (пользователь уже взаимодействовал с подкастом >10 минут за последний месяц) и unfamiliar (обратная ситуация) контент в рекомендациях. Похоже на мою идею с обуславливанием, про которую рассказывал на Turbo ML Conf 2025 * Intent-aware search — в поиске есть разные сценарии; иногда нужно просто включить рекомендации с какими-то настройками, иногда запустить реальный поиск, иногда просто найти артиста, иногда что-то еще. LLM можно использовать как router, который определяет в какой api (recs/search/etc) нужно отправлять запрос * Conversational discovery — часто пользователь сначала сам не понимает какие ему нужны рекомендации; и только в процессе взаимодействия с рекомендательной системой начинает понимать чего все-таки хочет. И для этого как раз multi-turn диалог, в котором он может и промежуточные рекомендации получить, и пообщаться с рексистемой 4. Что еще: * на конференции 70+ русскоговорящих участников, это очень много. Много людей со статьями, а еще есть студенты с ИИ360 программы. Жутко им завидую, меня бы кто на первом-втором курсе на конференцию отправил! Говорят, что ничего непонятно, но все очень вдохновляет) * все офигевают от джетлага * даже в Линкедине (!) разработчики слушают наш DeepRecsys курс :)

Предлагаем вам окунуться в атмосферу постерной сессии

В преддверии KDD’2026 на Чеджу была обнаружена весьма солидная делегация

Готовлюсь к KDD