Data Secrets

Ищем автора эталонного кода! 💎 Если вы уверены, что вашему коду подходит звание «Эталонный», а вам — звание «Автор самого красивого кода», то приглашаем принять участие в Конкурсе красоты кода 2.0 и выиграть классные призы от Сбера: iPhone 16 и умную колонку SberBoom. Опытные эксперты определят победителей в пяти категориях: Backend, Frontend, DevOps, AI и Mobile, — а награждение пройдёт на ключевом IT-событии HighLoad в Москве, 2 и 3 декабря. Больше 40 участников прошлого конкурса стали частью команды Сбера. Возможно, следующим станете именно вы — переходите по ссылке и изучайте подробности!

Tesla показала нового робота Optimus В целом, изменилось мало что: роботы все так же ходят, машут, танцуют. Единственное: в этот раз некоторых из них еще поставили в качестве барменов за стойку, но о том, что при этом они управляются людьми, опять тактично умолчали... В продажу обещают к 2027 году (чему, зная Маска, не очень-то стоит верить). Роботы будут стоит 20-30 тысяч долларов и смогут справляться со всеми бытовыми задачами, интегрируясь с системами умного дома.

Все, это последний, обещаем

На Kaggle закончилось соревнование, в котором нужно было предсказывать пользовательские предпочтения Это именно те предпочтения, которые определяют места моделей на Арене. Кстати, Kaggle как раз и проводила соревнование вместе с LMSYS. Разборы решений победителей уже выложили на YouTube и в виде райтапа вот здесь. Что там было интересного: ⚙️ Среди используемых моделей внезапно лучше всех оказалась способна понимать человеческие предпочтения Gemma-2-9b ⚙️ Среди тех участников, кто использовал модели побольше, наиболее успешные решение получились у тех, кто использовал дистилляцию ⚙️ Многие также использовали специальные Reward/ranking модели вместо базовых или instruct: они оказывались эффективнее ⚙️ Псевдо-лейбелинг снова показал себя как главный инструмент победителей ⚙️ Выигрышной стратегией оказалось усреднение оценок нескольких LoRA Вот так как-то, принимаем к сведению 🔑

Вопросы, которые нельзя задавать

Кстати, смотрите, какой супер-симпатичный гайд The Nobel Prize подготовили по статье про AlphaFold Блогпост полностью можно почитать здесь

Новая аналитика от любимых Epoch AI: с 2022 Nvidia продала около 3 млн GPU H100 💵 При этом большинство продаж пришлось всего на 4 комапнии: Google, Microsoft, Meta и Amazon (не удивляйтесь, что тут нет OpenAI: они арендуют компьют у Microsoft). При этом все перечисленные гиганты дополнительно разрабатывают собственные чипы, которые, правда, в основном не продают, а просто используют внутри компании или сдают в аренду в облаках.

Завершаем марафон мемов по нобелевке этим шедевром

Крутая статья от Microsoft: Differential Transformer Трансформеры склонны аллоцировать внимание на нерелевантный контекст (в статье это называют шумом), и это приводит к проблемам с извлечением информации и, как следствие, к галлюцинациям и потерям в точности. Это известная проблема. Microsoft предложили изящное решение: вместо одной attention мапы они создают две, дублируя keys и queries, а затем легким движением руки... вычитают их друг из друга, тем самым нивелируя шум в attention scores. Такой подход сразу повышает аттеншен к релевантным деталям: эксперименты показали, что трансформеры с таким diff вниманием лучше обычных справляются с задачами на длинном контексте (вроде известной задачи иголки в стоге сена). Кроме того подход еще и уменьшает количество выбросов в активациях модели, что упрощает ее квантование. Статья полностью – здесь

⁉️ Открытый урок «Методы сегментации в рекомендациях»  🗓 17 октября в 20:00 МСК 🆓 Бесплатно. Урок в рамках старта курса «Рекомендательные системы» от Otus. На вебинаре разберем:  ✔️ как использовать RFM-анализ, методы кластеризации и look-a-like моделирование; ✔️ как применять аналитические и машинные методы для сегментации клиентов; ✔️ примеры практического применения этих методов в реальных задачах. 🔗 Ссылка для регистрации на урок: https://otus.pw/U6es/ #реклама О рекламодателе

Forbes: аналитики предсказали, что Microsoft выкупит OpenAI в течение трех лет Эксперты объясняют это тем, что скоро хайп вокруг ИИ начнет спадать, и инвесторы уже не будут так щедры. Тем временем стартапам нужно будет все больше и больше денег, которых у них самих не хватит. В итоге крупные компании, для которых ИИ имеет большую ценность (такие как Microsoft и Amazon) начнут скупать успешные стартапы вроде OpenAI и Anthropic. Вот это поворот...

Нобелевкой по физике дело не кончилось и нобелевку по химии тоже получили машинлернеры Ее выдали Демису Хассабису и Джону Джамперу из Google за модель AlphaFold2 для предсказания структуры белка

Кстати, история знакомства Хинтона и Суцкевера была хрестоматийной. Вот как об этом рассказывал сам Хинтон:

«Это случилось в моем кабинете, в выходные. В дверь очень нетерпеливо постучали и вошел молодой студент. Он сказал, что все лето жарил картошку фри, но теперь предпочел бы работать в моей лаборатории. Я спросил: «Почему же ты не записался, чтобы поговорить со мной?», на что он ответил «Хорошо, могу я записаться на сейчас?». Это полностью отражает характер Ильи. Мы поговорили и я дал ему прочитать статью про обратное распространение ошибки. Он пришел через неделю и сказал, что ничего не понял. Я был разочарован и сказал ему, что там нет ничего сложного, это просто цепочка вычислений. От ответил: «О, нет-нет, это я понял. Я не понял, почему вы не используете разумный оптимизатор для градиентов». Над этим вопросом я думал следующие несколько лет. »

Делимся полезным контентом по ML: выложили доклады с Practical ML Conf 2024 Отдельно рекомендуем посмотреть доклад Саввы Степурина — старшего рексис разработчика в Яндекс Музыке. Тема была по-настоящему горячая: как рекомендовать незнакомый контент. Любые крупные рексис с этим сталкиваются, и Савва понятно разложил, как можно перейти от обычных фильтров на отдельные модели отбора кандидатов и ранжирования. В конце у доклада приятная плюшка – универсальные неочевидные советы "Как улучшить вашу рексис": например, оказывается, что для пользователей чувство серендипности — ключевое, и поэтому обязательно стоит увеличивать вес незнакомого контента. Вот еще парочка интересных тем докладов, которые советуем посмотреть самостоятельно: ⚙️ Как обучить LLM работе с кодом. Доклад руководителя ML-лаборатории в Yandex Platform Engineering с занятными деталями о том, почему исследователи решили предсказывать стейтменты и как это повысило результаты онлайн-метрик качества. ⚙️ Как создавался Нейро — поиск на основе ИИ. Рассказали все про то, как обучали модель, выбирали архитектуру, боролись с отморозами и галлюцинациями, а также подискутировали про будущее поиска. ⚙️ Как в в Яндекс Книгах появился «Виртуальный рассказчик» — нейронная сеть для синтеза аудиокниг. Особенно интересно послушать про то, как в системе внедряли длинный контекст в low-resource real-time модель, и при чем тут диффузионки. А еще были крутые доклады про бенчмаркинг, синтетические данные, оптимизацию RAG-систем, VLM и, конечно, рексис. В общем, такое однозначно смотрим.

Новоиспеченный Нобелевский лауреат Джеффри Хинтон и его прозрачные намеки «Я горжусь тем, что один из моих студентов уволил Сэма Альтмана» – невозмутимо заявил он 😁

LLM знают больше, чем показывают: исследование ученых из Техниона, Google Research и Apple Оказывается, языковые модели в своих representations слоях (имеются в виду слои эмбеддингов) энкодят гораздо больше информации о "правдивости" ответов, чем затем выплевывают в генерации. Другими словами, модель знает больше, чем говорит: в том числе она как бы может знать, что неправа, или даже знать правильный ответ, но при этом все равно болтать чепуху. Самое интересное: информация о правдивости (в статье это называется truthfulness information) содержится в определенных токенах. К тому же, ученые доказали, что можно предсказать "тип" ошибки, которую выдаст модель, опять же по ее внутренним representations. Они даже обучили классификатор на такую детекцию. Точность получилась вполне приемлемая. Статья полностью – тут

В Твиттере реагируют незамедлительно 👆 Кстати, многие всерьез недовольны новостью: мол, «при чем тут физика». А вы как считаете?

Нобелевскую премию по физике в этом году вручили за открытия в области ИИ – и не кому-нибудь, а Джеффри Хинтону и Джону Хопфилду Джеффри Хинтон – это один из соавторов статьи про метод обратного распространения ошибки и наставник Суцкевера. Хорфилд – изобретатель ассоциативной нейросети. Оба они считаются отцами ML. Премию вручили за основополагающие открытия в области ML и искусственных нейронных сетей. Где-то плачет один Ян Лекун

Для тех, кто давно хотел разобраться с тем, как устроена архитектура MoE Автор книги Hands-On LLM выпустил гайд в картинках, где на пальцах очень подробно объясняет, как работает Mixture of Experts (в частности две ее основных составляющих: роутер и эксперты). Кроме того, в разборе раскрыты и практические детали. Например, написано про важность балансировки и MoE для vision моделей. Так что такое читаем!

За последний месяц произошел какой-то бум опенсорса. Сами оцените, вот краткая сводка: ➡️ NVIDIA релизнули Nemotron 51B, NVLM 1.0 (мультимодальную), OpenMath, Nemotron Reward, RADIO ➡️ Llama 3.2 – первая VLM от Meta. Кроме того, компания дропнула SAM 2.1 и CoTracker 2.1 ➡️ Molmo от AllenAl, очень впечатляюще ➡️ Emu3 от BAAI: моделька полностью на next token prediction, умеет работать с видео/картинками/текстом как на вход, так и на выход ➡️ Даже OpenAl в стороне не осталась: компания выложила веса для модельки транскрибирования аудио whisper 3 ➡️ И это не все: еще Google обновили Gemma для японского, Apple релизнули Depth Pro, IBM вместе с NASA выкатили Prithvi WxC для прогнозов погоды, у ColQwen2 вышел visual retriever на основе Qwen2-VL и ColBERT, и конечно мы увидели новую Llava Красивое 🤩