что-то на DL-ском

Очень большой репозиторий с огромным множеством книг по программированию на разных языках (русский тоже есть!!) по какому топику не пожелаешь Тык 🙂

Карина Романова — Retrievalrevsys модификация архитектуры для учета текста в персональных рекомендациях 💬 В диких ягодках жутко хайпуют на Deep Structured Semantic Models для рекомендаций. ➡️ DSSM позволяет выполнять семантическое сопоставление пользователей с их историей покупок (или с другими эмбедами, как я понял, будь это графы, картинки, тексты и тд), что повышает релевантность рекомендаций. Однако у исходной архитектуры DSSM есть свои ограничения. Например, она может сталкиваться с проблемой переобучения при использовании новых данных и с нехваткой данных для обучения моделей с нуля. Также процесс внедрения текстовых данных в DSSM может быть весьма ресурсозатратным. Чтобы преодолеть эти ограничения, была предложена новая универсальная архитектура для рекомендательных систем. Этот подход включает в себя несколько этапов: кодирование пользовательских данных, истории товаров и интеграцию шумовых данных для улучшения обучения и выводов. Основная цель модели — отображение пространства между профилями пользователей и пространством товаров, что позволяет предоставлять более точные и релевантные рекомендации. Важно отметить, что качество данных играет критически важную роль в успешной работе системы. Фраза "мусор на входе — мусор на выходе" подчеркивает необходимость использования чистых и релевантных данных для достижения высоких результатов. Токенизация, включающая разбиение текста на последовательности токенов, является важным процессом для обработки текстовой информации в модели. ⭐ Ну и одна из интересных вещей, которой болеют на маркетплейсах это — дедубликация.

В рамка DataFest рассказала сегодня как делать рекомендательные модели на основе только текста без id пользователей или товаров. Закину презу и в канал. Спасибо всем за вопросы и положительный фитбек. Было очень много интересных людей, вопросов, обсуждений, а также мне ДАЛИ ОЧЕНЬ КРУТУЮ ЛЯГУШКУ в виде мягкой игрушки за выступление, чему я безумно рада Посмотреть запись сегодняшней трансляции тоже можно туть

​​Anthropic: Mapping the Mind of a Large Language Model Anthropic выпустил новую статью/блогпост - про то, как "думает" Claude Sonnet. Из среднего слоя модели извлекли фичи и стали их визуализировать и анализировать. Нашли группы признаков, относящимся к разным понятиям - городам, людям, научным понятиям и так далее. Было и более абстрактного - типа гендерного bias или багов в коде. Но просто увидеть это - не так интересно, прикольно то, что они смогли "манипулировать" этими признаками. Условно говоря, можно повысить признак веса "Golden Gate Bridge", и модель будет значительно чаще говорить про него, даже когда вопрос вообще никак с ним не связан. А теперь к любимой теме Anthropic - к безопасности и alignment. Один из найденных признаков отвечает за понимание скама/развода в письмах. Обычно модель отказывается генерить письма со скамом, но если увеличить вес этой "фичи", модель без проблем будет заниматься разводом лохов :) Польза в том, что можно подавлять подобные "плохие" темы и улучшать безопасность модели - делать модель менее социопатичной, "отключать" ответы на определенные темы и так далее. Правда, боюсь, что с тем же успехом можно делать и обратное - двигать какую-нибудь повестку, рекламировать товары или просто отстаивать какую-то точку зрения. Желающие могут почитать подробности в блогпосте или в детальной статье с кучей клёвых визуализаций и инсайтов. #datascience

Bend. A massively parallel, high-level programming language. Репозиторий, который предназначен для запуска параллельного выполнения без необходимости явно управлять потоками и синхронизацией Огромное преимущество Bend заключается в том, что он автоматически распараллеливает любые независимые вычисления, обеспечивая почти линейное ускорение производительности пропорционально количеству ядер. При этом можно присать код как для последовательного выполнения, не заботясь о низкоуровневых деталях параллелизма. Пользуйтесь 🤗 Статья 📖

Основано на боли 😢

Содержательная статья на Хабр, в которой проводится экскурс по базовым подходам к рекомендательным системам. Жмак читать 🫵

Наверняка все читали в какой-нибудь базе по типу scaling laws о том, что слишком маленькой моделе нельзя скармливать слишком много токенов при обучении, так как качество начнет падать. Эта задача оказывается называется "softmax bottleneck". Впервые проблема поднимается в статье 2018 года. В LM есть финальный слой, который преобразует внутренние представления текста в распределение вероятностей для следующего слова. Этот слой представляет собой матрицу весов, которая умножается на вектор внутренних представлений. Оказалось, что по мере обучения распределение сингулярных значений этой матрицы весов (своего рода масштабы, характеризующие матрицу) начинает выравниваться. То есть все сингулярные значения становятся примерно одинаковыми. Но затем, для небольших моделей, это распределение резко меняется - появляется одно очень большое сингулярное значение, а остальные становятся маленькими. И это совпадает с тем моментом, когда качество модели перестает улучшаться. Авторы работы предположили, что это связано с фундаментальным ограничением размерности языковых данных. Они попытались оценить, какой максимальный "ранг" (связанный с числом больших сингулярных значений) может иметь эта финальная матрица весов. Для этого они поставили обучение с ограниченным рангом на фиксированных внутренних представлениях от больших предобученных моделей. 💐Оказалось, что качество сильно падает, если ранг слишком мал (<1000). Вот и новый вектор исследования для индустрии. Может «убийцей трансформера» сможет стать именно архитектура, которая преодолевает ограниченность внутренней размерности?🤔 📖Статья

#новости 🤨 Google выкатили новинки На выставке I/O в этом году Google было чем поделиться: от новых функций ИИ до обновлений Android. Из главного: 🔸 Представили Veo — «ответ Google на Sora». Модель выдает видео 1080p. 🔸 Показали новую text-to-image модель Imagen 3. 🔸 Анонсировали мультимодальную версию Gemini Nano для распознавания изображений, звуков и речи. Ее встроят в следующую версию Chrome. 🔸 Выкатили улучшенную Gemini 1.5 Pro. 🔸 Представили Gemini 1.5 Flash — новую мультимодальную модель, которая легче, чем Gemini Pro. 🔸 Представили Google Project Astra — мультимодальный ИИ-ассистент, который, как надеются в компании, станет виртуальным помощником «на все случаи жизни». 🔸 Анонсировали ИИ-поиск и возврат товаров с помощью ИИ. Многие проанонсированные новинки пока недоступны для пользователей. 📹 Главное из презентации (17 минут) 📹 Вся презентация (1 ч 52 мин) #stpnv #AI #Google