PyMagic

Zero-shot 0️⃣ Zero-shot подходы набирают популярность в разных областях, а конкретно сегодня поговорим про пример в NLP! Что же такое Zero-shot обучение? Это метод, позволяющий машинным моделям, обученным на определенном наборе данных, распознавать, обрабатывать и классифицировать новые объекты, которые не были представлены в обучающих данных. Такой подход опирается на информацию о свойствах самих объектов. Примеры применения: - Классификация текстов - Определение тональности текста - Классификация изображений по новым категориям - Детекция новых объектов - image-to-text Рассмотрим пример применения Zero-shot обучения для классификации текста. Возьмем предобученную модель xlm-roberta-large-xnli и используем библиотеку transformers:

from transformers import pipeline

classifier = pipeline("zero-shot-classification", model="joeddav/xlm-roberta-large-xnli")

sequence_to_classify = "Zero-shot подходы набирают популярность в разных областях, а конкретно сегодня поговорим про пример в NLP!"
candidate_labels = ["маркетинг", "анализ данных", "искусственный интеллект", "финансы"]

result = classifier(sequence_to_classify, candidate_labels)
result

{'sequence': ....,
 'labels': ['искусственный интеллект',
  'анализ данных',
  'финансы',
  'маркетинг'],
 'scores': [0.9305701851844788,
  0.04775344580411911,
  0.011018229648470879,
  0.010658127255737782]}

В Zero-shot подходе модель должна определить, к какому классу относится данный объект, не опираясь на предварительное обучение на этих классах. Поэтому для задачи классификации необходимо передать модели возможные классы, среди которых она должна выбрать наиболее подходящий. В данном случае модель распознала, что текст больше относится к классу ИИ с вероятностью 0.93

Полный гайд по IT-профессиям 👨‍💻👩‍💻🫡 Представить сейчас себе свою жизнь без телефона, компьютера и интернета практически нереально. IT очень плотно интегрировалось в нашу жизнь, мы постоянно сталкиваемся с различными проектами и продуктами, которые используют информационные технологии под капотом. Чем активнее мы пользуемся такими продуктами, тем выше спрос на них, и тем больше новых разработок появляется на рынке. Естественно, для создания и поддержки этих продуктов необходимы ресурсы - специалисты, разбирающиеся в соответствующих технологиях. В ролике рассмотрела самые востребованные на текущий момент ИТ-специальности, а также навыки, которыми необходимо обладать для успешной работы в каждом из направлений. P.S.: в видео найдете профориентационный тест 🤪 Мы уже успели его опробовать на фокус-группе, результат очень и очень показательный) https://youtu.be/wHSICcrkxmg

🔥Распродажа курсов 🔥 Всем привет! Сегодня у нас стартует масштабная распродажа всех курсов СКИДКА 50% 🚀 Машинное обучение с каждой неделей набирает обороты все больше и больше, каждую новую неделю выходит какая-нибудь да более крутая модель на основании архитектуры Transformers, честно, уже сама за новинками не успеваю 😉 Чтобы изучить базу и запрыгнуть в последний вагон AI, перед тем, как он ускорится еще больше, у нас есть специальная программа по NLP, где вы будете проходить как простые модели, начиная от регулярок, TF-IDF и пр., до Transformer моделей. Ну и конечно +3 практических больших задания и несколько кейсов на Python из реальной работы. А если ты уже в Grandmaster в ML и AI, но еще не в production, то у нас есть две программы: - MLOps - разбираем как деплоить ML-модель при помощи Docker, FastAPI, а также мониторить модель и ставить ее на расписание - Advanced MLOps - выходим на новый уровень и уже разворачиваем свой кластер, разбираемся с Kubernetes, Terraform, Kafka и все это связываем в единый проект ✅Промокод HAPPYJUNE Действителен до 8 июня. Можно применять как на сайте pymagic, так и вводить при покупке курсов по MLOps на образовательной платформе.

Wildberries на Data Fusion 2024 17 апреля Евгений Иванов, Lead RecSys ML Engineer, выступил с докладом «Развитие персональных рекомендаций на главной странице Wildberries» на Data Fusion 2024 🎙

Data Fusion 2024 — масштабная конференция в области анализа больших данных и технологий ИИ. Это два дня практических кейсов, докладов и дискуссий, 5 треков и более 300 спикеров.

Презентация доклада в кейс-сессии «Рекомендательные системы» доступна по ссылке 🌐 Кстати, узнать больше о рекомендательных системах в WB можно в Telegram-канале WildRecSys 🔥

Вы меня недавно спрашивали, а есть ли где то глянуть запись выступления про персональные рекомендации в WB, к сожалению, у нас осталась только презентация. Но поверьте, она бомбическая. Просто откройте и посмотрите 🤗

А что с бустингами? 💫 Продолжаем серию практических постов: когда и какие алгоритмы применять. Плавно мы перешли к ансамблям, а если быть точнее, то к градиентному бустингу. Как правило, под градиентным бустингом подразумевают набор слабо обученных деревьев, хотя по идее вы вообще можете использовать в таком ансамбле хоть линейную модель, но не суть. Каждый последующий алгоритм в бустинге пытается уменьшить ошибки предыдущего. Для собеседования очень рекомендую все же разобраться - где же градиент в градиентном бустинге 😉 Бустинги по сей день очень популярные алгоритмы. Есть несколько реализаций бустингов: LightGBM, CatBoost и пр. Чаще всего используют реализацию CatBoost от Яндекса. На моей практике хорошо также работает и LightGBM от Microsoft, но он обладает меньшим количеством удобных плюшек. Бустинги применяются везде: и в задачах классификации, и в задачах регрессии, и даже в ранжировании. Они по сей день очень популярны, несмотря на развитие глубокого обучения (DL). Когда их применять: - Когда данных больше ~10 тыс. (эмпирическая оценка), иначе может легко переобучиться, нужно еще смотреть на структуру данных - Когда связи в данных нелинейные - Когда в данных есть пропуски (этот пункт лучше сочетаются с другими пунктами) - Когда мощностей недостаточно для DL, но и не так мало, чтобы использовать только линейные модели - Когда бизнес хочет интерпретируемости: доверяет уже хотя бы бустингам, но для нейронок еще не созрел - В комбинации с другими алгоритмами: в стекинге, блендинге. К примеру +4 бустинга в качестве модели первого уровня, а на 2ом уровне идет линейная модель - А вообще почти всегда, если это не картинки/текст/сущности, отличные от табличных данных (хотя CatBoost умеет работать с текстом). Можно попробовать использовать с простыми векторизаторами текста аля TF-IDF, но опять же по опыту лучше нейронки Фух! достаточно большой списочек получился! Жду ваших 🔥 и напишу про DL модели (предвкушая возгласы, да, там не все просто, поэтому будет целая серия постов)

Не так давно (относительно) я начала работать в Wildberries 🫐 Для меня было большим открытием, что очень много моделек в проде, причем и технологии используются достаточно продвинутые и сами подходы. SOTA-решения в проде тут - это норма 🤖 И мне было обидно, что ни про людей, ни про команды, ни про сами модельки нигде не написано. Компания в этом плане была достаточно закрытой, соответсвенно это порождало кучу странных домыслов, которые сейчас можно прочитать в комментах в том же slack. Мы начали решать данный вопрос, в том числе за это я и отвечаю в компании, а также за многие другие задачки (как-нибудь о них напишу позже). Из недавнего: - Женя Иванов выступил на Data Fusion с классным докладом про персональные рекомендации в WB 🚀 - Сегодня выступает Степан Евстифеев на I’ML про поиск по фото и выделение главного объекта 🔥 Впереди у нас предстоит выступление на ODS Data Fest! И там набралась внушительная и серьезная команда 💪 Чтобы побольше почитать о нас и быть в курсе всех событий, подписывайтесь на WB Space Там мы будем выкладывать как сами выступления, так и презенташки с супер полезными материалами! Ну и конечно будем рассказывать как на самом деле устроен ML в WB 😉

Находим работу после курсов когда 100500+ человек на место 🙀 Вообще, я бы уже поспорила с названием этого поста, потому что у меня как правило есть вопросики к 99% из 100500 кандидатов. Все ли из них могут претендовать на позицию в DS? Проблема поиска работы без опыта всегда была и будет актуальной. Возможно, кто-то скажет, что сейчас она стала острее. На своем опыте скажу, что данная проблема будет достаточно острой, если вы совершаете из раза в раз несколько грубых ошибок. Из 100500 кандидатов не может быть 100% супер умных, заряженных, с идеальными пет-проектами и пр. Вспомните свои примеры из школы: у вас из класса сколько было отличников и золотых медалистов? А когда ходили на спортивную секцию: сколько из ребят были мастерами спорта? Аккуратнее относитесь к цифрам и смотрите новый ролик про работающие инструменты для поиска работы в IT ⬇️ https://youtu.be/l0bAJdcyLEU

Пока мы все ждём ChatGPT 5, Сем Альтман готов в понедельник представить обновления для 4ой версии. Написал, что будет какой-то magic, прям как часть названия нашей группы 🔮 Ставьте себе в рабочий календарик встречу с OpenAI на понедельник 13 мая в 20 часов по МСК, чтобы вдруг никто не забил важное время ☑️ https://openai.com

В каких случаях использовать деревья решений? 🎄 Само по себе дерево решений принято считать слабым алгоритмом. Да, благодаря своей иерархической структуре мы можем как бы воссоздать if-else, отойти от линейных закономерностей и посмотреть чуть дальше, но Decision Tree обладает главным недостатком - overfiiting. И даже если, мы попытаемся сделать дерево чуть меньшей глубины, то оно перестанет улавливать сложные зависимости, а если глубоким (так как хотим учесть многие нюансы), то оно через чур подгонится под обучающую выборку и не будет обладать обобщающей способностью. 📌Из этого можно отметить следующие моменты, в которых как раз таки дерево решений подойдет: - Для образовательных целей, когда есть небольшой датасет - Когда важна интерпретация модели (только так и больше никак), когда бизнесу понятна иерархия - И все 🙃 Как правило спектр применения Decesion Tree очень ограничен, НО знание как такой алгоритм устроен изнутри, даст вам огромное понимание других алгоритмов на основании деревьев.