PyMagic

Не так давно (относительно) я начала работать в Wildberries 🫐 Для меня было большим открытием, что очень много моделек в проде, причем и технологии используются достаточно продвинутые и сами подходы. SOTA-решения в проде тут - это норма 🤖 И мне было обидно, что ни про людей, ни про команды, ни про сами модельки нигде не написано. Компания в этом плане была достаточно закрытой, соответсвенно это порождало кучу странных домыслов, которые сейчас можно прочитать в комментах в том же slack. Мы начали решать данный вопрос, в том числе за это я и отвечаю в компании, а также за многие другие задачки (как-нибудь о них напишу позже). Из недавнего: - Женя Иванов выступил на Data Fusion с классным докладом про персональные рекомендации в WB 🚀 - Сегодня выступает Степан Евстифеев на I’ML про поиск по фото и выделение главного объекта 🔥 Впереди у нас предстоит выступление на ODS Data Fest! И там набралась внушительная и серьезная команда 💪 Чтобы побольше почитать о нас и быть в курсе всех событий, подписывайтесь на WB Space Там мы будем выкладывать как сами выступления, так и презенташки с супер полезными материалами! Ну и конечно будем рассказывать как на самом деле устроен ML в WB 😉

Mostrar todo...

👍 30🔥 16❤ 3🤯 2🤩 1

Находим работу после курсов когда 100500+ человек на место 🙀 Вообще, я бы уже поспорила с названием этого поста, потому что у меня как правило есть вопросики к 99% из 100500 кандидатов. Все ли из них могут претендовать на позицию в DS? Проблема поиска работы без опыта всегда была и будет актуальной. Возможно, кто-то скажет, что сейчас она стала острее. На своем опыте скажу, что данная проблема будет достаточно острой, если вы совершаете из раза в раз несколько грубых ошибок. Из 100500 кандидатов не может быть 100% супер умных, заряженных, с идеальными пет-проектами и пр. Вспомните свои примеры из школы: у вас из класса сколько было отличников и золотых медалистов? А когда ходили на спортивную секцию: сколько из ребят были мастерами спорта? Аккуратнее относитесь к цифрам и смотрите новый ролик про работающие инструменты для поиска работы в IT ⬇️ https://youtu.be/l0bAJdcyLEU

Mostrar todo...

Рабочие методы для успешного поиска работы в IT и Data Science после курсов: обходим +500 кандидатов

00:00 Как найти работу мечты?00:14 Конкурс в IT00:49 1 метод - знания01:24 2 метод - отправка откликов на разных ресурсов, а также напрямую02:11 Наш опыт отб...

❤ 21👍 4

Пока мы все ждём ChatGPT 5, Сем Альтман готов в понедельник представить обновления для 4ой версии. Написал, что будет какой-то magic, прям как часть названия нашей группы 🔮 Ставьте себе в рабочий календарик встречу с OpenAI на понедельник 13 мая в 20 часов по МСК, чтобы вдруг никто не забил важное время ☑️ https://openai.com

Mostrar todo...

We believe our research will eventually lead to artificial general intelligence, a system that can solve human-level problems. Building safe and beneficial AGI is our mission.

❤ 9🔥 4👍 3

В каких случаях использовать деревья решений? 🎄 Само по себе дерево решений принято считать слабым алгоритмом. Да, благодаря своей иерархической структуре мы можем как бы воссоздать if-else, отойти от линейных закономерностей и посмотреть чуть дальше, но Decision Tree обладает главным недостатком - overfiiting. И даже если, мы попытаемся сделать дерево чуть меньшей глубины, то оно перестанет улавливать сложные зависимости, а если глубоким (так как хотим учесть многие нюансы), то оно через чур подгонится под обучающую выборку и не будет обладать обобщающей способностью. 📌Из этого можно отметить следующие моменты, в которых как раз таки дерево решений подойдет: - Для образовательных целей, когда есть небольшой датасет - Когда важна интерпретация модели (только так и больше никак), когда бизнесу понятна иерархия - И все 🙃 Как правило спектр применения Decesion Tree очень ограничен, НО знание как такой алгоритм устроен изнутри, даст вам огромное понимание других алгоритмов на основании деревьев.

Mostrar todo...

👍 18❤ 6🔥 2

Как ML интегрировался в нашу жизнь 🦄 Я не перестаю удивляться насколько мы с вами живем в удивительное время! Пообщались с Александром Толмачевым CDO из Ozon Fintech про задачи, которые сейчас стоят перед финтех индустрией, поговорили про то, какие проекты есть сейчас в компании, связку с маркетплейсом, а также насколько мы уже близки к тому, чтобы нас всех заменил AI 😜 Не могли не затронуть любимую всем тему - поиск работы для Junior, действительно ли там сейчас наблюдается переизбыток специалистов данного уровня, либо может дело в другом? 🧐 Также сделала небольшой обзор про конференцию по анализу данных и технологиям Data Fusion, кстати, конференция очень даже понравилась! Концентрация и технических и концептуальных докладов была максимальной! ❤️ Смотрим https://youtu.be/QZX3gAiO9ck

Mostrar todo...

Как устроен Data Science в финтехе / Секреты карьерного роста в IT от Chief Data Officer

Записи докладов с конференции Data Fusion:

https://data-fusion.ru/?erid=2VtzqvcktoA

Реклама. Банк ВТБ (ПАО) 0+ ИНН 7702070139 erid: 2VtzqvcktoA

https://t.me/analytics_kaanal

- Канал где 21 директор данных и аналитики (Яндекс, Озон, Авито, ВК, WB, Miro, Tabby, Xsolla, HH, Positive Technologies и еще) сидят и пишут о наболевшем всем анонимно – чтобы не спалиться – выливают всю внутреннюю боль. Ссылки на вакансии в Ozon Fintech -

https://job.ozon.ru/vacancy/data-engineer-ozon-bank-96133468/?department=Ozon%20Fintech

-

https://job.ozon.ru/vacancy/produktovii-analitik-v-programmu-loyalnosti---ozon-fintech-95692305/?department=Ozon%20Fintech

-

https://job.ozon.ru/vacancy/produktovii-analitik-finansovikh-servisov-b2b-ozon-fintech-95124991/?department=Ozon%20Fintech

-

https://job.ozon.ru/vacancy/stazher-ml-razrabotchik-b2c-ozon-bank-95443327/?department=Ozon%20Fintech

Таймкоды: 00:00 Интро 00:55 Александр Толмачев CDO Ozon Fintech 02:49 Что такое финтех? 05:40 Банки vs финтех 08:36 Нестандартные задачи помимо скоринга 09:58 Связка финтех и маркетплейс (пример задач) 12:11 Факторинг 13:07 Моделирование нагрузки на склад 14:17 Распознавание документов 15:33 Любимые категории, моделирование отклика 16:54 Speech-to-Text для сейлзов 17:25 Конференция Data Fusion 17:42 Доклад Константина Воронцова 18:09 Рекомендательные системы 18:45 Мультимодальные и генеративные модели 19:55 Гонка Трансформеров 21:14 Близки ли мы к тому, чтобы все автоматизировать? 24:45 Проблема контекста в GPT моделях 27:50 Написание кода и документации к нему при помощи GPT 31:13 Эра персональных ассистентов 32:49 Проблема трудоустройства для Junior/Middle/Senior 34:12 Много ли Junior? 35:46 3 вида уровня экспертов 39:55 Можно ли сейчас нанять Middle и Senior 41:12 Рекомендации для Junior 42:00 Стажировка для начинающих Junior 44:46 Анонимный TG канал, где 21 директор данных и аналитики 45:33 Как расти по карьерной лестнице в IT? 3 совета от CDO ВКонтакте

https://vk.com/pymagic

https://t.me/pymagic

#datascience #ityoutubersru #fintech

🔥 24

Как ML интегрировался в нашу жизнь 🦄 Я не перестаю удивляться насколько мы с вами живем в удивительное время! Пообщались с Александром Толмачевым CDO из Ozon Fintech про задачи, которые сейчас стоят перед финтех индустрией, поговорили про то, какие проекты есть сейчас в компании, связку с маркетплейсом, а также насколько мы уже близки к тому, чтобы нас всех заменил AI 😜 Не могли не затронуть любимую всем тему - поиск работы для Junior, действительно ли там сейчас наблюдается переизбыток специалистов данного уровня, либо может дело в другом? 🧐 Также сделала небольшой обзор про конференцию по анализу данных и технологиям Data Fusion, кстати, конференция очень даже понравилась! Концентрация и технических и концептуальных докладов была максимальной! ❤️ Смотрим https://youtu.be/HZ6rPSkQWj8?si=q0vN4F1eN7fyOfjq

Mostrar todo...

Как устроен Data Science в финтехе / Секреты карьерного роста в IT от Chief Data Officer

Записи докладов с конференции Data Fusion:

https://data-fusion.ru

https://t.me/analytics_kaanal

- Канал где 21 директор данных и аналитики (Яндекс, Озон, Авито, ВК, WB, Miro, Tabby, Xsolla, HH, Positive Technologies и еще) сидят и пишут о наболевшем всем анонимно – чтобы не спалиться – выливают всю внутреннюю боль. Ссылки на вакансии в Ozon Fintech -

https://job.ozon.ru/vacancy/data-engineer-ozon-bank-96133468/?department=Ozon%20Fintech

-

https://job.ozon.ru/vacancy/produktovii-analitik-v-programmu-loyalnosti---ozon-fintech-95692305/?department=Ozon%20Fintech

-

https://job.ozon.ru/vacancy/produktovii-analitik-finansovikh-servisov-b2b-ozon-fintech-95124991/?department=Ozon%20Fintech

-

https://job.ozon.ru/vacancy/stazher-ml-razrabotchik-b2c-ozon-bank-95443327/?department=Ozon%20Fintech

Таймкоды: 00:00 Интро 00:55 Александр Толмачев CDO Ozon Fintech 02:49 Что такое финтех? 05:40 Банки vs финтех 08:36 Нестандартные задачи помимо скоринга 09:58 Связка финтех и маркетплейс (пример задач) 12:11 Факторинг 13:07 Моделирование нагрузки на склад 14:17 Распознавание документов 15:33 Любимые категории, моделирование отклика 16:54 Speech-to-Text для сейлзов 17:25 Конференция Data Fusion 17:42 Доклад Константина Воронцова 18:09 Рекомендательные системы 18:45 Мультимодальные и генеративные модели 19:55 Гонка Трансформеров 21:14 Близки ли мы к тому, чтобы все автоматизировать? 24:45 Проблема контекста в GPT моделях 27:50 Написание кода и документации к нему при помощи GPT 31:13 Эра персональных ассистентов 32:49 Проблема трудоустройства для Junior/Middle/Senior 34:12 Много ли Junior? 35:46 3 вида уровня экспертов 39:55 Можно ли сейчас нанять Middle и Senior 41:12 Рекомендации для Junior 42:00 Стажировка для начинающих Junior 44:46 Анонимный TG канал, где 21 директор данных и аналитики 45:33 Как расти по карьерной лестнице в IT? 3 совета от CDO ВКонтакте

https://vk.com/pymagic

https://t.me/pymagic

#datascience #ityoutubersru #fintech

🔥 6

Какую выбрать ML-модель? 🧐 Давно мы с вами не разбирали практические вопросы! ⏭️ Одна из главных проблем многих начинающих - какую модель выбрать для решения задачи? Задачи в ML вообще разные бывают, как и сами данные. Но, как правило, такой ступор часто появляется при обработке табличных данных и в задачах типа регрессии/классификации. Также бывают разные условия для работы таких моделей, что я имею в виду: техническое оборудование, количество самих данных, какие есть типы в них и пр. Можно много перечислять нюансов, но это уже будет прямо несколько лекций по ML System Design. Начнем с линейных моделей 📏 Если у вас: - Очень мало данных - Ограничены технические ресурсы для обработки больших массивов (что сейчас уже крайне редко) - Есть линейные зависимости между признаками и целевой переменной - Есть необходимость максимально возможной интерпретируемости и прозрачности модели (так как это важно для бизнеса) - Устоявшиеся требования какого-нибудь регулятора То поздравляю, скорее всего, вы не только будете тестировать линейные модели в качестве бейзлайна, но и использовать их в виде конечного решения. Хотите почитать про другие типы моделей? Ставьте 🔥

Mostrar todo...

🔥 115👍 2❤ 2👏 1

🦄 4 мифа про Data Science Искаженное представление о работе в Data Science может отпугивать многих людей — они не решаются попробовать себя в этой области, даже если их настоящая работа их не устраивает. Например, им кажется, что для работы в этой сфере нужно быть математическим гением или иметь техническое образование, а также что Data Science сводится только к обучению моделей машинного обучения. Но на самом деле все происходит совсем не так. В этой статье собраны распространенные заблуждения о Data Science, а также на примерах объяснено, почему в них не стоит верить. 1️⃣ Миф 1: Чтобы стать Data Scientist, нужно быть математическим гением! Знания математики безусловно нужны, на них базируются модели машинного обучения, но это не означает, что вы должны быть супер-экспертом в вышмате. Гораздо важнее понимать основные концепции (да-да! тут нужна база, даже если хотите понять, как работает Transformer), уметь применять их на практике и развивать способность к логическому мышлению. 2️⃣ Миф 2: Data Science - это только для технарей Это распространенное заблуждение. Data Science требует разнообразных навыков, включая программирование, анализ данных, визуализацию и коммуникацию. Многие успешные Data Scientist’ы имеют разнообразный бэкграунд - от гуманитариев до инженеров. Люди с гуманитарным образованием, обладающие критическим мышлением и способностью находить нестандартные решения, также могут добиться успеха в этой области. Часто лично встречала такие ситуация, когда в NLP направлении работали бывшие лингвисты. 3️⃣ Миф 3: Data Scientists скоро заменят AI-алгоритмы Хотя Data Scientist являются и создателями этих же алгоритмов, но все же работу над задачами среднего и высокого уровня сложности такие алгоритмы заменить пока что не в состоянии. Алгоритмы AI по-прежнему нуждаются в качественных данных, которые собирают и подготавливают сами же Data Scientist’ы. 4️⃣ Миф 4: Data Science - это только про обучение ML-моделей Построение предиктивных моделей - важная, но далеко не единственная задача Data Scientist'ов. Они также занимаются сбором, очисткой и анализом данных, выбором релевантных признаков, оценкой качества данных и многим другим (еще огромный пласт работ - production…). Эти "черновые" работы составляют значительную часть и не менее важны, чем само моделирование.

Mostrar todo...

👍 40

🔥Распродажа курсов 🔥 Всем привет! Сегодня у нас стартует масштабная распродажа всех курсов (кроме DS) СКИДКА 50% 🚀 Если давно хотел изучить как работает Transformer, как дообучить BERT для задачи классификации, как решать задачи NER, либо как применять более простые модели TF-IDF и пр. для своих проектов то тебе на курс по NLP Если ты хочешь уметь в production, хвастаться перед коллегами, как ты круто задеплоил модельку, прикрутил и укротил Docker, FastAPI, MLFlow, Airflow, да еще и тестами код покрыл, то тебе на 1ую часть курса по MLOps Но если хочется показать себя сеньером помидором (без лишнего сарказма), научиться не только в микросервисы, но еще и в кластеры, разобраться с Kubernetes, Terraform, Kafka и все это связать в единый проект, да и вообще понять, как архитектурно ML-проекты наконец выстраивать, то приходи на 2ую часть курса по MLOps (Advanced версия) ✅Промокод HAPPYFRIDAY Действителен до 8 апреля. Можно применять как на сайте pymagic, так и вводить при покупке курсов по MLOps на образовательной платформе.

Mostrar todo...

🔥 20👍 2

Рекомендательные системы: краткий обзор 🎯 Рекомендательные системы анализируют предпочтения пользователей пользователей и на основании такого анализа пытаются предсказать, что им можем быть интересно: товар, фильм, книга и пр. 🤔 Какие существуют подходы в рекомендательных системах: - Коллаборативная фильтрация (Collaborative Filtering) - анализирует схожесть между пользователями. Например: "Пользователям, купившим этот товар, также понравилось..." 👥 - Фильтрация на основе контента (Content-Based Filtering) - анализирует характеристики объектов (товаров, фильмов и т.д.). Например: "Вам может понравиться этот фильм, похожий на те, что вы смотрели ранее" 🎥 - Гибридные подходы (Hybrid Approaches) - комбинируют различные подходы (как вариант коллаборативную и контентную фильтрации) - На основе знаний (Knowledge-Based) - использует базу знаний о предметной области для генерации рекомендаций. Например: система подбора ноутбука по заданным характеристикам 💻 - Кросс-доменные рекомендации (Cross-Domain) - используют данные из нескольких доменов (например, фильмы и книги) для улучшения качества рекомендаций. Например: "Если вам понравился этот фильм, возможно вам также понравится эта книга" 🎥📚 - Рекомендации на основе социальных связей (Social Network) - используют информацию из социальных сетей (друзья, подписки, лайки). Идея в том, что на наши предпочтения влияет окружение. Например: "Ваши друзья слушают эту музыку" 👥🎧 Также есть и другие типы рекомендательных систем. К примеру Контекстные (Context-Aware) - учитывают контекст пользователя (время, место, текущая активность и т.д.). Отлично работают в связке с другими подходами! Например: рекомендация музыки под текущее настроение и занятие 🎧🏃‍♂️ Или же Временные (Time-Sensitive) 🕰️ и пр.

Mostrar todo...

👍 27

Carga de datos en curso...

Carga de datos en curso...