Data Scientist | IT

ML-оценка актуальности резюме в Авито Работа #почитать

Отобрали признаки, по которым можно сказать, что пользователь ищет работу. Мы решили обучать ML-модель на данных о чатах соискателей с потенциальными работодателями. Использовали модель бинарной классификации: 1 — соискатель ответил работодателю в течение трёх дней, 0 — не ответил. Таким образом мы хотели обучить модель определять вероятность того, что резюме соискателя актуально. Этот параметр складывался из множества характеристик самих резюме и поведения соискателей на площадке: - факторы активности соискателей: как человек контактирует по вакансиям и отвечает работодателям, когда они пишут ему; - факторы наполненности резюме: как много информации о соискателе есть в объявлении, указан ли подходящий тип занятости, насколько человек активен в поиске работы, готов ли выйти завтра; - факторы взаимодействия с резюме: как часто соискатель обновляет данные в резюме.

⏱Читать статью

🔤🔤🔤🔤🔤🔤🔤🔤🔤🔤🌌🔤🔤 — канал со свежими книгами для прожект и продакт менеджеров на русском языке ➡️ Подписаться на Библиотеку PM

Весь мир — это модель, а LLM в нём — бэкенд #почитать Как сделать, чтобы машины обучались настолько же эффективно, как люди или животные? Как машины могут обучиться репрезентациям и планировать действия на нескольких уровнях абстракции? Для этого машине нужна такая же внутренняя модель мира, которая есть у животных. ⏱Читать статью

Модель глубокого обучения, использующая данные ЭКГ для прогнозирования риска внезапной сердечной смерти #почитать

Внезапная сердечная смерть (ВСС) происходит, когда возникают проблемы с электрической активностью в сердце. Это распространенная причина смерти по всему миру, поэтому было бы полезно легко выявлять людей с высоким риском ВСС. Электрокардиограммы - это доступный и широко используемый способ измерения электрической активности сердца. Мы разработали вычислительный метод, который может использовать электрокардиограммы для определения, находится ли человек в повышенном риске ВСС.

⏱Читать статью

Нужен ли продакт в ML-команде? Мнение изнутри #почитать

Пять лет назад из обычного продакт-менеджмента я перешла в команду с дата-сайентистами. И процесс моей работы сильно изменился. Как было раньше: я определяла потребности пользователя, затем приходила к команде разработки с готовой задачей и дизайн-макетами. А после забирала работающий продукт, чтобы отдать его в A/B-тест. В ML все работает иначе. Команда включается уже на этапе исследования, погружается в бизнес-цели и техническую постановку задачи. Именно исследования занимают львиную долю времени дата-сайентистов, и только после них начинается разработка. Ну, или не начинается. Или разработка начинается, но совсем не той идеи, которая была вначале.

⏱Читать статью

Что делают дата-сайентисты в промышленности #почитать С какими навыками берут в индустриальные дата-сайентисты База у дата-сайентиста едина для любой сферы: высшая математика и статистика, программирование на Python или R, технический английский, навыки работы с базами данных. Также требуются знания инструментов обработки и визуализации данных. В промышленности к этому списку добавляются основы физики и химии, так как производство сильно завязано на них. Когда собиралась команда DS, в неё приходили экономисты, люди с инженерным бэкграундом, опытом в точных науках или разработке, но ни одного металлурга среди них не было. На самом деле этого никто и не ожидает: иначе нанять кого-либо было бы очень сложно, — пока это не самое популярное сочетание профессий. Сегодня переквалификация из смежных профессий — всё ещё популярный способ прийти в промышленную DS. ⏱Читать статью

О профессии Data Engineer простыми словами #почитать ПЛЮСЫ: - Бабки. Не миллионы, конечно, но среди всех it специальностей, люди, которые работают с данными находится в первой половине самых высокооплачиваемых айтишников - Легко прийти, легко уйти. Главными умениями дата инженера является знание python и sql, эти знания нужно и во многих других областях, поэтому не очень сложно как прийти сюда из другой области, так и наоборот уйти в другое место если надоест МИНУСЫ - Может быть скучно. Другие программисты делают сайты, приложения, ИИ и другие штуки, которые можно пощупать или сказать вау, а результат твоей работы - это табличка в базе данных. Для тех кому хочется видеть результат своей работы в более явном виде, профессия DE может показаться скучной - В названии вакансии одно, а по факту другое. Возможно это есть во всех в сферах, но для инженера данных это точно актуально. «Ты ведь с данными работаешь, а значит за все, что так или иначе свазано с данными будешь отвечать», а тут о много чем может быть речь и про обязанности дата саентиста и дата аналитика, и про создать отчет в икселе или построй сам для себя инфраструктуру - Не всегда есть удаленка. Работать удаленно для человека из it - это что-то обыденное, но у тех кто работает с данными не всегда есть такая возможность. ⏱Читать статью

▫️ Обучение с подкреплением на импульсных нейронных сетях #посмотреть Лаборатория Касперского, семинар русскоязычного сообщества AGI. ⏱Смотреть на Youtube ⏱ 1 час 30 минут

Нейросети и спеллчекеры могут запретить #почитать

Рассматривается предложение о запрете нейросетей для генерирования низкокачественных изображений, а также художественных, публицистических и новостных текстов. Основание: наполнение интернета низкокачественными и неинформационными поделками.

⏱Читать статью

Материалы для подготовки к собеседованию на позицию Data Scientist. Часть 2: Классическое машинное обучение #почитать ⏱Книги ⏱Курсы ⏱Сайты ⏱Шпаргалки ⏱Разное Читать полностью

Что мы знаем про продуктовых аналитиков в Авито? — Быстро растут и развиваются внутри компании; — Многое автоматизируют, обучают модели и прогнозируют; — Постоянно запускают эксперименты, строят фреймворки и математические модели; — Каждый работает в своей продуктовой команде, но не теряет связь с аналитиками из других направлений. Хочешь также? Подавай заявку на Weekend Offer до 4 апреля, приходи интервью и получай оффер!

Что такое MLOps и как внедряются каскады моделей #почитать

Как появляется потребность в MLOps? Постепенно, с ростом темы искусственного интеллекта, все начали поспешно разрабатывать свои модели. Однако, как и с разработкой, например, тех же веб-сайтов, дата саентисты, ML-инженеры, и другие специалисты столкнулись с проблемой скорости воспроизведения всего процесса заново. Более того, процесс не всегда может быть успешен. По статистике, только около 25% моделей действительно доходят до продакшена. Поэтому, скорее всего, придется повторять весь цикл для модели несколько раз, чтобы она действительно начала приносить пользу бизнесу. Но все системы обладают энтропией, и через какое-то время даже ранее полностью рабочую модель нужно переобучать, так как она может потерять свою точность. Из этого следует простой вывод: как и разработка сайтов, так и разработка моделей машинного обучения должна иметь свои CI/CD процессы. В этом нам может помочь MLOps. MLOps подход подразумевает внедрение принципов DevOps в сферу машинного обучения.

⏱Читать статью

Где аналитику данных искать стажировки в России и зарубежом? + более 40 горящих стажировок #почитать Стажировка - один из самых удачных способов запрыгнуть в аналитику данных. Вот почему: 👉 3 месяца стажировки в самом неприглядном месте лучше, чем то же время в поисках “идеальной” вакансии. 👉 Стажировка в резюме выглядит привлекательнее учебных проектов. ⏱Поискать

Как не потерять данные в цифровом шуме: о точности вычислений #почитать

«По мере того, как сложность возрастает, точные утверждения теряют значимость, а значимые утверждения теряют точность», — математик Лотфи Заде

⏱Читать статью

😭

▫️ Tensor Puzzles #посмотреть 20 задач в PyTorch ⏱Смотреть на Youtube ⏱1 час

Применение нейросетевых подходов для формирования признаков в моделях #почитать В данной статье мы расскажем о том, как продвинутые подходы машинного обучения, в частности нейронные сети, помогают генерировать признаки для моделей, сокращая трудозатраты на проработку гипотез и операционные издержки при подготовке данных для моделей. ⏱Читать статью

Стекинг и блендинг в ML. Ключевые особенности и реализация с нуля на Python #почитать Среди всех методов ансамблирования особое внимание заслуживают две очень мощные техники, известные как стекинг (stacked generalization) и блендинг, особенность которых заключается в возможности использования прогнозов не только однородных, но и сразу нескольких разных по природе алгоритмов в качестве обучающих данных для другой модели, на которой будет сделан итоговый прогноз. Например, прогнозы логистической регрессии и градиентного бустинга могут быть использованы для обучения случайного леса, на котором уже будет выполнен итоговый прогноз. Стекинг и блендинг очень схожи между собой, однако между ними есть существенные различия, заключающиеся в разделении и использовании тренировочных данных. Рассмотрим более подробно как это происходит. ⏱Читать статью

Как NLP используется в банке #почитать

Natural Language Processing чаще всего используется в банках для автоматизации обработки заявок и анализа входящих документов, чтобы их маршрутизировать или классифицировать. Конечно, это можно было бы делать и руками, но тогда это стало бы очень долго и дорого. Я ведущий аналитик-исследователь Управления алгоритмов машинного обучения. Расскажу о том, как с помощью ML- и NLP-технологий, а также огромного массива только платёжных данных можно получить полезную информацию для банковских сервисов: скоринг клиентов, кредитование — в целом широкий спектр моделей, где клиентов нужно как-то оценивать. Добросовестным пользователям такой подход тоже приносит ощутимую пользу, т. к. есть возможность получить от банка ровно те предложения, которые могут им пригодиться.

⏱Читать статью