Machine learning Interview

Встречай AI Generative Product Hackathon, где участники создадут инновационные продукты, экспериментируя с технологиями ChatGPT, Midjourney и elDinero.ai Партнеры хакатона — компании с мировым именем, чьи продукты мы используем каждый день: Unilever в России, Ашан, Danone, Tefal, Альфа-банк. Соорганизаторы — крупнейшая в стране магистратура инженерии машинного обучения AI Talent Hub университета ИТМО, AI-компания Napoleon IT и разработчик CDP платформы Konnektu. ◾️Призовой фонд — 600 000 ◾️Более 30 мест для стажировок в компаниях-партнерах ◾️Регистрация до 31 июля Участниками могут стать: ML-инженеры, аналитики данных, промпт-инженеры, продакт-менеджеры, маркетологи, бренд-менеджеры и студенты IT-специальностей. Лучшие решения получат не только денежный приз, но и возможность реализации в компаниях-партнерах или в качестве самостоятельного стартапа с первыми инвестициями. Стань частью крутой команды или создай свою собственную, заполни заявку по ссылке

✔ Что такое Gated Recurrent Unit (GRU)? Где используется ? Закрытый рекуррентный блок (GRU) является частью конкретной модели рекуррентной нейронной сети, которая намеревается использовать соединения через последовательность узлов для выполнения задач машинного обучения, связанных с памятью и кластеризацией, например, в распознавании речи. Рекуррентные блоки помогают регулировать входные веса нейронной сети для решения проблемы исчезающего градиента, которая является общей проблемой с рекуррентными нейронными сетями. Еще закрытые рекуррентные блоки используются в машинном переводе. Они отличаются от LSTM, хотя тоже являются расширением для нейросетевого машинного обучения. В GRU на один гейт меньше, и работа строится по-другому: вместо входного, выходного и забывания, есть гейт обновления (update gate). Он определяет, сколько информации необходимо сохранить c последнего состояния и сколько информации пропускать с предыдущих слоев. Функции сброса гейта (reset gate) похожи на затвор забывания у LSTM, но расположение отличается. GRU всегда передают свое полное состояние, не имеют выходной затвор. Часто эти затвор функционирует как и LSTM, однако, большим отличием заключается в следующем: в GRU затвор работают быстрее и легче в управлении (но также менее интерпретируемые). На практике они стремятся нейтрализовать друг друга, так как нужна большая нейросеть для восстановления выразительности (expressiveness), которая сводит на нет приросты в результате. Но в случаях, где не требуется экстра выразительности, GRU показывают лучше результат, чем LSTM. В дополнение к машинному преводу, модели нейронной сети, использующие рекуррентные единицы, могут использоваться для исследования генома человека, анализа почерка и многого другого. Некоторые из этих инновационных сетей используются для анализа фондового рынка и работы правительства. Многие из них используют моделируемую способность машин запоминать информацию. @machinelearning_interview

Что такое утечка данных в машинном обучении Утечка глобально – это слитые личные данные без разрешения или без соблюдения должных мер безопасности кому-то постороннему. В ML под утечкой понимают совсем другая проблема, когда информация из тестового датасета ошибочно попадает в обучающий. Так вот, команда VK Cloud перевела статью о том, какими могут быть подобные утечки и как с ними бороться на примере реальных датасетов. @machinelearning_interview

📌 Что такое метод стохастического градиентного спуска? Назовите его основные достоинства и недостатки. Градиентный спуск — метод нахождения локального экстремума (минимума или максимума) функции с помощью движения вдоль градиента. Метод градиентного спуска оказывается очень медленным, особенно в случае большой размерности признакового пространства. Поэтому, часто в машинном обучении используют стохастический градиентный спуск, где каждый шаг вычисляется по градиенту одного случайно выбранного параметра. Достоинством стохастической модификации градиентного спуска является его доказанная сходимость к тому же экстремуму, что и при градиентном спуске. При этом он намного более практичен и может использоваться на данных с большим числом признаков. Метод может быть обобщен для нелинейных моделей, использован с большим набором данных, а также с самыми разными функциями потерь. К недостаткам метода можно отнести возможность сходимости метода к локальному, а не абсолютному экстремуму. Возможна также расходимость или очень медленная сходимость, поэтому нужно знать, какими способами можно ускорить сходимость этого метода. Наконец, в линейных моделях возможно переобучение из-за неприятного эффекта, который называется мульти-коллинеарностью. @machinelearning_interview

🔥Хотите стать одним из авторов проектов, которые меняют жизнь людей к лучшему в области автоматизации предприятий, медицины, робототехники, виртуальной реальности и других сферах, или стать руководителем отдела Computer Vision в вашей компании? Все это возможно после прохождения обучения на курсе “Компьютерное зрение” в OTUS. Сейчас открыт набор в группу. Вы освоите принципы машинного обучения в области компьютерного зрения и сможете решать индустриальные задачи, используя открытые датасеты. 📌По ходу курса вы обучите нейросети для решения задач: - классификации и сегментации изображений; - детекции объектов на изображениях; - отслеживания объектов на видео; - обработки трехмерных сцен; - порождения изображений и атаки на обученные модели нейронных сетей. Также вы научитесь пользоваться основными фреймворками для создания нейросетей: PyTorch, TensorFlow и Keras. ⚡️Успейте занять место в группе по спеццене Отправьте заявку https://otus.pw/AQrN/ Возможны разные способы оплаты и покупка курса в рассрочку Нативная интеграция. Информация о продукте на сайте www.otus.ru

У вас есть данные о продолжительности звонков в колл-центр. Создайте план того, как вы будете анализировать эти данные. Объясните вероятный сценарий того, как может выглядеть распределение этих длительностей. Как вы можете проверить, даже графически, оправдались ли ваши ожидания? Так как данные достаточно простые: звонок – длительность, то нет необходимости делать их нормализацию (искать пропуски, заполнять их и т.д.). Нулевые значения надо просто удалить. Имеет смысл построить гистограмму продолжительности звонков, чтобы увидеть базовое распределение. Обычно такие данные должны следовать логарифмически нормальному распределению. Пример логнормального распределения (смотри картинку). Для графического подтверждения этого предположения возможно использовать график Q-Q. Это позволит подтвердить, соответствует ли длительность вызовов логнормальному распределению или нет. В статистике график Q – Q (квантиль-квантиль) – это график вероятности, который представляет собой графический метод для сравнения двух распределений вероятности путем построения их квантилей друг против друга. Сначала выбирается набор интервалов для квантилей. Точка (x, y) на графике соответствует одному из квантилей второго распределения (координата y), нанесенному на тот же квантиль первого распределения (координата x). Таким образом, линия является параметрической кривой с параметром, который является номером интервала для квантиля. Если сравниваемые два распределения похожи, точки на графике Q – Q будут приблизительно лежать на линии y = x. Если распределения линейно связаны, точки на графике Q – Q будут приблизительно лежать на линии, но не обязательно на линии y = x. @machinelearning_interview

@ozon_tech Intro Meetup в Алматы📍 27 июля | 18:00 (UTC +6) офлайн | онлайн ML, DS и Java-инженеры, для вас — особое приглашение, потому что на повестке: 1️⃣Рекламная платформа в Ozon, её архитектура и ML. 2️⃣Архитектура рантайма поиска в Ozon, поиск по индексу, сбор данных из различных источников, ранжирование документов с учётом пользовательских фичей. 3️⃣Архитектура рекомендаций, персонализация товарной выдачи и работа с десятками рекомендательных полок. 4️⃣Машинное обучение для рекомендаций товаров в Ozon и data science часть рекомендательной системы. 5️⃣Программы обучения, стажировки и жизнь сообщества Ozon Tech. Регистрация штука обязательная. Не откладывайте её. До встречи на митапе! #ozontech_meetup

🚀 Что такое Fine Tuning ? Какие шаги включает ? Что дает Fine Tuning ? В отличие от feature extraction, суть дообучения (Fine Tuning) заключается в размораживании последних слоев нейронной сети (Neural Net) и их обучении. Таким образом, корректируются слои, которые имеют наиболее абстрактные представления. Производя дообучение только нескольких слоев, мы уменьшаем риск переобучения (overfitting). И самое главное, это позволяет сделать текущую модель ещё более подходящей к нашей задаче. Если верхние слои следует дообучить, то полносвязные слои нужно заменить на свои и тоже обучить. Fine-tuning экономит ресурсы и время. Чтобы качественно обучить нейросеть, всей структуре языка нужны огромные вычислительные мощности,а также корпус всех текстов, которые удастся собрать с Интернета. Эта задача достаточно сложна, и обычному исследователю вряд ли удастся в одиночку создать целую языковую модель. Fine-tuning позволяет нам не изобретать велосипед, а разрабатывать что-то новое на основе уже полученных навыков. Процедура Fine tuning состоит в следующем: • Заморозить все слои предварительно обученной модели. • Добавить свои слои к обученной модели. • Обучить добавленные слои. • Разморозить несколько верхних слоев. • Обучить эти слои и добавленную часть вместе. @machinelearning_interview

💣Есть знания, которые постоянно требуют актуализации, а есть - база! Убедитесь в этом 20 июля в 17:00 мск на бесплатном вебинаре в OTUS. Вебинар приурочен к старту онлайн-курса «Математика для программистов». 🔥На бесплатном вебинаре «Логические исчисления, и как они связаны с языками программирования» мы: — разберём, что общего между программистом и математиком, и в чём разница. — будет показано, что языки программирования строятся на тех же принципах, что и доказательства математических теорем, а выразительные способности языков программирования ограничиваются понятиями полноты и непротиворечивости. Ведущий — Евгений Тюменцев, опытный директор компании по разработке программного обеспечения. После вебинара полный курс можно приобрести в том числе в рассрочку. Нативная интеграция. Информация о продукте www.otus.ru

Kubeflow Pipelines оптимизирует обучение ML-моделей Свой опыт в статье на Хабре описывает инженер по машинному обучению в ML-команде проектов для бизнесов и покупателей ВКонтакте. Она расскажет, чем Kubeflow Pipelines может быть полезен ML-специалисту и как в нём без потери существующей кодовой базы можно запускать готовые пайплайны. Благодаря этому материалу вы с помощью библиотеки kfp и нескольких функций сможете интегрировать существующий код для запуска ML-пайплайнов в инструмент Kubeflow Pipelines с удобным интерфейсом, в котором разработчик может быстро запускать эксперименты по машинному обучению и выбирать лучшее решение. @machinelearning_interview

⚡️ Друзья, сегодня у нас в гостях Артем Пруденко, профессионал по выстраиванию процессов в Data Science. В 18:00 на Youtube-канале Neogenda состоится премьера интервью, на котором обсудим: ▪️ Почему Data Science стоит столько денег? ▪️ Чем отличается процесс с использованием Data Science от обычной продуктовой разработки? ▪️ Где учат Data Science? Когда Data Science необходим бизнесу? Об этом и не только узнаете в видео. 👍 Рекомендуем к просмотру, подписывайтесь на канал!

📖 Introduction to Machine Learning Interviews Book Книга для подготовки к собеседованию по машинному обучению. В качестве соискателя автор прошел собеседования в десятке крупных компаний и стартапов и получил предложения на должности в области машинного обучения в таких компаниях, как Google, NVIDIA, Snap, Netflix, Primer AI и Snorkel AI. Полезная книга для для закрепления теоретических и практических знаний в области машинного обучения. 📚 Книга @machinelearning_interview

⚡️Осилите ли вы тест для Data-инженеров? Ответьте на 24 вопросов за 30 минут и проверьте, готовы ли вы к обучению на онлайн-курсе «Spark Developer» от OTUS. Spark — важнейший фреймворк в Big Data c открытым исходным кодом. На курсе вы научитесь работать с большими данными и закрепите знания с помощью сложных домашних заданий и выпускного проекта. Пройдете тест — получите демо-ролик о занятиях на курсе и доступ к открытому уроку «Оптимизация параметров запуска приложения Spark», 11 июля в 20:00. 📝Пройти тест: https://otus.pw/ofHLh/ Нативная интеграция. Информация о продукте www.otus.ru

Задача про градиентный спуск С помощью градиентного спуска, как известно, можно обучать различные модели машинного обучения. Верно ли, что классический градиентный спуск всегда найдет глобальный минимум функции потерь и выдаст оптимальные параметры? Ответ: нет, неверно. Решение Посмотрим на формулу градиентного спуска (картинка 1) По основному свойству градиента с каждым следующим шагом метода мы будем двигаться все ближе и ближе к минимуму функции потерь Q, что хорошо. Но нет гарантии, что мы придем именно в глобальный минимум, а не застрянем в локальном(картинка 2). Кроме того, градиентный спуск будет испытывать трудности в точках перегиба функции, ведь в них градиент тоже равен нулю, и метод может остановиться вблизи этой точки. Еще одна причина неудачи метода — неверный выбор градиентного шага. Например, при очень маленьком градиентном шаге метод будет идти в сторону минимума слишком медленно и остановится просто из-за ограничения на число итераций, не дойдя до него. А при слишком большом градиентном шаге метод может не попасть в минимум и «прыгать» вокруг него до тех пор, пока не остановится из-за ограничения на число итераций. Иногда метод при большом градиентном шаге может даже разойтись. В классическом машинном обучении мы почти не сталкиваемся с описанными проблемами, но вот в Deep Learning этих проблем достаточно. Для их решения придумано множество модификаций градиентного спуска. @machinelearning_interview

Стать Middle ML-специалистом просто — поступи в крупнейшую в России магистратуру по ИИ в ИТМО 🚀 Магистратура AI Talent Hub создана компанией Napoleon IT совместно с ведущим технологическим вузом — ИТМО. За 2 года вы получите актуальные знания в области искусственного интеллекта и освоите перспективные ML-специальности на уровне Middle. AI Talent Hub — это: 🔹200 бюджетных мест для талантливых абитуриентов — становитесь профессионалами в ИИ 🔹обучение на решении реальных бизнес-задач — применяйте знания и навыки на практике уже во время магистратуры 🔹опытные профессионалы-менторы из ведущих партнерских IT-компаний — OZON, VK, Сбер, МТС Digital, Huawei Noah's Ark, «Татнефть», Mail.ru, Яндекс, Газпром и другие — получайте практические знания и возможности для развития 🔹онлайн-формат обучения — учитесь из любой точки земного шара 🔹более 100 курсов по разным направлениям машинного обучения от ИТМО, Передовой инженерной школы ИТМО и экспертов крупных IT-компаний — выбирайте сами, кем хотите стать 🔹обучение в неклассических образовательных форматах — воркшопы, хакатоны, проектные и кейс-семинары — забудьте про скучные лекции и лабораторные. Набор на программу AI Talent Hub «Искусственный интеллект» уже в самом разгаре 🔥 До 10 июля подавайте заявку на конкурс проектов, поступайте без экзаменов и становитесь экспертом в области искусственного интеллекта!

🖥 Задача про градиентный бустинг Градиентный бустинг — один из самых мощных алгоритмов классического машинного обучения. Приведите пример, когда градиентный бустинг в задаче регрессии будет работать хуже линейной регрессии. Решение Представим себе, что данные имеют линейную зависимость и получилось так, что тренировочные данные (синие точки) находятся в одной части этой прямой, а тестовые данные (красные точки) — в другой части. Тогда линейная регрессия проведет через тренировочные данные прямую, которая хорошо аппроксимирует и тестовые данные. При этом бустинг подстроится исключительно под синие точки, а на границе тренировочной области поведет себя произвольно. Поэтому красные точки (тестовые) будут предсказываться с большой ошибкой. Это простой пример. Довольно часто такого не происходит в реальной жизни, потому что обычно мы предполагаем, что новые данные приходят из той же области, что и старые. Но этот пример хорошо показывает, что бустинг не подходит для экстраполяции функций, то есть для прогнозов на новой области определения (которой не было в тренировочных данных). Пишите свой прмиер в комментариях @machinelearning_interview

Привет, Чемпион!🏆 Хочешь покорить Kaggle и научиться выигрывать соревнования по анализу данных? Тогда наш курс "Введение в соревновательный Data Science" - это именно то, что тебе нужно! ### Что ты получишь? - Первый русскоязычный курс по Соревновательному DS - Минимум теории, максимум практики для победы в чемпионатах. - Большое русскоязычное коммьюнити 400+ студентов курса для совместного прохождения и участия в соревнованиях. - Поддержка преподавателей и даже собственный мерч курса за успехи. ### Начальные требования. - Ты умеешь программировать на Python. - Знаешь основы машинного обучения. - Независимо от уровня подготовки, мы поможем тебе разобраться во всех тонкостях Соревновательного DS и побороться за медали. Скидка 10% по промокоду: TGLETO (Сработает только при переходе по ссылке) Так же можешь подписаться на Канал курса.

📌 Что такое вариационные автоэнкодеры (VAE) ? Автоэнкодер состоит из двух соединенных нейронных сетей: модели энкодера (кодировщика) и модели декодера (декодировщика). Его цель – нахождение метода кодирования лиц знаменитостей в сжатую форму (скрытое пространство) таким образом, чтобы восстановленная версия была как можно ближе к входно Как правило, скрытое пространство Z, создаваемое энкодером, редко заселено, то есть трудно предсказать, распределение значений в этом пространстве. Значения разбросаны, и пространство обычно хорошо визуализируется в двухмерном представлении. Это очень полезная особенность для систем сжатия (компрессии). Однако для генерации новых изображений знаменитостей эта разреженность – проблема, поскольку найти скрытое значение, для которого декодер будет знать, как произвести нормальное изображение, почти невозможно. Более того, если в пространстве есть промежутки между кластерами, и декодер получит вариацию из такого промежутка, ему не хватит знаний, чтобы сгенерировать что-нибудь полезное. Вариационный автоэнкодер делает внутреннее пространство более предсказуемым, более непрерывным и менее разреженным. Заставляя скрытые переменные соответствовать нормальному распределению, VAE получают контроль над скрытым пространством. Вместо прямой передачи скрытых значений декодеру, VAE используют их для расчета средних значений и стандартных отклонений. Затем вход декодера собирается из соответствующего нормального распределения. В процессе обучения VAE заставляет это нормальное распределение быть как можно более близким к стандартному нормальному распределению, включая в функцию потерь расстояние Кульбака-Лейблера. VAE будет изменять, или исследовать вариации на гранях, и не случайным образом, а в определенном, желаемом направлении. Условные вариационные автоэнкодеры позволяют моделировать вход на основе не только скрытой переменной z, но и дополнительной информации вроде метаданных изображения (улыбка, очки, цвет кожи и т.п.) @machinelearning_interview