Machine learning Interview

Стать Middle ML-специалистом просто — поступи в крупнейшую в России магистратуру по ИИ в ИТМО 🚀 Магистратура AI Talent Hub создана компанией Napoleon IT совместно с ведущим технологическим вузом — ИТМО. За 2 года вы получите актуальные знания в области искусственного интеллекта и освоите перспективные ML-специальности на уровне Middle. AI Talent Hub — это: 🔹200 бюджетных мест для талантливых абитуриентов — становитесь профессионалами в ИИ 🔹обучение на решении реальных бизнес-задач — применяйте знания и навыки на практике уже во время магистратуры 🔹опытные профессионалы-менторы из ведущих партнерских IT-компаний — OZON, VK, Сбер, МТС Digital, Huawei Noah's Ark, «Татнефть», Mail.ru, Яндекс, Газпром и другие — получайте практические знания и возможности для развития 🔹онлайн-формат обучения — учитесь из любой точки земного шара 🔹более 100 курсов по разным направлениям машинного обучения от ИТМО, Передовой инженерной школы ИТМО и экспертов крупных IT-компаний — выбирайте сами, кем хотите стать 🔹обучение в неклассических образовательных форматах — воркшопы, хакатоны, проектные и кейс-семинары — забудьте про скучные лекции и лабораторные. Набор на программу AI Talent Hub «Искусственный интеллект» уже в самом разгаре 🔥 До 10 июля подавайте заявку на конкурс проектов, поступайте без экзаменов и становитесь экспертом в области искусственного интеллекта!

🖥 Задача про градиентный бустинг Градиентный бустинг — один из самых мощных алгоритмов классического машинного обучения. Приведите пример, когда градиентный бустинг в задаче регрессии будет работать хуже линейной регрессии. Решение Представим себе, что данные имеют линейную зависимость и получилось так, что тренировочные данные (синие точки) находятся в одной части этой прямой, а тестовые данные (красные точки) — в другой части. Тогда линейная регрессия проведет через тренировочные данные прямую, которая хорошо аппроксимирует и тестовые данные. При этом бустинг подстроится исключительно под синие точки, а на границе тренировочной области поведет себя произвольно. Поэтому красные точки (тестовые) будут предсказываться с большой ошибкой. Это простой пример. Довольно часто такого не происходит в реальной жизни, потому что обычно мы предполагаем, что новые данные приходят из той же области, что и старые. Но этот пример хорошо показывает, что бустинг не подходит для экстраполяции функций, то есть для прогнозов на новой области определения (которой не было в тренировочных данных). Пишите свой прмиер в комментариях @machinelearning_interview

Привет, Чемпион!🏆 Хочешь покорить Kaggle и научиться выигрывать соревнования по анализу данных? Тогда наш курс "Введение в соревновательный Data Science" - это именно то, что тебе нужно! ### Что ты получишь? - Первый русскоязычный курс по Соревновательному DS - Минимум теории, максимум практики для победы в чемпионатах. - Большое русскоязычное коммьюнити 400+ студентов курса для совместного прохождения и участия в соревнованиях. - Поддержка преподавателей и даже собственный мерч курса за успехи. ### Начальные требования. - Ты умеешь программировать на Python. - Знаешь основы машинного обучения. - Независимо от уровня подготовки, мы поможем тебе разобраться во всех тонкостях Соревновательного DS и побороться за медали. Скидка 10% по промокоду: TGLETO (Сработает только при переходе по ссылке) Так же можешь подписаться на Канал курса.

📌 Что такое вариационные автоэнкодеры (VAE) ? Автоэнкодер состоит из двух соединенных нейронных сетей: модели энкодера (кодировщика) и модели декодера (декодировщика). Его цель – нахождение метода кодирования лиц знаменитостей в сжатую форму (скрытое пространство) таким образом, чтобы восстановленная версия была как можно ближе к входно Как правило, скрытое пространство Z, создаваемое энкодером, редко заселено, то есть трудно предсказать, распределение значений в этом пространстве. Значения разбросаны, и пространство обычно хорошо визуализируется в двухмерном представлении. Это очень полезная особенность для систем сжатия (компрессии). Однако для генерации новых изображений знаменитостей эта разреженность – проблема, поскольку найти скрытое значение, для которого декодер будет знать, как произвести нормальное изображение, почти невозможно. Более того, если в пространстве есть промежутки между кластерами, и декодер получит вариацию из такого промежутка, ему не хватит знаний, чтобы сгенерировать что-нибудь полезное. Вариационный автоэнкодер делает внутреннее пространство более предсказуемым, более непрерывным и менее разреженным. Заставляя скрытые переменные соответствовать нормальному распределению, VAE получают контроль над скрытым пространством. Вместо прямой передачи скрытых значений декодеру, VAE используют их для расчета средних значений и стандартных отклонений. Затем вход декодера собирается из соответствующего нормального распределения. В процессе обучения VAE заставляет это нормальное распределение быть как можно более близким к стандартному нормальному распределению, включая в функцию потерь расстояние Кульбака-Лейблера. VAE будет изменять, или исследовать вариации на гранях, и не случайным образом, а в определенном, желаемом направлении. Условные вариационные автоэнкодеры позволяют моделировать вход на основе не только скрытой переменной z, но и дополнительной информации вроде метаданных изображения (улыбка, очки, цвет кожи и т.п.) @machinelearning_interview

🔥Одна из самых популярных нейросетей - Stable diffusion, которая позволяет генерировать изображения на основании текстового запроса. Результаты ее работы удивляют и потрясают пользователей. Предлагаем разобраться в ее устройстве со стороны специалиста по компьютерному зрению на открытом уроке 12 июля в 20:00 мск. На встрече вы узнаете принципы построения диффузионных моделей, как устроена модель Stable Diffusion, и какие задачи можно решать с ее помощью Вебинар «Диффузионные модели. Stable diffusion и все-все-все» пройдет в рамках онлайн-курса «Компьютерное зрение» в OTUS. 📌В результате урока вы: - Изучите принцип работы и математические аспекты диффузионных моделей - Поймете, как устроены основные блоки модели Stable Diffusion - Получите понимание для каких задач можно использовать модель Stable Diffusion - Узнаете возможное дальнейшее развитие диффузионных моделей 👉Для участия зарегистрируйтесь https://otus.pw/bCuXc/ Урок будет полезен: — Специалистам в области Computer Vision, NLP и ML-инженерам — Тимлидам data science команд — Тем, кто интересуется современными архитектурами в DL Не упустите возможность протестировать курс! Продолжить обучение на нем возможно в рассрочку. Нативная интеграция подробная информация о продукте на сайте www.otus.ru

📌 Задача про метрики Пусть мы обучили логистическую регрессию и метод опорных векторов для решения задачи бинарной классификации, предсказали классы с помощью моделей на тестовых данных и измерили f1-score. Оказалось, что значение метрики у логистической регрессии на 0,1 выше, чем у метода опорных векторов. Означает ли это, что логистическая регрессия лучше решает задачу? Ответ: нет, не означает. Решение Метрика f1-score зависит от порога, по которому мы переводим предсказанные моделью «вероятности» в классы. По умолчанию порог для перевода равен 0,5: то есть если уверенность модели в положительном классе составляет 0,5 или больше, мы относим объект к положительному классу, а иначе — к отрицательному. При увеличении порога точность (precision) растет, а полнота (recall) падает, и наоборот. Метрика f1-score нелинейно зависит от точности и полноты и вычисляется по формуле: f1= 2*precision *recall / precision* recall Поэтому она будет изменяться при изменении порога. В условии мы измерили значение метрики на исходных классах, то есть использовали порог по умолчанию 0,5. Он мог быть не оптимальным как для логистической регрессии, так и для метода опорных векторов. Чтобы узнать, какая из моделей лучше работает в конкретном случае с точки зрения метрики f1, необходимо для каждой из моделей подобрать свой оптимальный порог и вычислить для него значение f1. Тогда мы сможем сказать, какая модель лучше. @machinelearning_interview

А вы знаете, что такое пирамида признаков? А трансформеры (нет, мы не про фильм)? Это термины, которые используют инженеры, работающие с нейронными сетями! Мы их нашли в канале ИТ-компании «Криптонит» — подписывайтесь на ребят! У них выходят материалы и про ML, и про роботов, и про программирование. А ниже мы выбрали несколько терминов из их нейрословаря🟡 📍Explaining Away — эффект редукции причины как упрощённая схема рассуждений. 📍Инференс (inference) — с точки зрения разработчика это третий этап жизненного цикла искусственной нейронной сети (после её обучения и развёртывания). 📍Многослойный перцептрон (MLP) — это одна из элементарных архитектур, с которой часто начинают освоение нейронных сетей и принципов их обучения. 📍Пирамида признаков (FPN, Feature Pyramid Net) — это вычислительная архитектура, используемая в машинном зрении для обработки изображений без привязки к их разрешению. 📍Трансформеры (transformers) — это не только роботы, но и прогрессивное семейство архитектур нейросетей от Google.

👀Что такое галлюцинации в больших языковых моделях? Какие методы решения вы знаете ? ▪БЯМ (Большие языковые модели) или LLM (Large Language Models) стали популярными в обработке естественного языка. Они используются для перевода, генерации текста и ответов на вопросы. Эти модели обучаются на больших наборах данных и могут создавать тексты, похожие на тексты, написанные человеком. Известные примеры LLM - ChatGPT и GPT-4 от OpenAI. Однако у таких моделей есть проблемы с «галлюцинациями» и доступом к актуальной информации. Галлюцинации проявляются как генерация текста, не соответствующего реальности, с нарушениями фактологии. Нейросеть может придумывать детали, факты, имена или события, которые не существуют в реальности.имеют отношения к реальности. ▪Для решения данной проблемы и уменьшения вероятности галлюцинаций, исследователи предлагают несколько методов: 1. Использование дополнительной модели для поиска информации в документах, с последующей передачей этой информации в генеративную нейросеть. 2. Обучение моделей на бОльшем количестве данных, а также создание специальных (фактологических) наборов данных. 3. Использование обучения с подкреплением, на основе оценок поставленных людьми, как это делают в OpenAI (RLHF). 4. Соединение LLM с моделью мира (это наиболее сложный и перспективный подход, но в данной статье мы его не будем рассматривать из-за объемности). @machinelearning_interview

🔘Что отличает обучение с подкреплением от основных методов машинного обучения? Погрузимся в историю RL и разберем отличительные особенности этого направления 3 июля в 20:00 мск на открытом уроке в OTUS. Вебинар пройдет в рамках старта онлайн-курса «Reinforcement Learning» и будет полезен всем DS/ML/DL специалистам и IT-специалистам, которые хотят расширить свои знания в этой области. 💬На занятии мы: — Рассмотрим RL с точки зрения вычислений и через призму поведенческих и когнитивных наук. — Разберем классический пример многорукого бандита — автомата для казино — Продемонстрируем возможности примитивного алгоритма RL в упрощенной среде. — Обсудим самые знаковые приложения RL нашего времени. 👉Регистрация для участия https://otus.pw/9cC3/ 📌Спикером выступит Андрей Маргерт, исследователь Машинного Обучения в Wageningen Research и преподаватель курса. Не упустите возможность познакомиться с экспертом! После вебинара вы сможете продолжить обучение на курсе, доступном в рассрочку. Нативная интеграция подробная информация о продукте на сайте www.otus.ru

#вопросы_с_собеседований Как работает ROC-кривая? ROC-кривая — это графическое изображение контраста между показателями истинно положительных и ложноположительных результатов при различных пороговых значениях. Если считать TPR и FPR для фиксированного порога μ є [0,1], то их можно представить в виде функций от аргумента μ: TPR = TPR(μ), FPR = FPR(μ). При этом обе функции монотонно возрастают от 0 до 1, а значит, определена функция: ROC(x) = TPR(FPR-1(x)), x є [0,1] ROC-кривая — это график функции. Как правило, у хорошего классификатора кривая лежит по большей части либо целиком выше прямой y=x. Это связано с тем что при хорошей классификации надо получать максимальный TPR при минимальном FPR.

Считается, что аналитика и Data Science — сложные сферы, требующие особого склада ума. В реальности же основные языки работы с данными — SQL и Python — можно изучить, не имея технического образования или опыта в программировании. Каждый может найти себя в сфере аналитики и Data Science и подобрать себе направление по душе. В этом поможет бесплатный пошаговый гайд «Как войти в сферу данных и выбрать своё направление». В гайде: • Полное описание ролей и компетенции в сфере работы с данными — так вы поймёте, с чего начать свой путь в профессию • Чек-листы навыков, необходимые начинающему аналитику данных, системному аналитику, дата-сайентисту и другим представителям сферы данных • Ссылки на полезные ресурсы, книги и бесплатные курсы • Советы HR-специалистов о том, как правильно составить резюме и наработать портфолио • Рейтинг зарплат для начинающих позиций в проектах по аналитике и Data Science Скачать план → https://netolo.gy/bMBg Реклама. ООО «Нетология» LatgBXffu

Spark UDAF — мощный инструмент для анализа данных и обработки сложных операций агрегации в Apache Spark. Как с помощью него разработать свой агрегатор? 📆Поговорим об этом 27 июня в 20:00 с Вадимом Заигриным, ведущим эксперт по технологиям в Сбербанке и преподавателем OTUS. Вебинар «Spark UDAF: разрабатываем свой агрегатор» приурочен к старту онлайн-курса «Spark Developer» в OTUS. 💻На открытом уроке рассмотрим агрегирование данных в Spark, стандартные агрегатные функции и создание собственных агрегатные функции (UDAF). После вебинара вы научитесь создавать собственные агрегатные функции. Урок предназначен для разработчиков Spark, которые хотят выйти за рамки стандартных функций и узнать, как создавать собственные агрегатные функции. Не упустите возможность получить ценные знания, продолжить обучение вы сможете на курсе, доступном в рассрочку. ➡️Для участия пройдите вступительный тест: https://otus.pw/55oC/ Нативная интеграция информация о продукте www.otus.ru

Не упустите уникальную возможность сделать карьеру в области машинного обучения. SMILES-2023 — это 12-дневный интенсивный курс для молодых специалистов, где вы сможете применить знания физики и машинного обучения для эффективного решения сложных инженерных задач в области устойчивого развития. Школа пройдёт с 20 по 31 августа в туркластере Белокуриха Горная — уникальной предгорной местности Алтайского края. Участие — бесплатное, но на основе конкурсного отбора. Подробности и подача заявки. Реклама. Автономная некоммерческая образовательная организация высшего образования «Сколковский институт науки и технологий», ИНН 5032998454

VK Tech Talks · ML для специалистов по машинному обучению Митап пройдёт в гибридном формате уже 22 июня в 19:00 по МСК: приходите в петербургский офис или смотрите онлайн-трансляцию (https://vk.com/video-147415323_456240052). Темы докладов Эксперты ВКонтакте на своём опыте расскажут, как создавать рекомендательные системы в очень разных высоконагруженных продуктах, какие задачи перед ними встают, с какими трудностями сталкиваются и поделятся способами их решения. ▪️ Общее устройство ленты; ▪️ Многокритериальная оптимизация в умной ленте; ▪️ Новая лента рекомендаций с фокусом на персонализированном медиаконтенте; ▪️ Рекомендации товаров в ленте и VK Маркете; ▪️ Implicit Feedback Is All You Need; ▪️ Ранжирование историй. Регистрируйтесь, чтобы попасть в закрытый чат, где вы сможете задать вопросы докладчикам. @machinelearning_interview

🌐 Что такое эмбединги в NLP. Приведите примеры. Эмбеддинги - это модель, которая позволяет предсказать близкие по смыслу слова, или слова которые чаще всего употребляются друг с другом. Построить эту модель можно следующим образом: Текст нужно разделить на словосочетания из нечетного количества слов. Например 3 или 5 слов. Это называют Context Window. На вход модели подается центральное слово из Context Window в формате one-hot вектора. На выход модели подаются слова которые идут следом или перед ним. Для Context Windows = 3, это будут 2 one hot вектора (предыдущее слово и следующее слово), либо сумма этих 2х векторов (bag of words). Если Context Window будет равным 5, то слов будет 4, а не 2. Затем нужно сдвинуть Context Window на один шаг и повторить процедуру. Таким образом мы создадим датасет для обучения. Этот датасет мы подадим в автоенкодер для обучения. Такая модель называется Skip Gram (Когда на входе центральное слово, а на выходе то что его окружает). CBOW - это наоборот, когда мы в модель подаем то что окружает слово, а на выходе получаем центральное слово. Размер входного слоя и выходного слоя равен размеру словаря. Входной слой и скрытый слой кодируют слово. Скрытый слой и выход декодируют слово. Таким образом можно, закодировать one hot вектора в эмбеддинг. А вектор эмбединга будет заметно меньше, чем one-hot вектор. Эмбедингом называется матрица весов между входом и скрытым слоем. Или значения, которые возникают на скрытом слое, при подаче one-hot вектора слова в модель. Эмбеддинг, в дальнейшем можно передать в классификатор, вместо Bag of words. Делается это следующим образом: Береться строка и каждому слову ставятся индексы из словоря. Получается вектор индексов. Затем для каждого слова, нужно поставить его эмбединг по индексу слова. Получается двумерный вектор размером [ длина строки ] X [ размер эмбединга ]. Например, 300 x 50. После этого, этот вектор надо передать в классификатор. Т.к. используются уже двумерные слои, можно использовать сверточные сети. Это будет уже новая нейронная сеть, которая принимает на вход индексы слов, превращает их в вектор эмбединга, а после отправить результат в классификатор. И данную сеть можно обучать, в том числе обучить и эмбединг. Можно взять готовый эмбединг, а можно обучить его самостоятельно. model = ai.CustomModel( model_name = "Model_embedding_1", input_shape = input_shape, module = nn.Sequential( nn.Embedding(10000, 50), Transform_Flat(), nn.Linear(300*50, 1024), nn.ReLU(inplace=True), nn.Linear(1024, 256), nn.ReLU(inplace=True), nn.Linear(256, output_shape[0]), nn.Softmax(dim=-1), ), ) @machinelearning_interview