Machine learning Interview

🔥Одна из самых популярных нейросетей - Stable diffusion, которая позволяет генерировать изображения на основании текстового запроса. Результаты ее работы удивляют и потрясают пользователей. Предлагаем разобраться в ее устройстве со стороны специалиста по компьютерному зрению на открытом уроке 12 июля в 20:00 мск. На встрече вы узнаете принципы построения диффузионных моделей, как устроена модель Stable Diffusion, и какие задачи можно решать с ее помощью Вебинар «Диффузионные модели. Stable diffusion и все-все-все» пройдет в рамках онлайн-курса «Компьютерное зрение» в OTUS. 📌В результате урока вы: - Изучите принцип работы и математические аспекты диффузионных моделей - Поймете, как устроены основные блоки модели Stable Diffusion - Получите понимание для каких задач можно использовать модель Stable Diffusion - Узнаете возможное дальнейшее развитие диффузионных моделей 👉Для участия зарегистрируйтесь https://otus.pw/bCuXc/ Урок будет полезен: — Специалистам в области Computer Vision, NLP и ML-инженерам — Тимлидам data science команд — Тем, кто интересуется современными архитектурами в DL Не упустите возможность протестировать курс! Продолжить обучение на нем возможно в рассрочку. Нативная интеграция подробная информация о продукте на сайте www.otus.ru

📌 Задача про метрики Пусть мы обучили логистическую регрессию и метод опорных векторов для решения задачи бинарной классификации, предсказали классы с помощью моделей на тестовых данных и измерили f1-score. Оказалось, что значение метрики у логистической регрессии на 0,1 выше, чем у метода опорных векторов. Означает ли это, что логистическая регрессия лучше решает задачу? Ответ: нет, не означает. Решение Метрика f1-score зависит от порога, по которому мы переводим предсказанные моделью «вероятности» в классы. По умолчанию порог для перевода равен 0,5: то есть если уверенность модели в положительном классе составляет 0,5 или больше, мы относим объект к положительному классу, а иначе — к отрицательному. При увеличении порога точность (precision) растет, а полнота (recall) падает, и наоборот. Метрика f1-score нелинейно зависит от точности и полноты и вычисляется по формуле: f1= 2*precision *recall / precision* recall Поэтому она будет изменяться при изменении порога. В условии мы измерили значение метрики на исходных классах, то есть использовали порог по умолчанию 0,5. Он мог быть не оптимальным как для логистической регрессии, так и для метода опорных векторов. Чтобы узнать, какая из моделей лучше работает в конкретном случае с точки зрения метрики f1, необходимо для каждой из моделей подобрать свой оптимальный порог и вычислить для него значение f1. Тогда мы сможем сказать, какая модель лучше. @machinelearning_interview

А вы знаете, что такое пирамида признаков? А трансформеры (нет, мы не про фильм)? Это термины, которые используют инженеры, работающие с нейронными сетями! Мы их нашли в канале ИТ-компании «Криптонит» — подписывайтесь на ребят! У них выходят материалы и про ML, и про роботов, и про программирование. А ниже мы выбрали несколько терминов из их нейрословаря🟡 📍Explaining Away — эффект редукции причины как упрощённая схема рассуждений. 📍Инференс (inference) — с точки зрения разработчика это третий этап жизненного цикла искусственной нейронной сети (после её обучения и развёртывания). 📍Многослойный перцептрон (MLP) — это одна из элементарных архитектур, с которой часто начинают освоение нейронных сетей и принципов их обучения. 📍Пирамида признаков (FPN, Feature Pyramid Net) — это вычислительная архитектура, используемая в машинном зрении для обработки изображений без привязки к их разрешению. 📍Трансформеры (transformers) — это не только роботы, но и прогрессивное семейство архитектур нейросетей от Google.

👀Что такое галлюцинации в больших языковых моделях? Какие методы решения вы знаете ? ▪БЯМ (Большие языковые модели) или LLM (Large Language Models) стали популярными в обработке естественного языка. Они используются для перевода, генерации текста и ответов на вопросы. Эти модели обучаются на больших наборах данных и могут создавать тексты, похожие на тексты, написанные человеком. Известные примеры LLM - ChatGPT и GPT-4 от OpenAI. Однако у таких моделей есть проблемы с «галлюцинациями» и доступом к актуальной информации. Галлюцинации проявляются как генерация текста, не соответствующего реальности, с нарушениями фактологии. Нейросеть может придумывать детали, факты, имена или события, которые не существуют в реальности.имеют отношения к реальности. ▪Для решения данной проблемы и уменьшения вероятности галлюцинаций, исследователи предлагают несколько методов: 1. Использование дополнительной модели для поиска информации в документах, с последующей передачей этой информации в генеративную нейросеть. 2. Обучение моделей на бОльшем количестве данных, а также создание специальных (фактологических) наборов данных. 3. Использование обучения с подкреплением, на основе оценок поставленных людьми, как это делают в OpenAI (RLHF). 4. Соединение LLM с моделью мира (это наиболее сложный и перспективный подход, но в данной статье мы его не будем рассматривать из-за объемности). @machinelearning_interview

🔘Что отличает обучение с подкреплением от основных методов машинного обучения? Погрузимся в историю RL и разберем отличительные особенности этого направления 3 июля в 20:00 мск на открытом уроке в OTUS. Вебинар пройдет в рамках старта онлайн-курса «Reinforcement Learning» и будет полезен всем DS/ML/DL специалистам и IT-специалистам, которые хотят расширить свои знания в этой области. 💬На занятии мы: — Рассмотрим RL с точки зрения вычислений и через призму поведенческих и когнитивных наук. — Разберем классический пример многорукого бандита — автомата для казино — Продемонстрируем возможности примитивного алгоритма RL в упрощенной среде. — Обсудим самые знаковые приложения RL нашего времени. 👉Регистрация для участия https://otus.pw/9cC3/ 📌Спикером выступит Андрей Маргерт, исследователь Машинного Обучения в Wageningen Research и преподаватель курса. Не упустите возможность познакомиться с экспертом! После вебинара вы сможете продолжить обучение на курсе, доступном в рассрочку. Нативная интеграция подробная информация о продукте на сайте www.otus.ru

#вопросы_с_собеседований Как работает ROC-кривая? ROC-кривая — это графическое изображение контраста между показателями истинно положительных и ложноположительных результатов при различных пороговых значениях. Если считать TPR и FPR для фиксированного порога μ є [0,1], то их можно представить в виде функций от аргумента μ: TPR = TPR(μ), FPR = FPR(μ). При этом обе функции монотонно возрастают от 0 до 1, а значит, определена функция: ROC(x) = TPR(FPR-1(x)), x є [0,1] ROC-кривая — это график функции. Как правило, у хорошего классификатора кривая лежит по большей части либо целиком выше прямой y=x. Это связано с тем что при хорошей классификации надо получать максимальный TPR при минимальном FPR.

Считается, что аналитика и Data Science — сложные сферы, требующие особого склада ума. В реальности же основные языки работы с данными — SQL и Python — можно изучить, не имея технического образования или опыта в программировании. Каждый может найти себя в сфере аналитики и Data Science и подобрать себе направление по душе. В этом поможет бесплатный пошаговый гайд «Как войти в сферу данных и выбрать своё направление». В гайде: • Полное описание ролей и компетенции в сфере работы с данными — так вы поймёте, с чего начать свой путь в профессию • Чек-листы навыков, необходимые начинающему аналитику данных, системному аналитику, дата-сайентисту и другим представителям сферы данных • Ссылки на полезные ресурсы, книги и бесплатные курсы • Советы HR-специалистов о том, как правильно составить резюме и наработать портфолио • Рейтинг зарплат для начинающих позиций в проектах по аналитике и Data Science Скачать план → https://netolo.gy/bMBg Реклама. ООО «Нетология» LatgBXffu

Spark UDAF — мощный инструмент для анализа данных и обработки сложных операций агрегации в Apache Spark. Как с помощью него разработать свой агрегатор? 📆Поговорим об этом 27 июня в 20:00 с Вадимом Заигриным, ведущим эксперт по технологиям в Сбербанке и преподавателем OTUS. Вебинар «Spark UDAF: разрабатываем свой агрегатор» приурочен к старту онлайн-курса «Spark Developer» в OTUS. 💻На открытом уроке рассмотрим агрегирование данных в Spark, стандартные агрегатные функции и создание собственных агрегатные функции (UDAF). После вебинара вы научитесь создавать собственные агрегатные функции. Урок предназначен для разработчиков Spark, которые хотят выйти за рамки стандартных функций и узнать, как создавать собственные агрегатные функции. Не упустите возможность получить ценные знания, продолжить обучение вы сможете на курсе, доступном в рассрочку. ➡️Для участия пройдите вступительный тест: https://otus.pw/55oC/ Нативная интеграция информация о продукте www.otus.ru

Не упустите уникальную возможность сделать карьеру в области машинного обучения. SMILES-2023 — это 12-дневный интенсивный курс для молодых специалистов, где вы сможете применить знания физики и машинного обучения для эффективного решения сложных инженерных задач в области устойчивого развития. Школа пройдёт с 20 по 31 августа в туркластере Белокуриха Горная — уникальной предгорной местности Алтайского края. Участие — бесплатное, но на основе конкурсного отбора. Подробности и подача заявки. Реклама. Автономная некоммерческая образовательная организация высшего образования «Сколковский институт науки и технологий», ИНН 5032998454

VK Tech Talks · ML для специалистов по машинному обучению Митап пройдёт в гибридном формате уже 22 июня в 19:00 по МСК: приходите в петербургский офис или смотрите онлайн-трансляцию (https://vk.com/video-147415323_456240052). Темы докладов Эксперты ВКонтакте на своём опыте расскажут, как создавать рекомендательные системы в очень разных высоконагруженных продуктах, какие задачи перед ними встают, с какими трудностями сталкиваются и поделятся способами их решения. ▪️ Общее устройство ленты; ▪️ Многокритериальная оптимизация в умной ленте; ▪️ Новая лента рекомендаций с фокусом на персонализированном медиаконтенте; ▪️ Рекомендации товаров в ленте и VK Маркете; ▪️ Implicit Feedback Is All You Need; ▪️ Ранжирование историй. Регистрируйтесь, чтобы попасть в закрытый чат, где вы сможете задать вопросы докладчикам. @machinelearning_interview

🌐 Что такое эмбединги в NLP. Приведите примеры. Эмбеддинги - это модель, которая позволяет предсказать близкие по смыслу слова, или слова которые чаще всего употребляются друг с другом. Построить эту модель можно следующим образом: Текст нужно разделить на словосочетания из нечетного количества слов. Например 3 или 5 слов. Это называют Context Window. На вход модели подается центральное слово из Context Window в формате one-hot вектора. На выход модели подаются слова которые идут следом или перед ним. Для Context Windows = 3, это будут 2 one hot вектора (предыдущее слово и следующее слово), либо сумма этих 2х векторов (bag of words). Если Context Window будет равным 5, то слов будет 4, а не 2. Затем нужно сдвинуть Context Window на один шаг и повторить процедуру. Таким образом мы создадим датасет для обучения. Этот датасет мы подадим в автоенкодер для обучения. Такая модель называется Skip Gram (Когда на входе центральное слово, а на выходе то что его окружает). CBOW - это наоборот, когда мы в модель подаем то что окружает слово, а на выходе получаем центральное слово. Размер входного слоя и выходного слоя равен размеру словаря. Входной слой и скрытый слой кодируют слово. Скрытый слой и выход декодируют слово. Таким образом можно, закодировать one hot вектора в эмбеддинг. А вектор эмбединга будет заметно меньше, чем one-hot вектор. Эмбедингом называется матрица весов между входом и скрытым слоем. Или значения, которые возникают на скрытом слое, при подаче one-hot вектора слова в модель. Эмбеддинг, в дальнейшем можно передать в классификатор, вместо Bag of words. Делается это следующим образом: Береться строка и каждому слову ставятся индексы из словоря. Получается вектор индексов. Затем для каждого слова, нужно поставить его эмбединг по индексу слова. Получается двумерный вектор размером [ длина строки ] X [ размер эмбединга ]. Например, 300 x 50. После этого, этот вектор надо передать в классификатор. Т.к. используются уже двумерные слои, можно использовать сверточные сети. Это будет уже новая нейронная сеть, которая принимает на вход индексы слов, превращает их в вектор эмбединга, а после отправить результат в классификатор. И данную сеть можно обучать, в том числе обучить и эмбединг. Можно взять готовый эмбединг, а можно обучить его самостоятельно. model = ai.CustomModel( model_name = "Model_embedding_1", input_shape = input_shape, module = nn.Sequential( nn.Embedding(10000, 50), Transform_Flat(), nn.Linear(300*50, 1024), nn.ReLU(inplace=True), nn.Linear(1024, 256), nn.ReLU(inplace=True), nn.Linear(256, output_shape[0]), nn.Softmax(dim=-1), ), ) @machinelearning_interview

VK Tech Talks · ML для специалистов по машинному обучению Митап пройдёт в гибридном формате уже 22 июня в 19:00 по МСК: приходите в петербургский офис или смотрите онлайн-трансляцию (https://vk.com/video-147415323_456240052). Темы докладов Эксперты ВКонтакте на своём опыте расскажут, как создавать рекомендательные системы в очень разных высоконагруженных продуктах, какие задачи перед ними встают, с какими трудностями сталкиваются и поделятся способами их решения. ▪️ Общее устройство ленты; ▪️ Многокритериальная оптимизация в умной ленте; ▪️ Новая лента рекомендаций с фокусом на персонализированном медиаконтенте; ▪️ Рекомендации товаров в ленте и VK Маркете; ▪️ Implicit Feedback Is All You Need; ▪️ Ранжирование историй. Регистрируйтесь, чтобы попасть в закрытый чат, где вы сможете задать вопросы докладчикам. @machinelearning_interview

👉Присоединяйтесь к нашему сообществу Data Analyst REBRAIN, если вы интересуетесь аналитикой данных, управлением проектами или маркетингом. У нас для вас есть множество открытых онлайн-практикумов каждый месяц, которые проводят профессиональные аналитики. В рамках практикумов мы разбираем реальные кейсы анализа данных с использованием самых актуальных инструментов, таких как Python, SQL, Tableau, бизнес-метрики и визуализация данных, статистика, теория вероятностей и другие. Уровень сложности и направление каждого практикума подобраны таким образом, чтобы каждый мог найти для себя интересные задачи и развиваться в соответствии с уровнем своей компетенции. ✔️ Подключайтесь к нам уже сегодня и начинайте развивать свои навыки в области анализа данных совершенно бесплатно!