Machine learning Interview

@ozon_tech Intro Meetup в Алматы📍 27 июля | 18:00 (UTC +6) офлайн | онлайн ML, DS и Java-инженеры, для вас — особое приглашение, потому что на повестке: 1️⃣Рекламная платформа в Ozon, её архитектура и ML. 2️⃣Архитектура рантайма поиска в Ozon, поиск по индексу, сбор данных из различных источников, ранжирование документов с учётом пользовательских фичей. 3️⃣Архитектура рекомендаций, персонализация товарной выдачи и работа с десятками рекомендательных полок. 4️⃣Машинное обучение для рекомендаций товаров в Ozon и data science часть рекомендательной системы. 5️⃣Программы обучения, стажировки и жизнь сообщества Ozon Tech. Регистрация штука обязательная. Не откладывайте её. До встречи на митапе! #ozontech_meetup

🚀 Что такое Fine Tuning ? Какие шаги включает ? Что дает Fine Tuning ? В отличие от feature extraction, суть дообучения (Fine Tuning) заключается в размораживании последних слоев нейронной сети (Neural Net) и их обучении. Таким образом, корректируются слои, которые имеют наиболее абстрактные представления. Производя дообучение только нескольких слоев, мы уменьшаем риск переобучения (overfitting). И самое главное, это позволяет сделать текущую модель ещё более подходящей к нашей задаче. Если верхние слои следует дообучить, то полносвязные слои нужно заменить на свои и тоже обучить. Fine-tuning экономит ресурсы и время. Чтобы качественно обучить нейросеть, всей структуре языка нужны огромные вычислительные мощности,а также корпус всех текстов, которые удастся собрать с Интернета. Эта задача достаточно сложна, и обычному исследователю вряд ли удастся в одиночку создать целую языковую модель. Fine-tuning позволяет нам не изобретать велосипед, а разрабатывать что-то новое на основе уже полученных навыков. Процедура Fine tuning состоит в следующем: • Заморозить все слои предварительно обученной модели. • Добавить свои слои к обученной модели. • Обучить добавленные слои. • Разморозить несколько верхних слоев. • Обучить эти слои и добавленную часть вместе. @machinelearning_interview

💣Есть знания, которые постоянно требуют актуализации, а есть - база! Убедитесь в этом 20 июля в 17:00 мск на бесплатном вебинаре в OTUS. Вебинар приурочен к старту онлайн-курса «Математика для программистов». 🔥На бесплатном вебинаре «Логические исчисления, и как они связаны с языками программирования» мы: — разберём, что общего между программистом и математиком, и в чём разница. — будет показано, что языки программирования строятся на тех же принципах, что и доказательства математических теорем, а выразительные способности языков программирования ограничиваются понятиями полноты и непротиворечивости. Ведущий — Евгений Тюменцев, опытный директор компании по разработке программного обеспечения. После вебинара полный курс можно приобрести в том числе в рассрочку. Нативная интеграция. Информация о продукте www.otus.ru

Kubeflow Pipelines оптимизирует обучение ML-моделей Свой опыт в статье на Хабре описывает инженер по машинному обучению в ML-команде проектов для бизнесов и покупателей ВКонтакте. Она расскажет, чем Kubeflow Pipelines может быть полезен ML-специалисту и как в нём без потери существующей кодовой базы можно запускать готовые пайплайны. Благодаря этому материалу вы с помощью библиотеки kfp и нескольких функций сможете интегрировать существующий код для запуска ML-пайплайнов в инструмент Kubeflow Pipelines с удобным интерфейсом, в котором разработчик может быстро запускать эксперименты по машинному обучению и выбирать лучшее решение. @machinelearning_interview

⚡️ Друзья, сегодня у нас в гостях Артем Пруденко, профессионал по выстраиванию процессов в Data Science. В 18:00 на Youtube-канале Neogenda состоится премьера интервью, на котором обсудим: ▪️ Почему Data Science стоит столько денег? ▪️ Чем отличается процесс с использованием Data Science от обычной продуктовой разработки? ▪️ Где учат Data Science? Когда Data Science необходим бизнесу? Об этом и не только узнаете в видео. 👍 Рекомендуем к просмотру, подписывайтесь на канал!

📖 Introduction to Machine Learning Interviews Book Книга для подготовки к собеседованию по машинному обучению. В качестве соискателя автор прошел собеседования в десятке крупных компаний и стартапов и получил предложения на должности в области машинного обучения в таких компаниях, как Google, NVIDIA, Snap, Netflix, Primer AI и Snorkel AI. Полезная книга для для закрепления теоретических и практических знаний в области машинного обучения. 📚 Книга @machinelearning_interview

⚡️Осилите ли вы тест для Data-инженеров? Ответьте на 24 вопросов за 30 минут и проверьте, готовы ли вы к обучению на онлайн-курсе «Spark Developer» от OTUS. Spark — важнейший фреймворк в Big Data c открытым исходным кодом. На курсе вы научитесь работать с большими данными и закрепите знания с помощью сложных домашних заданий и выпускного проекта. Пройдете тест — получите демо-ролик о занятиях на курсе и доступ к открытому уроку «Оптимизация параметров запуска приложения Spark», 11 июля в 20:00. 📝Пройти тест: https://otus.pw/ofHLh/ Нативная интеграция. Информация о продукте www.otus.ru

Задача про градиентный спуск С помощью градиентного спуска, как известно, можно обучать различные модели машинного обучения. Верно ли, что классический градиентный спуск всегда найдет глобальный минимум функции потерь и выдаст оптимальные параметры? Ответ: нет, неверно. Решение Посмотрим на формулу градиентного спуска (картинка 1) По основному свойству градиента с каждым следующим шагом метода мы будем двигаться все ближе и ближе к минимуму функции потерь Q, что хорошо. Но нет гарантии, что мы придем именно в глобальный минимум, а не застрянем в локальном(картинка 2). Кроме того, градиентный спуск будет испытывать трудности в точках перегиба функции, ведь в них градиент тоже равен нулю, и метод может остановиться вблизи этой точки. Еще одна причина неудачи метода — неверный выбор градиентного шага. Например, при очень маленьком градиентном шаге метод будет идти в сторону минимума слишком медленно и остановится просто из-за ограничения на число итераций, не дойдя до него. А при слишком большом градиентном шаге метод может не попасть в минимум и «прыгать» вокруг него до тех пор, пока не остановится из-за ограничения на число итераций. Иногда метод при большом градиентном шаге может даже разойтись. В классическом машинном обучении мы почти не сталкиваемся с описанными проблемами, но вот в Deep Learning этих проблем достаточно. Для их решения придумано множество модификаций градиентного спуска. @machinelearning_interview

Стать Middle ML-специалистом просто — поступи в крупнейшую в России магистратуру по ИИ в ИТМО 🚀 Магистратура AI Talent Hub создана компанией Napoleon IT совместно с ведущим технологическим вузом — ИТМО. За 2 года вы получите актуальные знания в области искусственного интеллекта и освоите перспективные ML-специальности на уровне Middle. AI Talent Hub — это: 🔹200 бюджетных мест для талантливых абитуриентов — становитесь профессионалами в ИИ 🔹обучение на решении реальных бизнес-задач — применяйте знания и навыки на практике уже во время магистратуры 🔹опытные профессионалы-менторы из ведущих партнерских IT-компаний — OZON, VK, Сбер, МТС Digital, Huawei Noah's Ark, «Татнефть», Mail.ru, Яндекс, Газпром и другие — получайте практические знания и возможности для развития 🔹онлайн-формат обучения — учитесь из любой точки земного шара 🔹более 100 курсов по разным направлениям машинного обучения от ИТМО, Передовой инженерной школы ИТМО и экспертов крупных IT-компаний — выбирайте сами, кем хотите стать 🔹обучение в неклассических образовательных форматах — воркшопы, хакатоны, проектные и кейс-семинары — забудьте про скучные лекции и лабораторные. Набор на программу AI Talent Hub «Искусственный интеллект» уже в самом разгаре 🔥 До 10 июля подавайте заявку на конкурс проектов, поступайте без экзаменов и становитесь экспертом в области искусственного интеллекта!

🖥 Задача про градиентный бустинг Градиентный бустинг — один из самых мощных алгоритмов классического машинного обучения. Приведите пример, когда градиентный бустинг в задаче регрессии будет работать хуже линейной регрессии. Решение Представим себе, что данные имеют линейную зависимость и получилось так, что тренировочные данные (синие точки) находятся в одной части этой прямой, а тестовые данные (красные точки) — в другой части. Тогда линейная регрессия проведет через тренировочные данные прямую, которая хорошо аппроксимирует и тестовые данные. При этом бустинг подстроится исключительно под синие точки, а на границе тренировочной области поведет себя произвольно. Поэтому красные точки (тестовые) будут предсказываться с большой ошибкой. Это простой пример. Довольно часто такого не происходит в реальной жизни, потому что обычно мы предполагаем, что новые данные приходят из той же области, что и старые. Но этот пример хорошо показывает, что бустинг не подходит для экстраполяции функций, то есть для прогнозов на новой области определения (которой не было в тренировочных данных). Пишите свой прмиер в комментариях @machinelearning_interview

Привет, Чемпион!🏆 Хочешь покорить Kaggle и научиться выигрывать соревнования по анализу данных? Тогда наш курс "Введение в соревновательный Data Science" - это именно то, что тебе нужно! ### Что ты получишь? - Первый русскоязычный курс по Соревновательному DS - Минимум теории, максимум практики для победы в чемпионатах. - Большое русскоязычное коммьюнити 400+ студентов курса для совместного прохождения и участия в соревнованиях. - Поддержка преподавателей и даже собственный мерч курса за успехи. ### Начальные требования. - Ты умеешь программировать на Python. - Знаешь основы машинного обучения. - Независимо от уровня подготовки, мы поможем тебе разобраться во всех тонкостях Соревновательного DS и побороться за медали. Скидка 10% по промокоду: TGLETO (Сработает только при переходе по ссылке) Так же можешь подписаться на Канал курса.

📌 Что такое вариационные автоэнкодеры (VAE) ? Автоэнкодер состоит из двух соединенных нейронных сетей: модели энкодера (кодировщика) и модели декодера (декодировщика). Его цель – нахождение метода кодирования лиц знаменитостей в сжатую форму (скрытое пространство) таким образом, чтобы восстановленная версия была как можно ближе к входно Как правило, скрытое пространство Z, создаваемое энкодером, редко заселено, то есть трудно предсказать, распределение значений в этом пространстве. Значения разбросаны, и пространство обычно хорошо визуализируется в двухмерном представлении. Это очень полезная особенность для систем сжатия (компрессии). Однако для генерации новых изображений знаменитостей эта разреженность – проблема, поскольку найти скрытое значение, для которого декодер будет знать, как произвести нормальное изображение, почти невозможно. Более того, если в пространстве есть промежутки между кластерами, и декодер получит вариацию из такого промежутка, ему не хватит знаний, чтобы сгенерировать что-нибудь полезное. Вариационный автоэнкодер делает внутреннее пространство более предсказуемым, более непрерывным и менее разреженным. Заставляя скрытые переменные соответствовать нормальному распределению, VAE получают контроль над скрытым пространством. Вместо прямой передачи скрытых значений декодеру, VAE используют их для расчета средних значений и стандартных отклонений. Затем вход декодера собирается из соответствующего нормального распределения. В процессе обучения VAE заставляет это нормальное распределение быть как можно более близким к стандартному нормальному распределению, включая в функцию потерь расстояние Кульбака-Лейблера. VAE будет изменять, или исследовать вариации на гранях, и не случайным образом, а в определенном, желаемом направлении. Условные вариационные автоэнкодеры позволяют моделировать вход на основе не только скрытой переменной z, но и дополнительной информации вроде метаданных изображения (улыбка, очки, цвет кожи и т.п.) @machinelearning_interview

🔥Одна из самых популярных нейросетей - Stable diffusion, которая позволяет генерировать изображения на основании текстового запроса. Результаты ее работы удивляют и потрясают пользователей. Предлагаем разобраться в ее устройстве со стороны специалиста по компьютерному зрению на открытом уроке 12 июля в 20:00 мск. На встрече вы узнаете принципы построения диффузионных моделей, как устроена модель Stable Diffusion, и какие задачи можно решать с ее помощью Вебинар «Диффузионные модели. Stable diffusion и все-все-все» пройдет в рамках онлайн-курса «Компьютерное зрение» в OTUS. 📌В результате урока вы: - Изучите принцип работы и математические аспекты диффузионных моделей - Поймете, как устроены основные блоки модели Stable Diffusion - Получите понимание для каких задач можно использовать модель Stable Diffusion - Узнаете возможное дальнейшее развитие диффузионных моделей 👉Для участия зарегистрируйтесь https://otus.pw/bCuXc/ Урок будет полезен: — Специалистам в области Computer Vision, NLP и ML-инженерам — Тимлидам data science команд — Тем, кто интересуется современными архитектурами в DL Не упустите возможность протестировать курс! Продолжить обучение на нем возможно в рассрочку. Нативная интеграция подробная информация о продукте на сайте www.otus.ru

📌 Задача про метрики Пусть мы обучили логистическую регрессию и метод опорных векторов для решения задачи бинарной классификации, предсказали классы с помощью моделей на тестовых данных и измерили f1-score. Оказалось, что значение метрики у логистической регрессии на 0,1 выше, чем у метода опорных векторов. Означает ли это, что логистическая регрессия лучше решает задачу? Ответ: нет, не означает. Решение Метрика f1-score зависит от порога, по которому мы переводим предсказанные моделью «вероятности» в классы. По умолчанию порог для перевода равен 0,5: то есть если уверенность модели в положительном классе составляет 0,5 или больше, мы относим объект к положительному классу, а иначе — к отрицательному. При увеличении порога точность (precision) растет, а полнота (recall) падает, и наоборот. Метрика f1-score нелинейно зависит от точности и полноты и вычисляется по формуле: f1= 2*precision *recall / precision* recall Поэтому она будет изменяться при изменении порога. В условии мы измерили значение метрики на исходных классах, то есть использовали порог по умолчанию 0,5. Он мог быть не оптимальным как для логистической регрессии, так и для метода опорных векторов. Чтобы узнать, какая из моделей лучше работает в конкретном случае с точки зрения метрики f1, необходимо для каждой из моделей подобрать свой оптимальный порог и вычислить для него значение f1. Тогда мы сможем сказать, какая модель лучше. @machinelearning_interview

А вы знаете, что такое пирамида признаков? А трансформеры (нет, мы не про фильм)? Это термины, которые используют инженеры, работающие с нейронными сетями! Мы их нашли в канале ИТ-компании «Криптонит» — подписывайтесь на ребят! У них выходят материалы и про ML, и про роботов, и про программирование. А ниже мы выбрали несколько терминов из их нейрословаря🟡 📍Explaining Away — эффект редукции причины как упрощённая схема рассуждений. 📍Инференс (inference) — с точки зрения разработчика это третий этап жизненного цикла искусственной нейронной сети (после её обучения и развёртывания). 📍Многослойный перцептрон (MLP) — это одна из элементарных архитектур, с которой часто начинают освоение нейронных сетей и принципов их обучения. 📍Пирамида признаков (FPN, Feature Pyramid Net) — это вычислительная архитектура, используемая в машинном зрении для обработки изображений без привязки к их разрешению. 📍Трансформеры (transformers) — это не только роботы, но и прогрессивное семейство архитектур нейросетей от Google.

👀Что такое галлюцинации в больших языковых моделях? Какие методы решения вы знаете ? ▪БЯМ (Большие языковые модели) или LLM (Large Language Models) стали популярными в обработке естественного языка. Они используются для перевода, генерации текста и ответов на вопросы. Эти модели обучаются на больших наборах данных и могут создавать тексты, похожие на тексты, написанные человеком. Известные примеры LLM - ChatGPT и GPT-4 от OpenAI. Однако у таких моделей есть проблемы с «галлюцинациями» и доступом к актуальной информации. Галлюцинации проявляются как генерация текста, не соответствующего реальности, с нарушениями фактологии. Нейросеть может придумывать детали, факты, имена или события, которые не существуют в реальности.имеют отношения к реальности. ▪Для решения данной проблемы и уменьшения вероятности галлюцинаций, исследователи предлагают несколько методов: 1. Использование дополнительной модели для поиска информации в документах, с последующей передачей этой информации в генеративную нейросеть. 2. Обучение моделей на бОльшем количестве данных, а также создание специальных (фактологических) наборов данных. 3. Использование обучения с подкреплением, на основе оценок поставленных людьми, как это делают в OpenAI (RLHF). 4. Соединение LLM с моделью мира (это наиболее сложный и перспективный подход, но в данной статье мы его не будем рассматривать из-за объемности). @machinelearning_interview

🔘Что отличает обучение с подкреплением от основных методов машинного обучения? Погрузимся в историю RL и разберем отличительные особенности этого направления 3 июля в 20:00 мск на открытом уроке в OTUS. Вебинар пройдет в рамках старта онлайн-курса «Reinforcement Learning» и будет полезен всем DS/ML/DL специалистам и IT-специалистам, которые хотят расширить свои знания в этой области. 💬На занятии мы: — Рассмотрим RL с точки зрения вычислений и через призму поведенческих и когнитивных наук. — Разберем классический пример многорукого бандита — автомата для казино — Продемонстрируем возможности примитивного алгоритма RL в упрощенной среде. — Обсудим самые знаковые приложения RL нашего времени. 👉Регистрация для участия https://otus.pw/9cC3/ 📌Спикером выступит Андрей Маргерт, исследователь Машинного Обучения в Wageningen Research и преподаватель курса. Не упустите возможность познакомиться с экспертом! После вебинара вы сможете продолжить обучение на курсе, доступном в рассрочку. Нативная интеграция подробная информация о продукте на сайте www.otus.ru

#вопросы_с_собеседований Как работает ROC-кривая? ROC-кривая — это графическое изображение контраста между показателями истинно положительных и ложноположительных результатов при различных пороговых значениях. Если считать TPR и FPR для фиксированного порога μ є [0,1], то их можно представить в виде функций от аргумента μ: TPR = TPR(μ), FPR = FPR(μ). При этом обе функции монотонно возрастают от 0 до 1, а значит, определена функция: ROC(x) = TPR(FPR-1(x)), x є [0,1] ROC-кривая — это график функции. Как правило, у хорошего классификатора кривая лежит по большей части либо целиком выше прямой y=x. Это связано с тем что при хорошей классификации надо получать максимальный TPR при минимальном FPR.

Считается, что аналитика и Data Science — сложные сферы, требующие особого склада ума. В реальности же основные языки работы с данными — SQL и Python — можно изучить, не имея технического образования или опыта в программировании. Каждый может найти себя в сфере аналитики и Data Science и подобрать себе направление по душе. В этом поможет бесплатный пошаговый гайд «Как войти в сферу данных и выбрать своё направление». В гайде: • Полное описание ролей и компетенции в сфере работы с данными — так вы поймёте, с чего начать свой путь в профессию • Чек-листы навыков, необходимые начинающему аналитику данных, системному аналитику, дата-сайентисту и другим представителям сферы данных • Ссылки на полезные ресурсы, книги и бесплатные курсы • Советы HR-специалистов о том, как правильно составить резюме и наработать портфолио • Рейтинг зарплат для начинающих позиций в проектах по аналитике и Data Science Скачать план → https://netolo.gy/bMBg Реклама. ООО «Нетология» LatgBXffu