Machine learning Interview

Научиться программировать за 2 месяца? Это реально, если записаться на курс «Python для автоматизации и анализа данных». Занятия проходят в корпусе Высшей школы экономики в Москве на Покровском бульваре, 11. Ведется онлайн-трансляция и рассылаются записи каждого занятия. Курс организован Центром непрерывного образования ФКН НИУ ВШЭ. За 9 недель вы: ✅ Научитесь программировать, даже если раньше этого никогда не делали. Python — один из лучших вариантов для тех, кто начинает с нуля. ✅ Погрузитесь в сбор данных в Python: узнаете, как извлекать данные с веб-страниц и как пользоваться массивами открытых данных. ✅ Автоматизируете рутинные процессы — например, запись данных в таблицы. ✅Освоите основы анализа данных на Python. В Python это немного похоже на использование систем электронных таблиц, только во много раз мощнее. Преподаватель: Маргарита Бурова, старший преподаватель факультета компьютерных наук. Старт: 7 февраля 2023. Продолжительность: 2 месяца. Стоимость: 70 000 рублей. Регистрируйтесь по ссылке.

✔️ Что такое смещение в датасетах? Приведите пример смещения. Смещение в датасетах (артефакты) – нежелательные взаимосвязи между входными и выходными данными, в частности, между признаками и метками, которые могут эксплуатироваться моделями машинного обучения в качестве опоры при предсказании. Часто они возникают там, где совсем не ожидаешь. Простой пример смещения можно представить следующим образом: нам нужно определить оскорбительные посты в социальной сети. Высока вероятность, что оскорбительные посты будут содержать нецензурные слова и модель будет опираться на них при принятии решения. Некоторые пользователи могут использовать нецензурные слова и в обычных, нейтральных постах. Те же нецензурные слова могут быть использованы и для выражения позитивных эмоций. В результате, модель, обученная на датасете, в котором мало других примеров: нейтральных или позитивных, будет считать пост оскорбительным, когда в нем есть нецензурные слова. Если тестирование модели провести на похожей тестовой выборке, где нецензурные слова представлены только в оскорбительных постах, то тест подтвердит высокое качество модели. При реальном использовании эта модель будет давать ложно положительные срабатывания. Из-за смещения складывается ложное чувство, что модель работает хорошо, но это происходит ровно до того, как она начинает использоваться в реальности. Можно посмотреть на эту проблему с другого ракурса. Всем бы хотелось иметь натренированную на определенном количестве данных модель, которую можно было бы использовать везде с высоким качеством работы. При составлении датасета все возможные случаи учесть невозможно, поэтому мы опираемся на способность моделей к генерализации – обобщению опыта, – чтобы делать предсказания на неизвестных данных. Области, ограниченные какой-то особенностью, называют доменами. Например, медицинским доменом назовут датасет, который содержит медицинские тексты. Использование модели внутри домена называется in-domain, а за его пределами – out-of-domain. Часто получается, что модели хорошо работают внутри домена, но плохо вне его. Это происходит из-за смещения модели в сторону домена, на котором она обучалась, относительно теоретического общего домена, который покрывал бы все возможные варианты. Пример: модель обучили на комментариях пользователей в социальных сетях, она не учитывает лингвистические особенности языка как глубокие признаки и опирается на словарь. Такая модель будет работать плохо для задачи по классификации научных статей. Минимизация смещения позволяет добиться качественной работы модели при ее обучении на конкретном датасете и, как следствие, лучшей ее генерализации. В теории сейчас нет строгой классификации факторов, влияющих на появление смещения. На мой взгляд, есть несколько причин появления смещения в данных: - Разметчики – при разметке люди могут руководствоваться внутренними шаблонами, пропуская важные отличительные детали в данных. Часто люди сами склонны формировать предвзятые, то есть смещенные, мнения [11]. - Отсутствие баланса – если в датасете примеров одного класса значительно больше, чем другого, то модель, скорее всего, выучится именно на мажорном классе, не принимая во внимание признаки минорного. - Нерепрезентативность – ситуация, когда в датасете слабо представлены разные случаи. Яркий пример, представленный выше, – с нецензурными словами. Это означает, что в датасете появляется перекос в сторону какого-то класса по определенному признаку. - Неправильный режим обучения – косвенный фактор, при котором смещение проявляется, когда модель недообучается. - Отсутствие негативного множества - частный случай нерепрезентативности, при котором в датасете слабо представлено то, чем классифицированное явление не является. @machinelearning_interview

💫 Что такое Q-обучение ? Как применяется в сфере оптимизации бизнес-процессов ? Q-обучение (Q-learning) — метод, применяемый в искусственном интеллекте при агентном подходе. Относится к экспериментам вида oбучение с подкреплением. На основе получаемого от среды вознаграждения агент формирует функцию полезности Q, что впоследствии дает ему возможность уже не случайно выбирать стратегию поведения, а учитывать опыт предыдущего взаимодействия со средой. Одно из преимуществ Q-обучения — то, что оно в состоянии сравнить ожидаемую полезность доступных действий, не формируя модели окружающей среды. Применяется для ситуаций, которые можно представить в виде марковского процесса принятия решений. Q-Learning в сфере оптимизации бизнес-процессов @machinelearning_interview

Специальная серия Data Science в подкасте «Деньги любят техно» целиком посвящена темам, интересным и полезным датасайентисту. В свежем выпуске Дмитрий Берестнев, лидер стрима моделей и партнерств и платформы больших данных ВТБ, поговорил с Григорием Кабатянским, д. ф.-м.н., вице-президентом по академическому сотрудничеству Сколтеха, и Иваном Фурсовым, специалистом в области разговорного искусственного интеллекта. Собеседники обсудили ошибки и уязвимости ИИ: какие риски существуют сейчас и ожидают нас в будущем. Послушать подкаст можно на любой удобной для вас площадке. Реклама, Банк ВТБ (ПАО) https://www.vtb.ru/

В новом выпуске подкаста «Деньги любят техно», посвященном AutoML, начальник управления перспективных алгоритмов машинного обучения ВТБ Денис Суржко и основатель крупнейшего русскоязычного ds сообщества ODS Алексей Натёкин, поговорили развитии автоматизированного машинного обучения, изменениях роли специалиста в Data Science, прошлом и будущем построения моделей и возможностях технологий искусственного интеллекта. Слушайте подкаст на любой удобной площадке, подписывайтесь, чтобы не пропустить новые выпуски — впереди ещё много актуальных тем из Data Science. Реклама, Банк ВТБ (ПАО) https://www.vtb.ru/