Machine learning Interview

#вопросы_с_собеседований 1. Что такое тензоры? 2. Что такое ограниченная машина Больцмана?

LSTM - это особый вид рекуррентной нейронной сети, способной изучать долгосрочные зависимости, запоминать информацию в течение длительного времени в качестве поведения по умолчанию. Сеть LSTM состоит из трех этапов: Шаг 1: Сеть решает, что забыть, а что запомнить. Шаг 2: Сеть выборочно обновляет значения состояния ячеек. Шаг 3: Сеть решает, какая часть текущего состояния попадает на выход.

#вопросы_с_собеседований Как работает Долгая краткосрочная память?

Что произойдет, если learning rate установлен неточно (слишком низкий или слишком высокий)? Когда LR слишком маленький, обучение модели будет продвигаться очень медленно, поскольку на каждом шаге мы минимально обновляем веса. До достижения точки минимума потребуется много обновлений. Если LR установлен слишком большим, это вызывает нежелательное отклоняющееся поведение по отношению к функции потерь из-за резких обновлений весов. Алгоритм может не найти точку минимума.

#вопросы_с_собеседований Пара вопросов с интервью по глубокому обучению. 1. Что произойдет, если learning rate установлен неточно (слишком низкий или слишком высокий)? 2. Что такое гиперпараметры?

#вопросы_с_собеседований Что такое проблемы взрывающегося и затухающего градиента? Градиент — это вектор частных производных функции потерь по весам нейросети. Он показывает вектор наибольшего роста функции для всех весов. В процессе обучения при обратном распространении ошибки при прохождении через слои нейронной сети в элементах градиента могут накапливаться большие значения, что будет приводить к сильным изменениям весов. Это дестабилизирует алгоритм нейросети. Эта проблема называется взрывающимся градиентом. Аналогичная обратная проблема, в которой при прохождении ошибки через слои градиент становится меньше, называется затухающим градиентом. Чем больше количество слоев нейросети, тем выше риски данных ошибок. Для решения сложных задач с помощью нейронных сетей необходимо уметь определять и устранять её.

#вопросы_с_собеседований Как работает ROC-кривая? ROC-кривая — это графическое изображение контраста между показателями истинно положительных и ложноположительных результатов при различных пороговых значениях. Если считать TPR и FPR для фиксированного порога μ є [0,1], то их можно представить в виде функций от аргумента μ: TPR = TPR(μ), FPR = FPR(μ). При этом обе функции монотонно возрастают от 0 до 1, а значит, определена функция: ROC(x) = TPR(FPR-1(x)), x є [0,1] ROC-кривая — это график функции. Как правило, у хорошего классификатора кривая лежит по большей части либо целиком выше прямой y=x. Это связано с тем что при хорошей классификации надо получать максимальный TPR при минимальном FPR.

#вопросы_с_собеседований Что такое закон больших чисел? Это принцип теории вероятностей, который описывает результат выполнения одного и того же эксперимента множество раз. При достаточно длительной серии экспериментов закон больших чисел гарантирует устойчивость средних значений от случайных событий. И среднее значение конечной выборки фиксированного распределения будет очень близко к математическому ожиданию выборки. К примеру, при бросках шестигранного кубика. Чем больше бросков, тем больше среднее значение близится к математическому ожиданию 3,5.

#вопросы_с_собеседований Что такое ансамбль методов? Ансамбль методов — это использование нескольких алгоритмов с целью получения более высокой эффективности прогнозирования, чем можно было бы получить, используя эти алгоритмы отдельно.

#вопросы_с_собеседований Перечислите этапы построения дерева решений Взять весь набор входных данных. Вычислить энтропию целевой переменной, а также прогнозные атрибуты. Рассчитать прирост информации по всем атрибутам (информацию о том, как отсортировать разные объекты друг от друга). Выбрать атрибут с наибольшим объёмом информации в качестве корневого узла. Повторить ту же процедуру для каждой ветви, пока узел решения каждой ветви не будет завершён.