Библиотека собеса по Data Science | вопросы с собеседований

Чем сезонность отличается от тренда во временных рядах? Оба этих термина возникают при декомпозиции временного ряда, то есть разложении его на составляющие. ▪️Тренд характеризует плавное долгосрочное изменение временного ряда. Он может быть восходящим, нисходящим или постоянным. ▪️Сезонность отображает циклические изменения временного ряда с постоянным периодом. Рассмотрим на примере. Допустим, у нас есть данные по продажам помидоров в сети супермаркетов. Мы можем заметить, что на протяжении нескольких лет наблюдается общий рост продаж (тренд), а внутри каждого года есть пики и спады, связанные с сезонами (сезонность). Так, летом продажи могут увеличиваться из-за высокого спроса и предложения, а зимой — снижаться. #машинное_обучение

Что делать, если AUC < 0.5? В случае бинарной классификации AUC эквивалентна вероятности того, что классификатор присвоит большее значение положительному классу (класс 1) по сравнению с отрицательным (класс 0). Если AUC < 0.5, это означает, что модель предсказывает хуже случайного угадывания, однако инвертирование предсказанных значений может сделать модель полезной, так как она фактически «ошибается» в противоположную сторону. #машинное_обучение

https://www.youtube.com/watch?v=AaAvxqfhdiI&ab_channel=%D0%9C%D1%83%D0%B7%D1%8B%D0%BA%D0%B0%D0%BD%D0%B0%D1%81%D0%BE%D0%B2%D0%B5%D1%82%D1%81%D0%BA%D0%BE%D0%BC%D1%82%D0%B5%D0%BB%D0%B5%D0%B2%D0%B8%D0%B4%D0%B5%D0%BD%D0%B8%D0%B8 я бы это если в совке услышала, я бы охуела вообще

В чём разница между обнаружением объектов (object detection) и сегментацией изображения? И то, и другое — задачи компьютерного зрения, которые предполагают анализ и понимание содержания изображений. Однако разница между ними есть. ▪️Обнаружение объектов. Цель заключается в идентификации и локализации объектов и представлении их в виде ограничивающих рамок с соответствующими метками. Используется, например, в бесплотных автомобилях для обнаружения пешеходов и транспортных средств. ▪️Сегментация изображений. Здесь цель — разделить изображение на несколько областей, или сегментов. Обеспечивает постановку меток на уровне пикселей для всего изображения. Используется в задачах, требующих анализа на уровне пикселей, таких как диагностика по медицинским изображениям. #глубокое_обучение #компьютерное_зрение

У вас есть данные о продолжительности звонков в колл-центр. Как может выглядеть распределение? Как вы можете проверить свои предположения? Для начала проведём предобработку данных. Заполнять пропуски в них мы не будем. Нулевые значения достаточно просто удалить. Наше предположение состоит в том, что данные должны следовать логарифмически нормальному распределению. Можно использовать график квантиль-квантиль (Q-Q). Нам нужно выбрать набор интервалов для квантилей. На графике точка (x, y) будет соответствовать одному из квантилей второго распределения (координата y), нанесённому на тот же квантиль первого распределения (координата x). Таким образом, линия является кривой с параметром, обозначающим номер интервала для квантиля. Если сравниваемые два распределения похожи, точки на графике Q — Q будут приблизительно лежать на линии y = x. Если распределения линейно связаны, точки на графике Q — Q будут приблизительно лежать на линии, но не обязательно на линии y = x. #статистика

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом. Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций. Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах. 👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

Объясните механизм multihead attention Механизм attention используется в трансформерах. Он позволяет заставить модель «обращать внимание» на важные слова в предложении. Multihead attention расширяет эту идею, используя несколько «голов» внимания для одновременного анализа информации как бы с разных точек зрения. Каждая «голова» работает независимо, позволяя модели захватывать разнообразные взаимосвязи и зависимости в данных. На практике мы делим весь эмбеддинг и прогоняем каждую часть через разные матрицы. Так мы получаем разнообразные представления. Плюсом к этому идёт возможность распараллелить процесс. В итоге результаты всех независимых механизмов внимания объединяются и проходят через линейный слой для получения финального представления. #глубокое_обучение #NLP

Что вы знаете про фреймворк Optuna? Зачем он нужен? Optuna — это фреймворк для автоматической оптимизации гиперпараметров в задачах машинного обучения. Он использует Gaussian Process-Based Sampler для байесовской оптимизации, который основывается на гауссовских процессах. Помимо этого, Optuna применяет алгоритмы для ранней остановки бесперспективных экспериментов. В контексте фреймворка употребляются два понятия: ▪️Study — оптимизация на базе целевой функции ▪️Trial — одно выполнение целевой функции. Также Optuna позволяет легко распараллелить процесс поиска гиперпараметров. Для отслеживания процесса можно использовать dashboard с визуализацией обучения в реальном времени. 🔗 Ссылка на документацию #машинное_обучение

Можете ли вы объяснить, как GAN генерируют изображения? Обычная генеративно-состязательная сеть (Generative Adversarial Networks, GAN) состоит из двух основных компонентов: генератор и дискриминатор. Первая генерирует новые данные, стремясь создать изображения, которые выглядят как настоящие. Вторая пытается отличить сгенерированные изображения от реальных. На вход генератора подается случайный вектор (шум). Генератор преобразует этот вектор в изображение, используя серию слоёв, которые постепенно увеличивают размерность данных и добавляют детали. На выходе получается изображение, которое затем оценивается дискриминатором. Цель дискриминатора — правильно классифицировать изображения как реальные или нет. Если он ошибается, то генератор получает сигнал, как улучшить свои изображения. #глубокое_обучение