Библиотека собеса по Data Science | вопросы с собеседований

Что такое позиционное кодирование (Positional encoding) в архитектуре Transformer? В общем случае Transformer обрабатывает входные последовательности токенов одновременно. Поэтому без дополнительной информации о позиции каждого токена сеть будет рассматривать вход как «мешок слов». Для решения этой проблемы вводится позиционное кодирование. Ко входным эмбеддингам добавляются вектора, которые содержат информацию о позициях каждого токена в последовательности. Эти вектора могут быть предопределены аналитически с использованием функций, основанных на синусах и косинусах, или могут корректироваться вместе с другими параметрами модели в процессе обучения. Эти позиционные векторы обеспечивают возможность отличать слова на разных позициях и улучшают способность модели к анализу последовательностей на основе контекста и порядка элементов. #глубокое_обучение

🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта. В ней: ● Новости о прорывных исследованиях в области машинного обучения и нейросетей ● Материалы о применении ИИ в разных сферах ● Статьи об этических аспектах развития технологий ● Подборки лучших онлайн-курсов и лекций по машинному обучению ● Обзоры инструментов и библиотек для разработки нейронных сетей ● Ссылки на репозитории с открытым исходным кодом ИИ-проектов ● Фильмы, сериалы и книги 👉Подписаться👈

Зачем нужно нормализация данных? Цель нормализации — приведение различных данных, которые могут быть в самых разных единицах измерения и диапазонах значений, к единому виду. Это позволит сравнивать их между собой или использовать для расчёта схожести объектов. Часто применяется MinMax нормализация, которая позволяет преобразовать исходный набор данных в диапазон [0, 1]. Чтобы вычислить новые значения, используем формулу: X_new = (X — X_min)/(X_max — X_min). #машинное_обучение

Почему мы не можем использовать линейную регрессию для задачи классификации? Основная причина в том, что выход модели линейной регрессии — это непрерывные значения. А в задаче классификации нам нужно получать значения конкретных классов, то есть дискретные значения. Это обстоятельство вынуждает нас использовать другую функцию потерь. Если в линейной регрессии обычно применяется среднеквадратичная ошибка, то для классификации предпочтительнее использовать например, кросс-энтропию. Модификацией линейной регрессии под задачу классификации является логистическая регрессия, которая предсказывает логиты и способна давать выходные значения, ограниченные интервалом от 0 до 1. Таким образом, она предсказывает вероятности того, что конкретный объект принадлежит к какому-либо классу. #машинное_обучение

Что вы знаете про критерий Шовене? Он позволяет найти выбросы в данных. Согласно критерию Шовене, значение p i-ое является выбросом, если выполнено неравенство, указанное на картинке выше. p с чертой — это среднее. А в знаменателе стоит отклонение. n — это объём выборки. Функция erfc является дополнением к функции ошибок (её вид, впрочем, неважен). С возрастанием аргумента, значение функции erfc стремится к нулю. То есть чем меньше значение функции, тем сильнее p i-ое отстоит от среднего значения, а значит является выбросом. Фактически, использование критерия Шовене представляет собой итерационную процедуру, позволяющую найти все аномалии в данных за несколько шагов. #машинное_обучение

Что происходит со средним, модой и медианой, когда распределение данных скошенное? Распределение скошено вправо, если оно имеет «хвост» в правой части распределения. И напротив, распределение скошено влево, если оно имеет «хвост» в левой части. Это также называют правосторонней и левосторонней симметриями, соответственно. Когда наблюдается правосторонняя асимметрия, среднее значение больше медианы, а она, в свою очередь, больше моды. В случае левосторонней асимметрии ситуация полностью противоположная: мода больше медианы, а медиана больше среднего значения. #статистика

Что вы знаете про метод независимых компонент (ICA)? Это техника для выявления скрытых факторов из многомерных данных. С математической точки зрения, мы делаем предположение, что данные были порождены n-размерным исходным вектором, элементы которого — случайные независимые величины, через невырожденную матрицу смешивания. Тогда цель — найти обратную матрицу. Это позволит преобразовать смешанные данные обратно в исходные, независимые компоненты. Для поиска существует алгоритм ICA, предложенный Беллом и Седжновски. Применение ICA особенно актуально в областях, где важно выделить скрытые компоненты из смешанных сигналов, например, в анализе медицинских изображений, финансовых данных или аудиосигналов. #машинное_обучение

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом. Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций. Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах. 👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

Какие типы слоёв есть в свёрточной нейронной сети? 🔹Слой свёртки Именно в этом слое применяются фильтры, которые позволяют произвести операцию свёртки. Гиперпараметры здесь включают в себя размер фильтра и сдвиг (stride). Выходом данного слоя является карта признаков (feature map). 🔹Слой пулинга Обычно применяется после свёрточного слоя. Пулинг позволяет выбрать из признаков, которые выделил свёрточный слой, самые важные. Обычно это делается с помощью двух методов: Max pooling и Average pooling. В первом случае карта признаков разбивается на небольшие блоки и из каждого берётся максимальное значение, а во втором случае — берётся среднее значение. 🔹Полносвязный слой Этот слой обычно располагается в конце архитектуры свёрточной нейронной сети. Он принимает на вход представление всей входной информации в «развёрнутом» виде. В полносвязном слое каждый вход соединён со всеми выходами. Он вычисляет оценки классов на основе признаков, извлечённых предыдущими слоями. #глубокое_обучение