Библиотека собеса по Data Science | вопросы с собеседований

За что отвечает температура в softmax? Softmax используется для перевода логитов (сырых выходов модели) в вероятности. То есть она преобразует изначальный вектор чисел в вектор значений, которые в сумме не превышают единицу. Это позволяет интерпретировать выходы модели как вероятности принадлежности к различным классам. Однако есть небольшая проблема. Значения на выходном слое могут быть очень разнообразными. И как следствие после применения слоя softmax можно получить распределение вероятностей, где большое ненормализированное значение будет иметь наибольшую вероятность. В таких задачах, как генерация текста, это означает, что модель будет всегда выбирать только самые ожидаемые слова. Регулировать эту ситуацию позволяет температура. Каждое значение модели просто делится на температуру. Когда температура низкая, модель даёт более уверенные ответы. Когда высокая — менее уверенные. #глубокое_обучение

🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта. В ней: ● Новости о прорывных исследованиях в области машинного обучения и нейросетей ● Материалы о применении ИИ в разных сферах ● Статьи об этических аспектах развития технологий ● Подборки лучших онлайн-курсов и лекций по машинному обучению ● Обзоры инструментов и библиотек для разработки нейронных сетей ● Ссылки на репозитории с открытым исходным кодом ИИ-проектов ● Фильмы, сериалы и книги 👉Подписаться👈

📈 Стать аналитиком Big Data: пошаговое руководство 2024 Big Data — это наборы данных очень больших размеров, которые также характеризуются многообразием и высокой скоростью обновления. Аналитики больших данных находят и исследуют в них закономерности с помощью специальных программных средств. В нашей обновлённой статье рассказываем, какие знания, онлайн-курсы, подкасты и книги помогут начать карьеру в сфере Big Data без специального образования🧑‍🎓 🔗 Читать статью 🔗 Зеркало

Назовите основную особенность рекуррентных нейронных сетей Рекуррентные нейросети применяют для обработки последовательностей. Почему же они подходят под эту задачу? В обычные нейросети на вход подаётся один объект A, который затем проходит через всю сетку и преобразуется в некий выход. Нейронной сети совершенно неважно, какие объекты вы подавали до A. Они никак не повлияют на выход. В последовательностях же нередко оказывается важна информация от предыдущих объектов. Рекуррентная нейросеть использует историю подачи объектов для создания выходов. С точки зрения математики тут идея такая: мы будем подавать на вход сети уже два объекта — объект A и некоторое выходное значение, возникшее при обработке предыдущего объекта. Именно оно выступает в качестве «ячейки» памяти, позволяя модели учитывать информацию из предыдущих шагов. #глубокое_обучение

Хардкорный курс по математике для тех, кто правда любит математику! Начать с вводных занятий можно здесь, ответив всего на 4 вопроса – https://proglib.io/w/61c44272 Что вас ждет: – Вводный урок от CPO курса – Лекции с преподавателями ВМК МГУ по темам: теория множеств, непрерывность функции, основные формулы комбинаторики, матрицы и операции над ними, градиентный спуск – Практические задания для закрепления материала и ссылки на дополнительные материалы. ⚡️ Переходите и начинайте учиться уже сегодня – https://proglib.io/w/61c44272

💻🚀🏰 Как мы создали ИИ-стартап на хакатоне выходного дня в Германии Инженер ПО рассказал нам о своих выходных на хакатоне в Кельне, где с командой пытался создать AI-стартап всего за два дня. Участники прошли путь от подачи идей в пятницу вечером до демонстрации работающего приложения к воскресенью. В качестве бонуса автор привёл список основных пунктов, которые необходимо выполнить для создания стартапа. 🔗 Читать статью 🔗 Зеркало

Приходите на High SQL — митап ЮMoney о работе с базами данных 😎 Встречаемся 28 мая в 19:00 (мск). Можно прийти в наш офис в Петербурге или подключиться к онлайн-трансляции. На встрече эксперты ЮMoney и приглашённый спикер расскажут, как строят и развивают базы данных. Темы докладов ⤵️ 🟣SQL Agent Jobs As Code: подход ЮMoney к хранению и деплою заданий для Microsoft SQL Server. 🟣Декомпозиция монолита в DWH: когда делить базу на множество компонент. 🟣Телеметрия в реальном времени и в экстремальных условиях: всё про архитектуру отправки данных. Участие бесплатное. Чтобы попасть на митап, нужно зарегистрироваться. Все подробности — на сайте High SQL ❤️

Какова размерность эмбеддингового слоя в Transformer? Размерность эмбеддингового слоя определяется двумя параметрами: размером словаря и размерностью эмбеддингов. ▪️Размер словаря (Vocab Size) — это количество уникальных токенов или слов, которое может обрабатывать модель. Эта величина определяется во время обучения модели и зависит от данных, на которых она обучается. ▪️Размерность эмбеддингов (Embedding Dimension) — это количество признаков, используемых для представления каждого токена. Эта размерность обычно фиксирована для данной модели и совпадает с размерностью скрытых слоёв модели. Таким образом, матрица эмбеддингов в Transformer имеет размерность, равную размеру словаря x размерности эмбеддингов. #NLP #глубокое_обучение

📊 Где изучать Data Science в 2024 году? Занимаясь наукой о данных, приходится постоянно учиться. Предлагаем вашему вниманию актуальный обзор из 25 новых книг, курсов, видеолекций и блогов для оттачивания мастерства в Data Science. 🔗 Читать статью 🔗 Зеркало

Что такое negative sampling в NLP? Negative sampling появляется в контексте Word2Vec, метода обучения векторных представлений слов. Дело в том, что общий вид функции потерь для Word2Vec представляет собой сумму логарифмов с обратными знаками. Количество этих логарифмов равно объёму обучающей выборки. Внутри каждого логарифма стоит дробь, в знаменателе которой — сумма экспонент, и количество слагаемых совпадает с количеством слов в словаре. В общем, это всё выглядит несколько ужасающе, особенно если держать в уме, что эту функцию потерь нужно минимизировать. Поэтому нужно как-то упрощать вычисления. Тут и приходит на помощь negative sampling. Идея такая: на каждой итерации градиентного спуска мы будем оставлять в знаменателе лишь несколько случайно выбранных слагаемых. Фактически, на каждой итерации мы будем работать со случайной и небольшой подвыборкой всей тренировочной выборки. #NLP #глубокое_обучение