Machine learning Interview

На ваш взгляд, что более важно при разработке модели машинного обучения: производительность модели или её точность? Ответ По моему мнению, точность - самая важная характеристика модели машинного обучения и искусственного интеллекта. Когда мы обсуждаем производительность модели, нам нужно сначала уточнить, является ли это производительностью обучения модели или производительностью оценки модели? Производительность модели можно улучшить с помощью распределенных вычислений и распараллеливания оцениваемых активов, тогда как точность должна быть тщательно повышена в процессе обучения модели. Часто, когда мы сравниваем время вычислений для обучения модели с временем вычисления оценки той же модели, последнее оказывается на несколько порядков меньше. Кроме того, после того, как модели развернуты в работе, обычно (пере) обучение модели выполняется гораздо реже, чем оценка результатов. Хотя это может и зависить от конкретной цели, доминирующей при принятии решения ======================================== 1.Если вы имели в виду скорость, это, конечно, очень зависит от приложения. Например, при анализе медицинских изображений для определения наличия заболевания точность чрезвычайно важна, даже если модели потребуют минуты или часы, чтобы сделать прогноз. ======================================== 2.Другие приложения требуют производительности в реальном времени, даже если это происходит за счет точности. Например, представьте себе машину, которая наблюдает за быстрой конвейерной лентой, несущей помидоры, где она должна отделять зеленые от красных. Хотя случайная ошибка нежелательна, успех этой машины в большей степени определяется ее способностью выдерживать ее пропускную способность. @machinelearning_interview

Можно ли сказать, что машинное обучение - это автоматизация обработки данных? Ответ : ML - это одна из фаз автоматизированной обработки данных ========================= Обработка данных - это задача преобразования данных из заданной формы в гораздо более удобную и желаемую форму, то есть сделать ее более значимой и информативной. ======================== Используя алгоритмы машинного обучения, математическое моделирование и статистические знания, весь этот процесс можно автоматизировать. ======================== Результат этого полного процесса может быть в любой желаемой форме, такой как графики, видео, диаграммы, таблицы, изображения и многое другое, в зависимости от задачи, которую мы выполняем, и требований машины. Это может показаться простым, но когда дело касается крупных организаций, таких как Twitter, Facebook, административных органов, таких как парламент, ЮНЕСКО, и организаций сектора здравоохранения, весь этот процесс должен выполняться в очень структурированной манере. Сбор: =========== Самый важный шаг при запуске машинного обучения - получение данных хорошего качества и точности. Данные могут быть собраны из любого аутентифицированного источника, такого как data.gov.in, Kaggle или репозиторий наборов данных UCI. Например, при подготовке к конкурсному экзамену студенты изучают лучшие учебные материалы, к которым они могут получить доступ, чтобы они усваивали лучшее для получения наилучших результатов. Точно так же высококачественные и точные данные сделают процесс изучения модели проще и лучше, а во время тестирования модель будет давать самые современные результаты. На сбор данных уходит огромное количество капитала, времени и ресурсов. Организации или исследователи должны решить, какие данные им нужны для выполнения своих задач или исследований.Пример: при работе с распознавателем выражений лица требуется множество изображений с различными человеческими выражениями. Хорошие данные гарантируют, что результаты модели верны и им можно доверять. Подготовка : =========== Собранные данные могут быть в необработанном виде, которые нельзя напрямую передать в машину. Итак, это процесс сбора наборов данных из разных источников, анализа этих наборов данных и последующего создания нового набора данных для дальнейшей обработки и исследования. Эта подготовка может быть выполнена вручную или в автоматическом режиме. Данные также могут быть подготовлены в числовой форме, что ускорит изучение модели. Пример: изображение можно преобразовать в матрицу размером N X N, значение каждой ячейки будет указывать пиксель изображения. Вход : ========== Теперь подготовленные данные могут быть в форме, которая не может быть машиночитаемой, поэтому для преобразования этих данных в читаемую форму необходимы некоторые алгоритмы преобразования. Для выполнения этой задачи необходимы высокая точность вычислений. Пример: данные могут быть собраны из таких источников, как данные MNIST Digit (изображения), комментарии Twitter, аудиофайлы, видеоклипы. Обработка : ========== Это этап, на котором требуются алгоритмы и методы машинного обучения для выполнения инструкций, предоставленных для большого объема данных с точностью и оптимальным расчетом. Выход : На этом этапе машина получает результат осмысленным образом, который может быть легко выведен пользователем. Вывод может быть в виде отчетов, графиков, видео и т. д. Место хранения : Это последний шаг, на котором полученные выходные данные, данные модели данных и вся полезная информация сохраняются для использования в будущем @machinelearning_interview

Ищем медработников, чтобы с нуля обучить профессии Data Scientist в медицине. С помощью машинного обучения, вы научитесь обрабатывать данные по сердечно-сосудистым заболеваниям, онкологии, сигналам ЭЭГ, рентгеновским изображениям, сможете ставить диагнозы,обнаруживать болезни и персонализировать лечение. Курс прекрасно подойдет: Медработникам Освоите IT-специализацию в знакомой нише, увеличите доход и сможете улучшать жизнь сотен людей с помощью искусственного интеллекта. Новичкам в Data Science Станете специалистом по Data Science с нуля: освоите аналитику в медицине, бизнесе и других направлениях. IT-специалистам Поможем систематизировать знания в Data Science, ускорить карьерный рост и больше зарабатывать. Вашими преподавателями станут эксперты из таких компаний как: Parexel, X5 Retail Group, NVIDIA, Минобороны России, Pirogov AI. Если после успешного обучения вы не найдёте работу, мы вернём вам деньги, ведь гарантия трудоустройства закреплена в договоре. Узнать подробности и зарегистрироваться: https://clc.to/Hd1amA

Как можно ускорить сходимость в градиентных методах настройки нейронных сетей? Ответ Задача оптимизатора — сделать функцию потерь как можно меньше, чтобы найти подходящие параметры для выполнения определенной задачи. В настоящее время основными оптимизаторами, используемыми при обучении моделей, являются SGD, RMSProp, Adam, AdaDelt и так далее. Оптимизаторы SGD с импульсом широко используются в научных кругах и промышленности, поэтому большинство выпускаемых моделей обучаются с помощью оптимизатора SGD с импульсом. Но у SGD-оптимизатора с импульсом есть два недостатка: во-первых, скорость сходимости низкая, во-вторых, трудно установить начальную скорость обучения, однако, если начальная скорость обучения установлена правильно, а модели обучены в достаточном количестве итераций. , модели, обученные SGD с помощью импульса, могут достигать более высокой точности по сравнению с моделями, обученными другими оптимизаторами. Некоторые другие оптимизаторы с адаптивной скоростью обучения, такие как Adam, RMSProp и т. д., стремятся сходиться быстрее, но окончательная точность сходимости будет немного хуже. ========================== Концепция скорости обучения: скорость обучения — это гиперпараметр для управления скоростью обучения, чем ниже скорость обучения, тем медленнее изменяется значение потерь, хотя использование низкой скорости обучения может гарантировать, что вы не пропустите ни один локальный минимум, но это также означает, что скорость конвергенции медленная, особенно когда градиент попадает в область градиентного плато. ========================= Нейронные сети глубокого обучения обучаются с использованием алгоритма стохастического градиентного спуска. Стохастический градиентный спуск — это алгоритм оптимизации, который оценивает градиент ошибки для текущего состояния модели, используя примеры из обучающего набора данных, а затем обновляет веса модели, используя алгоритм обратного распространения ошибок, называемый просто обратным распространением. Величина, на которую веса обновляются во время обучения, называется размером шага или «скоростью обучения». ============================ Задача обучения нейронных сетей глубокого обучения заключается в тщательном выборе скорости обучения. Это может быть самый важный гиперпараметр для модели. Стратегия снижения скорости обучения: Во время обучения, если мы всегда используем одну и ту же скорость обучения, мы не можем получить модель с максимальной точностью, поэтому скорость обучения следует регулировать во время обучения. На ранней стадии обучения веса находятся в состоянии случайной инициализации, а градиенты имеют тенденцию к снижению, поэтому мы можем установить относительно большую скорость обучения для более быстрой сходимости. На поздней стадии обучения веса близки к оптимальным значениям, оптимальное значение не может быть достигнуто при относительно большой скорости обучения, поэтому следует использовать относительно меньшую скорость обучения. Во время обучения многие исследователи используют стратегию снижения скорости обучения piecewise_decay, которая представляет собой пошаговое снижение скорости обучения. Например, при обучении ResNet50 начальная скорость обучения, которую установили, равна 0,1, и скорость обучения падает до 1/10 каждые 30 эпох, общее количество эпох для обучения равно 120. Помимо кусочного_распада, многие исследователи также предлагали другие способы уменьшить скорость обучения, например, polynomial_decay, exponential_decay и cosine_decay и т. д. ResNet50 — это вариант модели ResNet, который имеет 48 слоев свертки, а также 1 слой MaxPool и 1 средний пул. Он имеет 3,8 x 10 ^ 9 операций с плавающей запятой. Это широко используемая модель ResNet и ее архитектура хорошо известна. Смотри также https://informatics-ege.blogspot.com/2022/06/deep-learning-neural-networks-trained.html ➡️ Подробнее @machinelearning_interview

Нужно ли увеличивать размер ядра свертки, чтобы улучшить эффект сверточной нейронной сети? Ядро большего размера может упустить из виду функции и пропустить важные детали в изображениях, тогда как ядро меньшего размера может предоставить больше информации, что приведет к большей путанице. Таким образом, необходимо определить наиболее подходящий размер ядра/фильтра. ============== Сверточные нейронные сети работают на двух предположениях: Функции низкого уровня являются локальными. То, что полезно в одном месте, будет полезно и в других местах. Размер ядра должен определяться тем, насколько сильно мы верим в эти предположения для рассматриваемой проблемы. В одном крайнем случае, когда у нас есть ядра 1x1, мы, по сути, говорим, что функции низкого уровня являются попиксельными, и они вообще не влияют на соседние пиксели, и что мы должны применить одну и ту же операцию ко всем пикселям. С другой стороны, у нас есть ядра размером с весь образ. В этом случае CNN по существу становится полностью подключенным и перестает быть CNN, и мы больше не делаем никаких предположений о локальности объектов низкого уровня. =============== На практике это часто делается, просто пробуя несколько размеров ядра и наблюдая, какой из них работает лучше всего. @machinelearning_interview

В каких задачах и при использовании каких алгоритмов возникает «проблема мультиколлинеарности»? Ответ Мультиколлинеарность - два признака называются мультиколлинеарными, если два признака сильно коррелированы/зависимы. Изменения в одном признаке влекут за собой изменения в другом признаке. Мультиколлинеарность влияет на алгоритмы линейной регрессии, логистической регрессии, KNN и Наивного Байеса. ====================== Линейная регрессия - из-за мультиколлинеарности линейная регрессия дает неверные результаты, и производительность модели снижается. Это может уменьшить общий коэффициент, а также значение p (известное как значение значимости) и вызвать непредсказуемую дисперсию. Это приведет к переобучению, когда модель может отлично работать на известном тренировочном наборе, но потерпит неудачу на неизвестном наборе тестов. Поскольку это приводит к более высокой стандартной ошибке с более низким значением статистической значимости, мультиколлинеарность затрудняет определение того, насколько важен признак для целевой переменной. А при более низком значении значимости невозможно отклонить нулевое значение и приведет к ошибке второго рода для проверки нашей гипотезы. ======================= Логистическая регрессия. Логистическая регрессия — это обобщенная линейная модель регрессии, на которую также влияет мультиколлинеарность. ======================= KNN - из-за мультиколлинеарности точки становятся очень близкими, дают неверные результаты, и это влияет на производительность. ======================= Наивный байесовский подход — основное предположение NB состоит в том, что признаки независимы. если функции коррелированы, предположение будет ошибочным. ======================= На мой взляд, попытка решать любую задачу в предметной области указанными методами создает потенциальную угрозу мультиколлинеарности. @machinelearning_interview

🔥 Полезнейшая Подборка каналов 🦾 Machine learning @ai_machinelearning_big_data – все о машинном обучении @data_analysis_ml – все о анализе данных. @machinelearning_ru – машинное обучении на русском от новичка до профессионала. @machinelearning_interview – подготовка к собеседования Data Science @datascienceiot – бесплатные книги Machine learning @ArtificialIntelligencedl – канал о искусственном интеллекте @neural – все о нейронных сетях @machinee_learning – чат о машинном обучении @datascienceml_jobs - работа ds, ml ☕️ Java @javatg - Java для програмистов @javachats Java чат @java_library - книги Java @android_its Android разработка @java_quizes - тесты Java @Java_workit - работа Java @progersit - шпаргалки ит 💡 Javascript / front @javascriptv - javascript изучение @about_javascript - javascript продвинутый @JavaScript_testit -тесты JS @htmlcssjavas - web @hashdev - web разработка 🦫 Golang @golang_interview - вопросы и ответы с собеседований по Go. Для всех уровней разработчиков. @Golang_google - go для разработчиков @golangtests - тесты и задачи GO @golangl - чат Golang @GolangJobsit - вакансии и работа GO @golang_jobsgo - чат вакансий @golang_books - книги Golang @golang_speak - обсуждение задач Go 🐍 Python @pythonl – python для датасаентиста @pro_python_code – python на русском @python_job_interview – подготовка к Python собеседованию @python_testit тесты на python @pythonlbooks - книги Python @Django_pythonl django @python_djangojobs - работа Python 🐧 Linux @inux_kal - чат kali linux @inuxkalii - linux kali @linux_read - книги linux 👷‍♂️ IT работа @hr_itwork - ит-ваканнсии 🔋 SQL @sqlhub - базы данных @chat_sql - базы данных чат 🤡It memes @memes_prog - ит-мемы ⚙️ Rust @rust_code - язык программирования rust @rust_chats - чат rust #️⃣ c# c++ @csharp_ci - c# c++кодинг @csharp_cplus чат

Следует ли применять нормализацию к данным до или после разделения? Имеет ли значение при построении прогнозной модели? Ответ Нормализация должна выполняться после разделения данных между обучающим и тестовым наборами с использованием только данных из обучающего набора. Это связано с тем, что тестовый набор играет роль свежих невидимых данных, поэтому он не должен быть доступен на этапе обучения. Использование любой информации, полученной из тестового набора до или во время обучения, может привести к систематической ошибке при оценке производительности. При нормализации тестового набора следует применять параметры нормализации, ранее полученные из тренировочного набора как есть. Не пересчитывайте их на тестовом наборе, потому что они будут несовместимы с моделью, и это приведет к неправильным прогнозам. @machinelearning_interview

Junior Data Scientist | Собеседование 0:00 Введение. 0:50 О структуре и секциях, которые входят в интервью. Секция «Python» 2:30 Вопрос на изменяемые и неизменяемые типы данных 6:21 Задача на dict и ответ Дмитрия 8:15 Объяснение первой задачи 10:38 Задача, цель которой — сделать, чтобы дикты были разные, ответ Дмитрия 13:51 Разбор второй задачи 16:10 Вопрос о выделении и очистке памяти в Python, ответ Дмитрия 16:26 Разбор вопроса 19:00 Вопрос о генераторах, декораторах и итераторах Секция «A/B-тесты» 20:35 Вопрос о моделировании A/B теста 30:57 Вопрос о генерации распределений 31:22 Подводка к критерию стьюдента и вопрос про ограничения его применения 32:26 О необходимости нормальности распределения 33:46 Тесты для проверки на нормальность 34:24 Как сравнить ненормальные распределения 35:02 Подводка к вопросу о нормальности распределения средних при бутстрапе 36:04 Как быть, если нет старых пользователей, и нужно провести тест только на новых 37:53 Какие еще бывают вопросы и общие рассуждения 41:19 Интерпретация Bootstrap Секция «Работа с данными» 42:04 Вопрос про разницу Where и Having 44:20 вопрос про виды join и задания на join 45:57 подводка к задаче про group by в Python 47:49 Задача на group by в Python Секция «ML алгоритмы» 1:06:22 Задача о линейных регрессиях 1:09:47 Вопрос о градиентном спуске 1:14:06 Вопрос о переобучении 1:22:20 Вопрос о деревьях и их построении 1:26:04 Вопрос: почему случайный лес работает хорошо и не переобучается? 1:28:20 Последний вопрос со звездочкой: в каких случаях логистическая регрессия на задачах классификации будет работать лучше, чем случайный лес 1:32:18 Конец, обратная связь https://www.youtube.com/watch?v=Us_TKT8ZL2E @machinelearning_interview

9.09 @machinelearning_interview 🧠 Напишите свою первую нейронную сеть! Встречаемся 15 сентября в 20:00 мск на открытом уроке OTUS. 💬 Вместе с Антоном Витвицким, экспертом по компьютерному зрению и глубокому обучению, рассмотрим основные этапы создания и обучения своей первой нейронной сети и попробуем решить известную задачу классификации MNIST полносвязной и сверточной нейронными сетями на примере фреймворка PyTorch. 📚 Больше практики и и интересных задач ждут вас на онлайн-курсе «Deep Learning». Для участия необходимо знать основы Python, поэтому проходите вступительный тест и 👉 регистрируйтесь Реклама. Информация о рекламодателе на сайте otus.ru

Что такое квантильная регрессия? Квантильная регрессия — это регрессия (т.е. прогноз), которая намеренно вводит смещение в результат. Вместо поиска среднего значения прогнозируемой переменной, квантильная регрессия направлена на поиск медианы и любых других квантилей (которые иногда называют процентилями). Квантили особенно полезны для оптимизации товарных запасов в качестве прямого метода для вычисления точки возобновления. Здесь регрессия выступает синонимом прогноза. "Регрессия" делает акцент на математическом подходе, тогда как "прогноз" - на практическом использовании результата. На графике показаны 3 обособленных прогноза: - красным цветом отмечен 75-процентный квантильный прогноз. - черным цветом отмечен прогноз на основе средних значений. - зеленым цветом отмечен 25-процентный квантильный прогноз. Визуально поведение квантилей схоже с поведением доверительных интервалов. Однако, на практике квантиль нужен лишь для процентного выражения отдельно взятых точек. @machinelearning_interview

В Data Science одни из самых высоких зарплат в IT. Войти в эту сферу можно с нуля — курс «Профессия Data Scientist PRO» как раз подходит для новичков. →Вы с нуля освоите Python, SQL, научитесь собирать и анализировать данные, получите необходимый теоретический минимум по математике, теории вероятности и статистике. →С вами будет работать личный наставник. Он не только укажет на ошибки, но и поможет разобраться в сложных темах и ответит на вопросы. → Выберете направление для продвинутого изучения. Решите задачи на реальных данных, обучите нейросеть, углубите знания Python, библиотек для анализа данных и машинного обучения, освоите BI-инструменты, Git и выполните командные проекты в области big data. → Вас ждут курсы с различным уровнем сложности, онлайн-лекции и практика. → По окончании курса платформа гарантирует вам помощь в трудоустройстве. → Узнать подробнее можно по ссылке: https://clc.to/hK5E9Q. Оставьте заявку на курс сейчас и получите 6 месяцев бесплатного обучения и год английского в подарок.

Что такое Active learning - активное обучение ? Ответ Подход, при котором алгоритм выбирает часть данных, на которых он учится. Активное обучение особенно ценно в тех случаях, когда маркированных примеров недостаточно или их получение обходится дорого. Вместо того, чтобы слепо искать в широком диапазоне помеченных примеров, алгоритм активного обучения выборочно рассматривает конкретный набор примеров, которые ему нужны для обучения. ➡️ Подробнее @machinelearning_interview

Параметризация алгоритмов машинного обучения часто является борьбой за уравновешивание предвзятости и дисперсии. Ниже приведены два примера настройки компромисса смещения и дисперсии для конкретных алгоритмов: Алгоритм k-ближайших соседей имеет низкое смещение и высокую дисперсию, но компромисс можно изменить, увеличив значение k, которое увеличивает количество соседей, которые вносят вклад в прогноз, и,в свою очередь, увеличивает смещение модели. ================================= Алгоритм машины опорных векторов имеет низкое смещение и высокую дисперсию, но компромисс можно изменить, увеличив параметр C, который влияет на количество нарушений допустимого запаса в обучающих данных, что увеличивает смещение, но уменьшает дисперсию. Невозможно избежать взаимосвязи между систематической ошибкой и дисперсией в машинном обучении. Увеличение смещения уменьшит дисперсию. Увеличение дисперсии уменьшит смещение. Существует компромисс между этими двумя проблемами, и алгоритмы, которые вы выбираете, и способ их настройки находят разные балансы в этом компромиссе для вашей проблемы. В действительности, мы не можем вычислить реальные смещения и ошибки дисперсии, потому что мы не знаем фактическую основную целевую функцию. Тем не менее, в качестве основы смещения и дисперсии предоставляют инструменты для понимания поведения алгоритмов машинного обучения в стремлении к прогнозной производительности. =================================== Резюме В этом посте вы обнаружили смещение, дисперсию и компромисс смещения-дисперсии для алгоритмов машинного обучения. Теперь вы знаете, что: Смещение - это упрощающие допущения, сделанные моделью для упрощения аппроксимации целевой функции. Дисперсия - это величина, на которую оценка целевой функции изменится при различных данных обучения. Компромисс - это противоречие между ошибкой, вызванной смещением, и дисперсией. @machinelearning_interview

Объясните дилемму смещения-дисперсии и приведите примеры алгоритмов с высоким и низким смещением? Ответ В управляемом машинном обучении алгоритм изучает модель на основе данных обучения. Цель любого контролируемого алгоритма машинного обучения - наилучшим образом оценить функцию отображения (f) для выходной переменной (Y) с учетом входных данных (X). Функцию сопоставления часто называют целевой функцией, потому что это функция, к приближению которой стремится данный контролируемый алгоритм машинного обучения. Ошибка предсказания для любого алгоритма машинного обучения может быть разбита на три части: Ошибка смещения Ошибка отклонения Неприводимая ошибка Невозможно уменьшить неснижаемую ошибку независимо от того, какой алгоритм используется. Это ошибка, вызванная выбранным образом проблемы и может быть вызвана такими факторами, как неизвестные переменные, которые влияют на отображение входных переменных в выходную переменную. В этом посте мы сосредоточимся на двух частях, на которые можем влиять наши алгоритмы машинного обучения. Ошибка смещения и ошибка дисперсии. ====================================== Ошибка смещения Смещение - это упрощающие допущения, сделанные моделью для облегчения изучения целевой функции. Как правило, линейные алгоритмы имеют большой уклон, что делает их быстрыми для изучения и более легкими для понимания, но в целом менее гибкими. В свою очередь, они имеют более низкую эффективность прогнозирования сложных проблем, которые не соответствуют упрощающим предположениям смещения алгоритмов. Низкое смещение: меньше предположений о форме целевой функции. Высокий сдвиг: предлагает больше предположений о форме целевой функции. =================================== Примеры алгоритмов машинного обучения с низким смещением включают: деревья решений, k-ближайших соседей и машины опорных векторов. Примеры алгоритмов машинного обучения с высоким смещением: линейная регрессия, линейный дискриминантный анализ и логистическая регрессия. ==================================== Ошибка отклонения Дисперсия - это величина, на которую изменится оценка целевой функции, если использовались разные данные обучения. Целевая функция оценивается на основе данных обучения алгоритмом машинного обучения, поэтому следует ожидать, что алгоритм будет иметь некоторую дисперсию. В идеале он не должен слишком сильно меняться от одного набора обучающих данных к другому, а это означает, что алгоритм хорош в выборе скрытого базового сопоставления между входными и выходными переменными. Алгоритмы машинного обучения с высокой дисперсией сильно зависят от специфики обучающих данных. Это означает, что специфика обучения влияет на количество и типы параметров, используемых для характеристики функции отображения. Низкая дисперсия: предлагает небольшие изменения в оценке целевой функции с изменениями в наборе обучающих данных. Высокая дисперсия: предлагает большие изменения в оценке целевой функции с изменениями в наборе обучающих данных. Как правило, алгоритмы нелинейного машинного обучения, которые обладают большой гибкостью, имеют большую дисперсию. Например, деревья решений имеют высокую дисперсию, которая даже выше, если деревья не обрезать перед использованием. ===================================== Примеры алгоритмов машинного обучения с низкой дисперсией: линейная регрессия, линейный дискриминантный анализ и логистическая регрессия. Примеры алгоритмов машинного обучения с высокой дисперсией включают: деревья принятия решений, k-ближайших соседей и машины опорных векторов. =================================== Компромисс смещения и отклонения Цель любого алгоритма машинного обучения с учителем - добиться низкого уровня систематической ошибки и дисперсии. В свою очередь, алгоритм должен обеспечивать хорошие характеристики прогнозирования. Вы можете увидеть общую тенденцию в приведенных выше примерах: Алгоритмы линейного машинного обучения часто имеют высокую систематическую ошибку, но низкую дисперсию. Алгоритмы нелинейного машинного обучения часто имеют низкую систематическую ошибку, но большую дисперсию.

Есть идея по внедрению ИИ в промышленности? У нас есть конкурс! Привет! Это Центр инженерных технологий и моделирования «Экспонента». Мы уже более 15 лет помогаем инженерам в получении и освоении передовых технологий и инструментов разработки и отладки сложных технических систем. Двигаем хайтек в инженерные коллективы. И мы приглашаем вас на конкурс! Нет такого проекта, где внедрение ИИ не принесло бы пары процентов прибыли. Но чтобы это случилось, сообщество должно знать о приложениях, о сопутствующих рисках и вообще о громадном потенциале ваших идей. Выберите промышленный продукт или проект и расскажите о своей идее внедрения ИИ. Никаких строгих рамок и требований, только ваша креативность и экспертиза. Обещаем много категорий призов и общую встречу для подведения итогов. Когда будете готовы, напишите нам на aicontest22@exponenta.ru, указав название, резюме проекта и его расширенное описание. 🔹Узнать подробнее и подать заявку

Зачем нужна сигмоида в логистической регрессии? Ответ 1. Сигмоида переводит интервал от минус бесконечности до плюс бесконечности в (0, 1), что позволяет интерпретировать результат как вероятность и использовать метод максимального правдоподобия для обучения. 2. Сигмоиды не насыщаются от сильных сигналов. Что это значит? Пусть у нас есть объекты в одномерном пространстве. Объекты нулевого класса - (-1000, -1000, ... , -1000) - всего 100 штук, а объекты первого класса - (-999, 1000, 1000, ..., 1000) - тоже 100 штук. То есть можно разделить объекты, например, по границе -999.5. Однако если решать эту классификационную задачу линейной регрессией (никогда не делайте так), то алгоритм скажет, что границу нужно проводить в нуле, так как большое количество объектов в экстремальных значениях (-1000 и +1000) окажут на функцию ошибки существенно большее влияние, чем один элемент в точке -999. А в случае использования сигмоиды такого не происходит - влияние правильно классифицированных объектов на функцию ошибки крайне мало. 3. Градиенты сигмоид очень удобно выражаются через саму функцию, что сильно упрощает практическое применение на практике. В логистической регрессии в качестве сигмоиды используется логистическая функция f(x) = (1 + e^(-x))^(-1). А её градиент f'(x) = f(x) * (1 - f(x)) @machinelearning_interview

Можете рассказать о самой интересной и сложной задаче, связанной с машинным обучением, которой вы занимались? Примеры реальных ответов: 1. Полезные рекомендации документов. Задача настолько интересная и сложная, что её так толком никто и не решил. Представьте себе аналог Яндекс.Дзена, который подсовывает вам только то, что вам правда полезно, а не то, на что вы кликнете и убьете время. Как отличить "Стартап дня" от "10 деталей Властелина колец, которые вы никогда не замечали", или @gonzo_ML от @profunctor_io? И по популярности, и по кликам, и по лайкам первые всегда проиграют вторым. Фичи и модели фигня, прорвемся, но вот как сконструировать правильный таргет? 2. Применение больших языковых моделей. Допустим, у вас есть доступ к GPT-3. Если засовывать в неё "просто тексты" и просить продолжить, быстро становится очевидно, что она неплохо "рассуждает" и очень много чего знает -- что огонь горячий, что Наполеон был императором Франции, что человек с интересами "буддизм, йога, Тойота Приус" голосует за демократов, а не за республиканцев, и еще миллионы подобных вещей. Как эту мощь правильней всего применить к стандартным классификации, регрессии, ранжированию etc? Как извлечь из нее пользу в production? Ужасно интересно, и за последний год мое мнение на этот счет полностью изменилось. @machinelearning_interview

Является ли метрика ROC-AUC лучшей в задачах классификации? Ответ Нет лучшей метрики в задачах классификации, иначе бы остальные метрики отменили. ROC-AUC отличная метрика, но она оценивает скорее устойчивость алгоритма, так как смотрит на качество работы всех порогов сразу. А так метрика всегда зависит от решаемой задачи. @machinelearning_interview

Какая метрика линейной регрессии является наиболее информативной? Ответ Если вы уверены, что в ваших данных нет очень больших выбросов (качественные данные, например, собранные исправными датчиками), то самой информативной является RMSE (или MSE, если не важна физическая размерность прогнозируемой величины). Если вы ничего не знаете о ваших данных или уверены, что в них есть выбросы (некачественные данные, например, которые вводились людьми с клавиатуры), то лучше использовать MAE. Что касается относительных метрик, которые что-то показывают в процентах или относительных единицах, то они бывают очень коварными. Особенно коварен коэффициент детерминации R2. Сравнивать разные модели по R2 можно только на одном и том же наборе данных. Добавление новых данных или удаление части данных обрушивает всякое такое сравнение разных моделей по R2. Например, модель с R2=0.1 может прогнозировать гораздо лучше, чем модель с R2=0.9, если первая модель прогнозирует на данных с почти горизонтальным трендом, а вторая модель прогнозирует на данных с почти вертикальным трендом. @machinelearning_interview