Machine learning Interview

🔥 Полезнейшая Подборка каналов 🦾 Machine learning @ai_machinelearning_big_data – все о машинном обучении @data_analysis_ml – все о анализе данных. @machinelearning_ru – машинное обучении на русском от новичка до профессионала. @machinelearning_interview – подготовка к собеседования Data Science @datascienceiot – бесплатные книги Machine learning @ArtificialIntelligencedl – канал о искусственном интеллекте @neural – все о нейронных сетях @machinee_learning – чат о машинном обучении @datascienceml_jobs - работа ds, ml ☕️ Java @javatg - Java для програмистов @javachats Java чат @java_library - книги Java @android_its Android разработка @java_quizes - тесты Java @Java_workit - работа Java @progersit - шпаргалки ит 💡 Javascript / front @javascriptv - javascript изучение @about_javascript - javascript продвинутый @JavaScript_testit -тесты JS @htmlcssjavas - web @hashdev - web разработка 🦫 Golang @golang_interview - вопросы и ответы с собеседований по Go. Для всех уровней разработчиков. @Golang_google - go для разработчиков @golangtests - тесты и задачи GO @golangl - чат Golang @GolangJobsit - вакансии и работа GO @golang_jobsgo - чат вакансий @golang_books - книги Golang @golang_speak - обсуждение задач Go 🐍 Python @pythonl – python для датасаентиста @pro_python_code – python на русском @python_job_interview – подготовка к Python собеседованию @python_testit тесты на python @pythonlbooks - книги Python @Django_pythonl django @python_djangojobs - работа Python 🐧 Linux @inux_kal - чат kali linux @inuxkalii - linux kali @linux_read - книги linux 👷‍♂️ IT работа @hr_itwork - ит-ваканнсии 🔋 SQL @sqlhub - базы данных @chat_sql - базы данных чат 🤡It memes @memes_prog - ит-мемы ⚙️ Rust @rust_code - язык программирования rust @rust_chats - чат rust #️⃣ c# c++ @csharp_ci - c# c++кодинг @csharp_cplus чат

Следует ли применять нормализацию к данным до или после разделения? Имеет ли значение при построении прогнозной модели? Ответ Нормализация должна выполняться после разделения данных между обучающим и тестовым наборами с использованием только данных из обучающего набора. Это связано с тем, что тестовый набор играет роль свежих невидимых данных, поэтому он не должен быть доступен на этапе обучения. Использование любой информации, полученной из тестового набора до или во время обучения, может привести к систематической ошибке при оценке производительности. При нормализации тестового набора следует применять параметры нормализации, ранее полученные из тренировочного набора как есть. Не пересчитывайте их на тестовом наборе, потому что они будут несовместимы с моделью, и это приведет к неправильным прогнозам. @machinelearning_interview

Junior Data Scientist | Собеседование 0:00 Введение. 0:50 О структуре и секциях, которые входят в интервью. Секция «Python» 2:30 Вопрос на изменяемые и неизменяемые типы данных 6:21 Задача на dict и ответ Дмитрия 8:15 Объяснение первой задачи 10:38 Задача, цель которой — сделать, чтобы дикты были разные, ответ Дмитрия 13:51 Разбор второй задачи 16:10 Вопрос о выделении и очистке памяти в Python, ответ Дмитрия 16:26 Разбор вопроса 19:00 Вопрос о генераторах, декораторах и итераторах Секция «A/B-тесты» 20:35 Вопрос о моделировании A/B теста 30:57 Вопрос о генерации распределений 31:22 Подводка к критерию стьюдента и вопрос про ограничения его применения 32:26 О необходимости нормальности распределения 33:46 Тесты для проверки на нормальность 34:24 Как сравнить ненормальные распределения 35:02 Подводка к вопросу о нормальности распределения средних при бутстрапе 36:04 Как быть, если нет старых пользователей, и нужно провести тест только на новых 37:53 Какие еще бывают вопросы и общие рассуждения 41:19 Интерпретация Bootstrap Секция «Работа с данными» 42:04 Вопрос про разницу Where и Having 44:20 вопрос про виды join и задания на join 45:57 подводка к задаче про group by в Python 47:49 Задача на group by в Python Секция «ML алгоритмы» 1:06:22 Задача о линейных регрессиях 1:09:47 Вопрос о градиентном спуске 1:14:06 Вопрос о переобучении 1:22:20 Вопрос о деревьях и их построении 1:26:04 Вопрос: почему случайный лес работает хорошо и не переобучается? 1:28:20 Последний вопрос со звездочкой: в каких случаях логистическая регрессия на задачах классификации будет работать лучше, чем случайный лес 1:32:18 Конец, обратная связь https://www.youtube.com/watch?v=Us_TKT8ZL2E @machinelearning_interview

9.09 @machinelearning_interview 🧠 Напишите свою первую нейронную сеть! Встречаемся 15 сентября в 20:00 мск на открытом уроке OTUS. 💬 Вместе с Антоном Витвицким, экспертом по компьютерному зрению и глубокому обучению, рассмотрим основные этапы создания и обучения своей первой нейронной сети и попробуем решить известную задачу классификации MNIST полносвязной и сверточной нейронными сетями на примере фреймворка PyTorch. 📚 Больше практики и и интересных задач ждут вас на онлайн-курсе «Deep Learning». Для участия необходимо знать основы Python, поэтому проходите вступительный тест и 👉 регистрируйтесь Реклама. Информация о рекламодателе на сайте otus.ru

Что такое квантильная регрессия? Квантильная регрессия — это регрессия (т.е. прогноз), которая намеренно вводит смещение в результат. Вместо поиска среднего значения прогнозируемой переменной, квантильная регрессия направлена на поиск медианы и любых других квантилей (которые иногда называют процентилями). Квантили особенно полезны для оптимизации товарных запасов в качестве прямого метода для вычисления точки возобновления. Здесь регрессия выступает синонимом прогноза. "Регрессия" делает акцент на математическом подходе, тогда как "прогноз" - на практическом использовании результата. На графике показаны 3 обособленных прогноза: - красным цветом отмечен 75-процентный квантильный прогноз. - черным цветом отмечен прогноз на основе средних значений. - зеленым цветом отмечен 25-процентный квантильный прогноз. Визуально поведение квантилей схоже с поведением доверительных интервалов. Однако, на практике квантиль нужен лишь для процентного выражения отдельно взятых точек. @machinelearning_interview

В Data Science одни из самых высоких зарплат в IT. Войти в эту сферу можно с нуля — курс «Профессия Data Scientist PRO» как раз подходит для новичков. →Вы с нуля освоите Python, SQL, научитесь собирать и анализировать данные, получите необходимый теоретический минимум по математике, теории вероятности и статистике. →С вами будет работать личный наставник. Он не только укажет на ошибки, но и поможет разобраться в сложных темах и ответит на вопросы. → Выберете направление для продвинутого изучения. Решите задачи на реальных данных, обучите нейросеть, углубите знания Python, библиотек для анализа данных и машинного обучения, освоите BI-инструменты, Git и выполните командные проекты в области big data. → Вас ждут курсы с различным уровнем сложности, онлайн-лекции и практика. → По окончании курса платформа гарантирует вам помощь в трудоустройстве. → Узнать подробнее можно по ссылке: https://clc.to/hK5E9Q. Оставьте заявку на курс сейчас и получите 6 месяцев бесплатного обучения и год английского в подарок.

Что такое Active learning - активное обучение ? Ответ Подход, при котором алгоритм выбирает часть данных, на которых он учится. Активное обучение особенно ценно в тех случаях, когда маркированных примеров недостаточно или их получение обходится дорого. Вместо того, чтобы слепо искать в широком диапазоне помеченных примеров, алгоритм активного обучения выборочно рассматривает конкретный набор примеров, которые ему нужны для обучения. ➡️ Подробнее @machinelearning_interview

Параметризация алгоритмов машинного обучения часто является борьбой за уравновешивание предвзятости и дисперсии. Ниже приведены два примера настройки компромисса смещения и дисперсии для конкретных алгоритмов: Алгоритм k-ближайших соседей имеет низкое смещение и высокую дисперсию, но компромисс можно изменить, увеличив значение k, которое увеличивает количество соседей, которые вносят вклад в прогноз, и,в свою очередь, увеличивает смещение модели. ================================= Алгоритм машины опорных векторов имеет низкое смещение и высокую дисперсию, но компромисс можно изменить, увеличив параметр C, который влияет на количество нарушений допустимого запаса в обучающих данных, что увеличивает смещение, но уменьшает дисперсию. Невозможно избежать взаимосвязи между систематической ошибкой и дисперсией в машинном обучении. Увеличение смещения уменьшит дисперсию. Увеличение дисперсии уменьшит смещение. Существует компромисс между этими двумя проблемами, и алгоритмы, которые вы выбираете, и способ их настройки находят разные балансы в этом компромиссе для вашей проблемы. В действительности, мы не можем вычислить реальные смещения и ошибки дисперсии, потому что мы не знаем фактическую основную целевую функцию. Тем не менее, в качестве основы смещения и дисперсии предоставляют инструменты для понимания поведения алгоритмов машинного обучения в стремлении к прогнозной производительности. =================================== Резюме В этом посте вы обнаружили смещение, дисперсию и компромисс смещения-дисперсии для алгоритмов машинного обучения. Теперь вы знаете, что: Смещение - это упрощающие допущения, сделанные моделью для упрощения аппроксимации целевой функции. Дисперсия - это величина, на которую оценка целевой функции изменится при различных данных обучения. Компромисс - это противоречие между ошибкой, вызванной смещением, и дисперсией. @machinelearning_interview

Объясните дилемму смещения-дисперсии и приведите примеры алгоритмов с высоким и низким смещением? Ответ В управляемом машинном обучении алгоритм изучает модель на основе данных обучения. Цель любого контролируемого алгоритма машинного обучения - наилучшим образом оценить функцию отображения (f) для выходной переменной (Y) с учетом входных данных (X). Функцию сопоставления часто называют целевой функцией, потому что это функция, к приближению которой стремится данный контролируемый алгоритм машинного обучения. Ошибка предсказания для любого алгоритма машинного обучения может быть разбита на три части: Ошибка смещения Ошибка отклонения Неприводимая ошибка Невозможно уменьшить неснижаемую ошибку независимо от того, какой алгоритм используется. Это ошибка, вызванная выбранным образом проблемы и может быть вызвана такими факторами, как неизвестные переменные, которые влияют на отображение входных переменных в выходную переменную. В этом посте мы сосредоточимся на двух частях, на которые можем влиять наши алгоритмы машинного обучения. Ошибка смещения и ошибка дисперсии. ====================================== Ошибка смещения Смещение - это упрощающие допущения, сделанные моделью для облегчения изучения целевой функции. Как правило, линейные алгоритмы имеют большой уклон, что делает их быстрыми для изучения и более легкими для понимания, но в целом менее гибкими. В свою очередь, они имеют более низкую эффективность прогнозирования сложных проблем, которые не соответствуют упрощающим предположениям смещения алгоритмов. Низкое смещение: меньше предположений о форме целевой функции. Высокий сдвиг: предлагает больше предположений о форме целевой функции. =================================== Примеры алгоритмов машинного обучения с низким смещением включают: деревья решений, k-ближайших соседей и машины опорных векторов. Примеры алгоритмов машинного обучения с высоким смещением: линейная регрессия, линейный дискриминантный анализ и логистическая регрессия. ==================================== Ошибка отклонения Дисперсия - это величина, на которую изменится оценка целевой функции, если использовались разные данные обучения. Целевая функция оценивается на основе данных обучения алгоритмом машинного обучения, поэтому следует ожидать, что алгоритм будет иметь некоторую дисперсию. В идеале он не должен слишком сильно меняться от одного набора обучающих данных к другому, а это означает, что алгоритм хорош в выборе скрытого базового сопоставления между входными и выходными переменными. Алгоритмы машинного обучения с высокой дисперсией сильно зависят от специфики обучающих данных. Это означает, что специфика обучения влияет на количество и типы параметров, используемых для характеристики функции отображения. Низкая дисперсия: предлагает небольшие изменения в оценке целевой функции с изменениями в наборе обучающих данных. Высокая дисперсия: предлагает большие изменения в оценке целевой функции с изменениями в наборе обучающих данных. Как правило, алгоритмы нелинейного машинного обучения, которые обладают большой гибкостью, имеют большую дисперсию. Например, деревья решений имеют высокую дисперсию, которая даже выше, если деревья не обрезать перед использованием. ===================================== Примеры алгоритмов машинного обучения с низкой дисперсией: линейная регрессия, линейный дискриминантный анализ и логистическая регрессия. Примеры алгоритмов машинного обучения с высокой дисперсией включают: деревья принятия решений, k-ближайших соседей и машины опорных векторов. =================================== Компромисс смещения и отклонения Цель любого алгоритма машинного обучения с учителем - добиться низкого уровня систематической ошибки и дисперсии. В свою очередь, алгоритм должен обеспечивать хорошие характеристики прогнозирования. Вы можете увидеть общую тенденцию в приведенных выше примерах: Алгоритмы линейного машинного обучения часто имеют высокую систематическую ошибку, но низкую дисперсию. Алгоритмы нелинейного машинного обучения часто имеют низкую систематическую ошибку, но большую дисперсию.

Есть идея по внедрению ИИ в промышленности? У нас есть конкурс! Привет! Это Центр инженерных технологий и моделирования «Экспонента». Мы уже более 15 лет помогаем инженерам в получении и освоении передовых технологий и инструментов разработки и отладки сложных технических систем. Двигаем хайтек в инженерные коллективы. И мы приглашаем вас на конкурс! Нет такого проекта, где внедрение ИИ не принесло бы пары процентов прибыли. Но чтобы это случилось, сообщество должно знать о приложениях, о сопутствующих рисках и вообще о громадном потенциале ваших идей. Выберите промышленный продукт или проект и расскажите о своей идее внедрения ИИ. Никаких строгих рамок и требований, только ваша креативность и экспертиза. Обещаем много категорий призов и общую встречу для подведения итогов. Когда будете готовы, напишите нам на aicontest22@exponenta.ru, указав название, резюме проекта и его расширенное описание. 🔹Узнать подробнее и подать заявку

Зачем нужна сигмоида в логистической регрессии? Ответ 1. Сигмоида переводит интервал от минус бесконечности до плюс бесконечности в (0, 1), что позволяет интерпретировать результат как вероятность и использовать метод максимального правдоподобия для обучения. 2. Сигмоиды не насыщаются от сильных сигналов. Что это значит? Пусть у нас есть объекты в одномерном пространстве. Объекты нулевого класса - (-1000, -1000, ... , -1000) - всего 100 штук, а объекты первого класса - (-999, 1000, 1000, ..., 1000) - тоже 100 штук. То есть можно разделить объекты, например, по границе -999.5. Однако если решать эту классификационную задачу линейной регрессией (никогда не делайте так), то алгоритм скажет, что границу нужно проводить в нуле, так как большое количество объектов в экстремальных значениях (-1000 и +1000) окажут на функцию ошибки существенно большее влияние, чем один элемент в точке -999. А в случае использования сигмоиды такого не происходит - влияние правильно классифицированных объектов на функцию ошибки крайне мало. 3. Градиенты сигмоид очень удобно выражаются через саму функцию, что сильно упрощает практическое применение на практике. В логистической регрессии в качестве сигмоиды используется логистическая функция f(x) = (1 + e^(-x))^(-1). А её градиент f'(x) = f(x) * (1 - f(x)) @machinelearning_interview

Можете рассказать о самой интересной и сложной задаче, связанной с машинным обучением, которой вы занимались? Примеры реальных ответов: 1. Полезные рекомендации документов. Задача настолько интересная и сложная, что её так толком никто и не решил. Представьте себе аналог Яндекс.Дзена, который подсовывает вам только то, что вам правда полезно, а не то, на что вы кликнете и убьете время. Как отличить "Стартап дня" от "10 деталей Властелина колец, которые вы никогда не замечали", или @gonzo_ML от @profunctor_io? И по популярности, и по кликам, и по лайкам первые всегда проиграют вторым. Фичи и модели фигня, прорвемся, но вот как сконструировать правильный таргет? 2. Применение больших языковых моделей. Допустим, у вас есть доступ к GPT-3. Если засовывать в неё "просто тексты" и просить продолжить, быстро становится очевидно, что она неплохо "рассуждает" и очень много чего знает -- что огонь горячий, что Наполеон был императором Франции, что человек с интересами "буддизм, йога, Тойота Приус" голосует за демократов, а не за республиканцев, и еще миллионы подобных вещей. Как эту мощь правильней всего применить к стандартным классификации, регрессии, ранжированию etc? Как извлечь из нее пользу в production? Ужасно интересно, и за последний год мое мнение на этот счет полностью изменилось. @machinelearning_interview

Является ли метрика ROC-AUC лучшей в задачах классификации? Ответ Нет лучшей метрики в задачах классификации, иначе бы остальные метрики отменили. ROC-AUC отличная метрика, но она оценивает скорее устойчивость алгоритма, так как смотрит на качество работы всех порогов сразу. А так метрика всегда зависит от решаемой задачи. @machinelearning_interview

Какая метрика линейной регрессии является наиболее информативной? Ответ Если вы уверены, что в ваших данных нет очень больших выбросов (качественные данные, например, собранные исправными датчиками), то самой информативной является RMSE (или MSE, если не важна физическая размерность прогнозируемой величины). Если вы ничего не знаете о ваших данных или уверены, что в них есть выбросы (некачественные данные, например, которые вводились людьми с клавиатуры), то лучше использовать MAE. Что касается относительных метрик, которые что-то показывают в процентах или относительных единицах, то они бывают очень коварными. Особенно коварен коэффициент детерминации R2. Сравнивать разные модели по R2 можно только на одном и том же наборе данных. Добавление новых данных или удаление части данных обрушивает всякое такое сравнение разных моделей по R2. Например, модель с R2=0.1 может прогнозировать гораздо лучше, чем модель с R2=0.9, если первая модель прогнозирует на данных с почти горизонтальным трендом, а вторая модель прогнозирует на данных с почти вертикальным трендом. @machinelearning_interview

Техническое собеседование для Амазон: Задание 1: Есть 2 таблицы А и Б, нужно сказать сколько строк выведется при соединении. TableA id1 1 1 TableB id2 1 1 1 1 NULL Please provide the count of rows for each join for Table A and Table B: Left join: Right join: inner join: full join: Задание 2: Department table (id, name) D1 Finance Dept D2 HR Dept D3 AR Dept F1 AP Dept Employee table (id, name, deptNo, sex, hireDate, Salary,effectiveDate) E1, sample1, D1,M,01/01/2000, 5000, 01/01/2000 E1, sample1, D1,M,01/01/2000, 6000, 01/01/2001 E1, sample1, D2,M,01/01/2000, 6000, 01/02/2001 E2, sample1, D2,M,01/01/2000, 6000, 01/02/2001 E3, sample1, D1,M,01/01/2000, 5000, 01/01/2000 E3, sample1, D1,M,01/01/2000, 6000, 01/01/2001 E4, sample1, F1,M,01/01/2000, 5000, 01/01/2000 E4, sample1, D1,M,01/01/2000, 6000, 01/01/2001 E4, sample1, D3,M,01/01/2000, 8000, 01/02/2001 E5, sample1, D3,F,01/01/2001, 8000, 01/02/2001 E6, sample1, D3,F,01/01/2001, 9000, 01/02/2001 1.Write a query to display latest salary of each employee 2. Write a query to display department name where employees count in the department is more than 2 Задание 3 (code): Given two strings, output the words that are unique to each string. Example: String 1: The quick brown fox jumped over the lazy fox String 2: The slow blue whale swam over the quick shark Output: slow, brown, blue, fox, whale, jumped, swam, lazy, shark Задание 4 (моделирование): Employee Seat Assignment Daily some employees in the organization transfer from one manager to another manager. This transfer leads to new seat assignment at his new work location. Can you do a data model to maintain the history of work location changes? (нужно прикинуть какой подход для моделирования использовать, какие колонки будут в таблице, как отображать историю) @machinelearning_interview

КАКОВА СВЯЗЬ МЕЖДУ АНАЛИЗОМ И ОБРАБОТКОЙ ДАННЫХ И DATAOPS? Ответ DataOps (операции с данными) — это новая концепция, под которой понимается методология управления корпоративными данными для эры искусственного интеллекта. Реализовав всеобъемлющую стратегию DataOps, вы можете легко связывать потребителей и создателей данных, чтобы быстро выявлять и использовать всю ценность информационных активов. DataOps — не продукт, услуга или решение. Это методология, технологическая и культурная новация, призванная улучшить использование данных в организации за счет повышения их качества, сокращения цикла и максимально эффективного управления ими. Очевидно, что анализ и обработка данных — ключевая концепция DataOps. DataOps охватывает весь цикл сбора и использования информации, а анализ и обработка данных направлены на применение математических и статистических методов, а также алгоритмов искусственного интеллекта и машинного обучения для осмысления данных. Анализ и обработка данных поддерживают сквозной процесс DataOps, преобразуя необработанную информацию в сведения, обладающие практической ценностью, которые помогают реализовать общую стратегию. @machinelearning_interview

Расскажите о механизмах работы ридж и лассо регрессий. Ответ Лассо и ридж — это модели линейной регрессии, но с поправочным (штрафным) коэффициентом, также называемым регуляризацией. Они вносят поправки в размерность бета-вектора разными способами. Лассо-регрессия Лассо-регрессия накладывает штраф на l1-норму бета-вектора. l1-норма вектора — это сумма абсолютных значений в этом векторе. Это заставляет лассо-регрессию обнулять некоторые коэффициенты в бета-векторе. Детали этого процесса можно найти по ссылке. Упрощенно назначение лассо-регрессии можно выразить так: “Постарайтесь достичь наилучшей производительности, но, обнаружив бесполезность некоторых коэффициентов, отбросьте их”. Ридж-регрессия Ридж-регрессия накладывает штраф на l2-норму бета-вектора. 2-норма вектора — это квадратный корень из суммы квадратов значений в векторе. Благодаря этому, ридж-регрессия не позволяет коэффициентам бета-вектора достигать экстремальных значений (что часто происходит при чрезмерно близкой подгонке). Простыми словами назначение ридж-регрессии можно выразить так: “Постарайтесь добиться наилучшей производительности, но ни один из коэффициентов не должен достигать экстремального значения”. ➡️ Лассо и ридж-регрессии: интуитивное сравнение @machinelearning_interview

Рассакажите о градиентном бустинг. Опишите логику, которуюа стоит за градиентым бустингом. Ответ Градиентный бустинг — это техника машинного обучения для задач классификации и регрессии, которая строит модель предсказания в форме ансамбля слабых предсказывающих моделей, обычно деревьев решений. Интуиция за градиентным бустингом Логика, что стоит за градиентым бустингом, проста, ее можно понять интуитивно, без математического формализма. Предполагается, что читатель знаком с простой линейной регрессией. Первое предположение линейной регресии, что сумма отклонений = 0, т.е. отклонения должны быть случайно распределены в окрестности нуля. Теперь давайте думать о отклонениях, как об ошибках, сделанных нашей моделью. Хотя в моделях основанных на деревьях не делается такого предположения, если мы будем размышлять об этом предположении логически (не статистически), мы можем понять, что увидив принцип распределения отклонений, сможем использовать данный паттерн для модели. Итак, интуиция за алгоритмом градиентного бустинга — итеративно применять паттерны отклонений и улучшать предсказания. Как только мы достигли момента, когда отклонения не имеют никакого паттерна, мы прекращаем достраивать нашу модель (иначе это может привести к переобучению). Алгоритмически, мы минимизируем нашу функцию потерь. В итоге, Сначала строим простые модели и анализируем ошибки; Определяем точки, которые не вписываются в простую модель; Добавляем модели, которые обрабатывают сложные случаи, которые были выявлены на начальной модели; Собираем все построенные модели, определяя вес каждого предсказателя. ➡️ Подробное описание с примерами кода @machinelearning_interview

Рассакажите о градиентном бустинг. Опишите логику, которуюа стоит за градиентым бустингом. Ответ Градиентный бустинг — это техника машинного обучения для задач классификации и регрессии, которая строит модель предсказания в форме ансамбля слабых предсказывающих моделей, обычно деревьев решений. Интуиция за градиентным бустингом Логика, что стоит за градиентым бустингом, проста, ее можно понять интуитивно, без математического формализма. Предполагается, что читатель знаком с простой линейной регрессией. Первое предположение линейной регресии, что сумма отклонений = 0, т.е. отклонения должны быть случайно распределены в окрестности нуля. Теперь давайте думать о отклонениях, как об ошибках, сделанных нашей моделью. Хотя в моделях основанных на деревьях не делается такого предположения, если мы будем размышлять об этом предположении логически (не статистически), мы можем понять, что увидив принцип распределения отклонений, сможем использовать данный паттерн для модели. Итак, интуиция за алгоритмом градиентного бустинга — итеративно применять паттерны отклонений и улучшать предсказания. Как только мы достигли момента, когда отклонения не имеют никакого паттерна, мы прекращаем достраивать нашу модель (иначе это может привести к переобучению). Алгоритмически, мы минимизируем нашу функцию потерь. В итоге, Сначала строим простые модели и анализируем ошибки; Определяем точки, которые не вписываются в простую модель; Добавляем модели, которые обрабатывают сложные случаи, которые были выявлены на начальной модели; Собираем все построенные модели, определяя вес каждого предсказателя. ➡️ Подробное описание с примерами кода @machinelearning_interview

Рекомендую канал датасаентиста Рената Алимбекова. Ренат пишет про карьеру, применение и обучение data science. Крутые посты: 👨🏻‍💻 Про курсы и обучение Как освоить Data Science — личный опыт (пост в блоге) 🚊 Production Streamlit - быстрый способ создать приложение для работы с данными Chalice - фреймворк для написания бессерверных приложений на Python 👍 Полезное хэштег Visual Studio Code для Data Science ()  ⚒️ Много разных интересных python библиотек albumentations - Библиотека быстрых аугментаций изображений Great Expectations библиотека, которая помогает тестировать данные