Библиотека задач по Data Science | тесты, код, задания

🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта. В ней: ● Новости о прорывных исследованиях в области машинного обучения и нейросетей ● Материалы о применении ИИ в разных сферах ● Статьи об этических аспектах развития технологий ● Подборки лучших онлайн-курсов и лекций по машинному обучению ● Обзоры инструментов и библиотек для разработки нейронных сетей ● Ссылки на репозитории с открытым исходным кодом ИИ-проектов ● Фильмы, сериалы и книги 👉Подписаться👈

✍️ Разбор сложных задач недели 1️⃣ Если мы имеем дело с дисбалансом классов, то использовать метрику Accuracy — плохая идея. Эта метрика отражает долю объектов, для которых модель правильно предсказала класс. Однако представьте, что в данных 80% объектов представлены классом 0, а 20% — классом 1. Тогда верно угаданных объектов класса 0 с высокой вероятностью будет много, а верно угаданных объектов класса 1 — мало. Но Accuracy всё равно получится высокой. 2️⃣ При L2-регуляризации мы добавляем к функции потерь штрафную часть, представленную суммой квадратов весов модели, умноженных на гиперпараметр регуляризации. Природа полученной функции не даёт регуляризации занулить веса полностью. Поэтому мы отметаем второй вариант в этом квизе. Также стоит помнить, что L2-регуляризация штрафует большие веса сильнее, чем малые. В результате, этот метод приведёт веса коррелирующих признаков примерно к равным значениям, каждое из которых будет соответствовать приблизительно половине веса, который мог бы получиться у единственного признака. 3️⃣ Python умеет работать с комплексными числами. Если добавить к цифре букву j, то ошибки не будет. Когда мы создаём две переменные a и b и присваиваем им значение 1+2j, Python создаёт два отдельных объекта. Они расположены по разным адресам в памяти, что можно проверить, применив к a и b функцию id(). В свою очередь, оператор is сравнивает идентификаторы объектов, то есть проверяет, указывают ли две переменные на один и тот же объект в памяти. 4️⃣ Метрику Precision можно интерпретировать как долю объектов, названных моделью положительными и при этом действительно являющимися положительными. По формуле количество истинно положительных объектов (TP) мы делим на сумму истинно положительных объектов (TP) и ложно положительных объектов (FP). Precision = TP / (TP + FP) При изменении порога классификации соотношение TP и FP меняется. Если мы поднимем этот порог, то, скорее всего, количество FP объектов уменьшится, а следовательно значение Precision увеличится. С уверенностью мы это утверждать не можем, но чаще всего бывает именно так. #разбор_задач

⚡️Свершилось: канал с книгами только по Data Science Мы создали для вас канал, куда будем публиковать самые полезные книги только для специалистов по Data Science. Подписывайтесь! 👉Книги для дата сайентистов | Data Science

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом. Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций. Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах. 👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

✍️ Разбор сложных задач прошедшей недели 1️⃣ Чтобы ответить правильно на этот вопрос, важно было знать, что именно делает метод fillna() со значением method=‘ffill’ в Pandas. Он заполняет пропуски (NaN) последним наблюдаемым значением, то есть значением, стоящим перед пропущенным. Таким образом, ряд станет выглядеть как [5, 5, 5, 8, 10] и сумма будет 33. 2️⃣ Если во временном ряду много аномалий и выбросов, то можно применить сглаживание. Суть сглаживания и сводится к замене фактических значений ряда теми, что были получены после обработки колебаний. Самый простой способ сделать это — использовать скользящее среднее. По гладкому ряду могут быть лучше заметны тенденции. 3️⃣ В Python сравнение списков происходит поэлементно. В приведённом примере [1, 2, 3, 4] < [1, 2, 5] происходит так: - Сначала сравниваются первые элементы обоих списков: 1 и 1. Они равны, поэтому сравнение продолжается. - Затем сравниваются вторые элементы: 2 и 2. Они также равны. - Далее сравниваются третьи элементы: 3 и 5. Поскольку 3 меньше 5, Python заключает, что первый список меньше второго, и возвращает True. #разбор_задач