Библиотека задач по Data Science | тесты, код, задания

1 марта Newprolab запускает уже 14-й поток программы Data-Engineer Программа будет полезна junior и middle дата-инженерам, аналитикам данных, бэкенд-разработчикам, техлидам и менеджерам, работающим с дата-командой - 7 недель (11 марта – 27 апреля) - 20 занятий с преподавателями в зуме - 6 лаб с реальными данными - чат с участниками и поддержка координаторов 📌Что дает программа: 1) научитесь решать типичные задачи DE и реально станете дата-инженером на время программы 2) структурируете ваши знания и познакомитесь с новыми инструментами 3) поработаете с облачным кластером для решения лаб с реальными данными 4) видеозаписи и другие материалы программы останутся у вас навсегда 📌Преподаватели – практики из ведущих компаний, рассказывают о сложном простым языком и ответят на все ваши вопросы 📌Промокод DEFRIENDS дает скидку 20% [Подробная информация и регистрация] Реклама. НОЧУ ДПО "НЬЮПРОЛАБ", ИНН 772946109. Erid 2VtzqxAq16J

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом. Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций. Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах. 👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

-50% на наш флагманский курс по вышмату + курс по machine learning в подарок 📣 В честь 23 февраля мы решили снизить цену на курс по математике и подарить курс по machine learning — https://proglib.io/w/89045e28 14 990 рублей 29 990 рублей до 29 февраля ⭐ На курсе вы получите все необходимые знания для старта карьеры в DS или аналитике. Что ещё вас ждёт на курсе: 🔹 Полугодовая программа от преподавателей ВМК МГУ; 🔹 150 практических заданий и 47 видеолекций; 🔹 Бессрочный доступ ко всем материалам курса; 🔹 Развернутая обратная связь по всем домашним заданиям, а также ссылки на полезные дополнительные материалы. ☄ Переходите на сайт, читайте подробности и заходите на обучение по самым выгодным условиям — https://proglib.io/w/89045e28

✍️ Разбираем задачи прошедшей недели 1️⃣ В строковых литералах Python обратный слеш \ используется для экранирования специальных символов, таких как \n для новой строки или \t для табуляции. В данном случае двойной обратный слеш \\ интерпретируется как один обратный слеш, а символ t после него остаётся просто буквой. Вывод будет — '2\t4'. 2️⃣ Кросс-валидация, по сути, эмулирует наличие тестовой выборки, которая не участвует в обучении, но для которой известны правильные ответы. При этом можно систематически изменять гиперпараметры модели, чтобы найти такую комбинацию, которая даёт лучшую производительность на разных подмножествах данных. Это обычно достигается с помощью таких методов, как Grid Search или Random Search. 3️⃣ Функция np.linalg.solve(A, b) решает систему уравнений, которая выглядит так: 3x1+x2=9 x1+2x2=8 Её решением будет [2. 3.] #разбор_задач

Ищете способ выделиться среди джуниоров в IT? Наш 5-дневный курс "Введение в командную разработку" даст вам понимание: ✔️ каких джунов выбирает HR ✔️ какие инструменты нужны для работы в команде ✔️ как презентовать проекты в резюме ✔️ как разобраться в Jira, Git, GitHub и Docker Гарантированно начнете понимать что от вас хотят в вакансиях, тестовых и собеседованиях. И вот вы уже в числе 10% джунов, которые шарят. Запись на курс 👉 https://clck.ru/38vvia Реклама. ИП Брусенцева Наталья Андреевна ИНН 110121801942

👀 Итоги недели в мире ИИ и обзоры новых сервисов У нас вышла интересная статья на 📰 по мотивам еженедельной рассылки про последние новости и тенденции в мире ИИ. Ниже — небольшая подборка, а целиком читайте здесь 👈 💬Новости ▫️ Исследователи Стэнфордского университета обнаружили, что чат-боты склонны делать выбор в пользу насилия и ядерных ударов в военных играх. ▫️Разработчики приложения для знакомств Bumble протестировали новую AI-функцию Deception Detector, которая автоматически заблокировала 95% мошеннических аккаунтов. ▫️Google создала MobileDiffusion — мини-модель для супербыстрой генерации изображений на смартфонах. 🛠 Инструменты ▫️UserSketch — создаёт чат-бота на основе единой базы знаний с данными, собранными из любых документов, почты, мессенджеров, приложений для управления проектами и организации бизнес-процессов. ▫️Ytube AI — превращает YouTube-видео в SEO-оптимизированные статьи. ▫️ThreadScribe.ai — превращает сообщения из Slack в структурированную базу знаний, которой можно задавать любые вопросы и получать инсайты. ▫️Fooocus — бесплатная опенсорсная альтернатива Midjourney. Устанавливается локально. ⚙️ Сделай сам Google выпустила инструмент localllm для запуска LLM локально или в облаке, на CPU вместо GPU. Подробный туториал по установке и настройке localllm — в блоге разработчиков. 🎓 Исследования Исследователи из Технологического института Джорджии представили PokéLLMon. Возможности этого ИИ-агента сопоставимы с человеческими — он уже выиграл 56% боев против людей. Авторы также нашли способ избавиться от галлюцинаций и решили проблему панического переключения, когда при столкновении с сильным противником агент начинал хаотично переключаться между покемонами.

🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта. В ней: ● Новости о прорывных исследованиях в области машинного обучения и нейросетей ● Материалы о применении ИИ в разных сферах ● Статьи об этических аспектах развития технологий ● Подборки лучших онлайн-курсов и лекций по машинному обучению ● Обзоры инструментов и библиотек для разработки нейронных сетей ● Ссылки на репозитории с открытым исходным кодом ИИ-проектов ● Фильмы, сериалы и книги 👉Подписаться👈

✍️ Очередной воскресный разбор задач 1️⃣ Log Loss — это одна из функций потерь, используемая в задаче классификации. Основывается на вероятностной модели. Чтобы вычислить вероятность получения исходной выборки согласно предсказаниям модели, перемножаются вероятности каждого отдельного y при условии набора признаков x. Получившуюся таким образом функцию правдоподобия нужно максимизировать. Однако максимизировать произведение достаточно сложно, поэтому берётся логарифм. Кроме того, выражение преобразуется для того, чтобы от задачи максимизации перейти к задаче минимизации. Причина, по которой Log Loss сильнее штрафует за уверенные и неверные прогнозы, заключается в свойствах логарифмической функции. Когда модель делает уверенное предсказание (то есть, pi близко к 1 для истинного класса 1 или pi близко к 0 для истинного класса 0), и это предсказание верно, логарифмический компонент приближается к 0, что приводит к меньшему значению потерь. Однако, если модель делает уверенное, но ошибочное предсказание (pi близко к 1, когда истинный класс 0, или pi близко к 0, когда истинный класс 1), логарифмический компонент стремится к бесконечности. 2️⃣ Рассмотрим, как работают операторы and и or в Python. ▪️and возвращает первый операнд, если он ложен, иначе возвращает второй операнд. ▪️or возвращает первый операнд, если он истинен, иначе возвращает второй операнд. Таким образом, в этой задаче в переменную a (5 and 10) запишется 10. В переменную b (5 or 10) запишется 5. Верным ответом будет 30. 3️⃣ В данном объединении используется метод outer. Он работает как FULL JOIN в SQL, то есть полное внешнее объединение. Включаются все строки из обеих таблиц. Если совпадений по ключу нет, в результирующем DataFrame для отсутствующих значений вставляется NaN. #разбор_задач