Библиотека задач по Data Science | тесты, код, задания

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом. Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций. Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах. 👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

🟰Математические основы генеративных нейронных сетей: что нужно знать для их изучения ❔Генеративный ИИ — это тип искусственного интеллекта, который после обучения на огромных массивах существующих данных способен создавать новый контент (текст, программный код, изображения, аудио, видео). 🪅Первыми примитивными примерами генеративного ИИ можно считать статистические модели, которые могли генерировать новые последовательности на основе заданных входных данных. Одна из таких моделей была использована для предсказания итогов президентских выборов в США в 1952 году. ↗️ Стремительное развитие генеративного ИИ началось в 2014 году, когда Ян Гудфеллоу и его коллеги представили генеративную состязательную сеть (GAN). Параллельно с этим, вариационные автокодировщики (VAE) и рекуррентные нейронные сети (RNN) тоже продемонстрировали впечатляющие способности к генерации нового контента. С тех пор генеративный ИИ развивается с головокружительной скоростью. В новой статье рассказываем, какие разделы математики нужно знать для разработки современных генеративных моделей. 🔗 Читать статью 🔗 Зеркало

✍️ Воскресный разбор задач Сегодня рассмотрим одну задачу по свёртке. При свёртке у нас есть ядро (kernel) — небольшая матрица весов. Это ядро «скользит» по входным данным, выполняя поэлементное умножение для той части данных, которую сейчас покрывает. Результаты перемножений ячеек суммируются в одном выходном пикселе. В этой задаче хоть и не было прямо указано, но предполагалось, что размер выходного изображения (матрицы) должен остаться таким же, что и размер входного изображения. Для этого исходную матрицу можно дополнить «поддельными» пикселями вокруг. Тогда: 🟡Ядро размещается поверх изображения так, чтобы его центр находился над текущим пикселем. 🟡Элементы ядра умножаются на соответствующие элементы изображения под ними. 🟡Результаты умножения суммируются, формируя новое значение для текущего пикселя. Процесс повторяется для каждого пикселя изображения. Ядро последовательно «скользит» по всему изображению. Если используется ядро, которое в основном состоит из нулей с единицей по центру, как [[0, 0, 0], [0, 1, 0], [0, 0, 0]], каждый пиксель остаётся неизменным, поскольку только центральный пиксель умножается на 1, а все окружающие на 0. Это оставляет изображение без изменений после свёртки. Мы можем проверить все ядра на изображении с помощью функции Filter2D() из OpenCV:

from google.colab.patches import cv2_imshow
import cv2
import numpy as np


image = cv2.imread("dog.jpeg")
kernels = {
    "1 kernel": np.array([[0, 0, 0], [0, 1, 0], [0, 0, 0]]),
    "2 kernel": np.array([[1, 1, 1], [1, 1, 1], [1, 1, 1]]),
    "3 kernel": np.array([[1, 1, 1], [1, 0, 1], [1, 1, 1]]),
    "4 kernel": np.array([[1, 0, 0], [1, 0, 0], [1, 1, 1]])
}

for kernel in kernels.values():
    convolved_image = cv2.filter2D(image, -1, kernel)
    cv2_imshow(image)
    cv2_imshow(convolved_image)

#разбор_задач

⚡️Как войти в Data Science всего за год? Очень кратко пересказываем историю одного специалиста, который устроился в Data Science после работы в авиационной промышленности. В карточках — его путь и одна из рекомендаций, а в статье по ссылке — большая подборка полезных ресурсов! 👉Читать статью А чтобы следовать совету и окружить себя подходящим информационным фоном, изучайте другие классные статьи про Data Science: ⭐️Математические основы генеративных нейронных сетей: что нужно знать для их изучения ⭐️Что такое GPT: раскрываем тайны трансформеров ⭐️Как работают языковые модели (LLM): простое объяснение через аналогию с кулинарией

Хардкорный курс по математике для тех, кто правда любит математику! Начать с вводных занятий можно здесь, ответив всего на 4 вопроса – https://proglib.io/w/7a0a51af Что вас ждет: – Вводный урок от CPO курса – Лекции с преподавателями ВМК МГУ по темам: теория множеств, непрерывность функции, основные формулы комбинаторики, матрицы и операции над ними, градиентный спуск – Практические задания для закрепления материала и ссылки на дополнительные материалы. ⚡️ Переходите и начинайте учиться уже сегодня – https://proglib.io/w/7a0a51af

🤖💣 ИИ-ассистенты разработчика: скрытая угроза Внедрение ИИ в процессы разработки и отладки неизменно сопровождается изматывающими обсуждениями с участием юристов, комплаенс-менеджеров и специалистов по кибербезопасности. И это понятно — никому не хочется нести ответственность за риски, связанные с безопасностью данных, конфиденциальностью и соблюдением авторских прав. Однако самый важный вопрос — как использование ИИ повлияет на качество готового продукта — обычно остается без внимания. Именно эту проблему мы и обсудим. 🔗 Читать статью 🔗 Зеркало

🤖 Оплачиваемая стажировка от Газпромбанка в сфере Data Science и аналитики данных   Ты еще успеваешь подать заявку!   Что такое GPB.Level Up? Это стажировка для Data Science-специалистов в Газпромбанке. Опыт работы не требуется: внутренняя система и обучение актуальным фреймворкам на реальных задачах банка прокачают сильнее дюжины пет-проектов. Открыто 5 различных направлений от работы с ИИ до моделирования финансовых рисков.    Тебя ждут классные условия: — 67 000 р. gross в месяц — ДМС и корпоративные скидки — Удаленный или гибридный формат работы — Программа наставничества — Карьерные перспективы: 85% участников GPB.Level Up прошлого года перешли в штат Газпромбанка   Оставить заявку

✏️ Снова разбираем задачу с экзамена ШАД Условие: Вова загадал не нормальный случайный вектор X с математическим ожиданием α 1️⃣ и матрицей ковариации Φ 2️⃣. Лёша загадал другой не нормальный случайный вектор Y с матожиданием β 3️⃣ и матрицей ковариации Ω 4️⃣. Найдите среднее значение квадрата расстояния между этими векторами в евклидовом пространстве со стандартным скалярным произведением, если известно, что загаданные векторы независимы. Решение: Пусть 5️⃣ и 6️⃣. Тогда 7️⃣. Символ ⊥ используется для обозначения независимости данных векторов, что влечёт за собой независимость их компонент. Это приводит к равенству произведения их математических ожиданий и математического ожидания их произведения. Воспользуемся равенством 8️⃣ и линейностью математического ожидания. Получаем 9️⃣. Ответ равен 6. #задачи_шад

🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта. В ней: ● Новости о прорывных исследованиях в области машинного обучения и нейросетей ● Материалы о применении ИИ в разных сферах ● Статьи об этических аспектах развития технологий ● Подборки лучших онлайн-курсов и лекций по машинному обучению ● Обзоры инструментов и библиотек для разработки нейронных сетей ● Ссылки на репозитории с открытым исходным кодом ИИ-проектов ● Фильмы, сериалы и книги 👉Подписаться👈

Самые полезные каналы для программистов в одной подборке! Сохраняйте себе, чтобы не потерять 💾 🔥Для всех Библиотека программиста — новости, статьи, досуг, фундаментальные темы Книги для программистов IT-мемы Proglib Academy — тут мы рассказываем про обучение и курсы 🤖Про нейросети Библиотека робототехники и беспилотников | Роботы, ИИ, интернет вещей Библиотека нейрозвука | Транскрибация, синтез речи, ИИ-музыка Библиотека нейротекста | ChatGPT, Gemini, Bing Библиотека нейровидео | Sora AI, Runway ML, дипфейки Библиотека нейрокартинок | Midjourney, DALL-E, Stable Diffusion #️⃣C# Книги для шарпистов | C#, .NET, F# Библиотека шарписта — полезные статьи, новости и обучающие материалы по C# Библиотека задач по C# — код, квизы и тесты Библиотека собеса по C# — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Вакансии по C#, .NET, Unity Вакансии по PHP, Symfony, Laravel ☁️DevOps Библиотека devops’а — полезные статьи, новости и обучающие материалы по DevOps Вакансии по DevOps & SRE Библиотека задач по DevOps — код, квизы и тесты Библиотека собеса по DevOps — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования 🐘PHP Библиотека пхпшника — полезные статьи, новости и обучающие материалы по PHP Вакансии по PHP, Symfony, Laravel Библиотека PHP для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по PHP — код, квизы и тесты 🐍Python Библиотека питониста — полезные статьи, новости и обучающие материалы по Python Вакансии по питону, Django, Flask Библиотека Python для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Python — код, квизы и тесты ☕Java Книги для джавистов | Java Библиотека джависта — полезные статьи по Java, новости и обучающие материалы Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Java — код, квизы и тесты Вакансии для java-разработчиков 👾Data Science Книги для дата сайентистов | Data Science Библиотека Data Science — полезные статьи, новости и обучающие материалы по Data Science Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Data Science — код, квизы и тесты Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту 🦫Go Книги для Go разработчиков Библиотека Go разработчика — полезные статьи, новости и обучающие материалы по Go Библиотека Go для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Go — код, квизы и тесты Вакансии по Go 🧠C++ Книги для C/C++ разработчиков Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++ Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по C++ — код, квизы и тесты Вакансии по C++ 💻Другие каналы Библиотека фронтендера Библиотека мобильного разработчика Библиотека хакера Библиотека тестировщика Вакансии по фронтенду, джаваскрипт, React, Angular, Vue Вакансии для мобильных разработчиков Вакансии по QA тестированию InfoSec Jobs — вакансии по информационной безопасности 📁Чтобы добавить папку с нашими каналами, нажмите 👉сюда👈 Также у нас есть боты: Бот с IT-вакансиями Бот с мероприятиями в сфере IT Мы в других соцсетях: 🔸VK 🔸YouTube 🔸Дзен 🔸Facebook * 🔸Instagram * * Организация Meta запрещена на территории РФ

✍️ Разбор сложных задач 1️⃣ AdaBoost — это классический алгоритм бустинга, то есть комбинирует слабые модели в одну сильную. В данном случае алгоритм усиливает классификаторы, объединяя их в комитет. Работает он так: ▫️Вызывает слабые классификаторы в цикле. Каждый классификатор делает своё предсказание; ▫️После каждого вызова обновляется распределение весов, которые отвечают за важность каждого из объектов для классификации. На каждой итерации веса каждого неверно классифицированного объекта возрастают, таким образом новый комитет классификаторов «фокусирует своё внимание» на этих объектах. ▫️В завершение каждой итерации эффективность каждого классификатора оценивается, и на основе этой оценки определяется его вес в окончательном решении. Если эффективность классификатора низкая, то и вес будет низким: его вклад в итоговую модель будет минимален. 2️⃣ Начиная с Python 3.7 словари в Python стали упорядоченными. Это означает, что они сохраняют порядок вставки элементов. Если вы добавите элементы в словарь, они будут возвращены в том порядке, в каком были добавлены, при итерации по словарю или его выводе. 3️⃣ Вот как происходит вычисление этого выражения: ▫️None and False выведет None. Если в цепочке and все операнды являются истиной, то результатом будет последнее значение. А если какой-либо из операндов является False, результатом будет первое ложное значение. None считается ложным значением. None and False выведет None. ▫️Если какой либо операнд в цепочке or является истиной, немедленно возвращается первое истинное значение. Таким образом, None or True выведет True. #разбор_задач