Анализ данных (Data analysis)

⚡️ Введение в глубокое обучение (Deep Learning) Free course ▪week01_intro От регрессии к нейросети. ▪week02_backprop Алгоритм обратного распространения ошибки. 50 оттенков градиентного спуска. ▪week03_matrix_diff Матричное диффириенцирование. Тут я отменил один из семинаров. Его надо возместить. ▪week04_backprop_again Решаем задачи на алгорим обратного распространения ошибки и пробуем его закодить. ▪week05_neuro_lego Нейросети - конструктор LEGO. Обсуждаем разные слои. ▪week06 Свёрточные сети. ▪week07 Нормализация по батчам, лучшие практики для обучения нейросетей ▪week08 Современные архитектуры свёрточных сетей. Transfer learning. Мидтёрм ▪week09 Рекурентные нейронные сетки: RNN, LSTM, GRU. Временные ряды. ▪week10 Работа с текстами, введение в NLP, идея эмбедингов: w2v. ▪week11 Автокодировщики: тексты, картинки, нейросети для графов ▪week12 Seq2seq модели. Механизмы внимания. Автопереводчики. Генерация текстов. (25 мая) ▪week13 Разбираемся с трансформерами. (1 июня) ▪week14 Генеративные нейронные сети. (8 июня - ???) ▪week15 Задачи компьютерного зрения + лекция про то, что ботать дальше, чтобы стать клёвым. 📌 Github @data_analysis_ml

🖥 Бесплатный курс язык программирования Python в задачах машинного обучения 01. Основы Python 02. Основы Python 2 03. Основы объектно-ориентированного программирования в Python 04. Основы Numpy 05. Основы Pandas 06. Лучшие практики 07. Iterators, generators, decorators 08. Визуализация данных с помощью matplotlib, seaborn; разведывательный анализ 09. Параллелизация в Python. HTTP запросы. 10. PIL, Scikit-Image, OpenCV 🖥 Github @data_analysis_ml

Очистка набора данных FIFA 21 с использованием SQL Популярная видеоигра FIFA 21 имеет большую базу данных статистики игроков и команд, известную как FIFA 21 dataset. Хотя этот набор данных может быть полезным инструментом для изучения производительности игроков и командной тактики, часто возникают проблемы с качеством данных, которые необходимо решить, прежде чем можно будет получить какую-либо полезную информацию. Действие по обнаружению и устранению недостатков, несоответствий и неточностей в наборе данных известно как «очистка данных» Читать @data_analysis_ml

Как не забывать теорию Deep Learning и учить новое? Можно подписаться на канал DeepSchool. В нем вы найдете - короткие посты с теорией; - разборы статей; - советы по обучению сетей; - вопросы с собеседований; - и обзоры фреймворков. 1. Обзор ключевых идей MobileNet — что делает эту архитектуру столь эффективной 2. Инструкция: как ускорить разметку изображений при помощи CVAT и FiftyOne 3. Что такое attention 4. Об асинхронности вычислений на GPU 5. Вопрос с собеседования на дообучение сегментационной модели Подписывайтесь, чтобы не забывать теорию Deep Learning и учить новое :)

15 лучших бесплатных курсов для изучения Python в 2023 году Если вы новичок и ищете бесплатные ресурсы по Python, чтобы начать своё путешествие по программированию в 2023 году, то вы попали в нужное место. В прошлом я делился лучшими книгами и курсами по изучению Python, а сегодня я поделюсь списком из лучших онлайн-курсов, которые вы можете пройти, чтобы бесплатно изучить программирование на Python. ▪Читать @pro_python_code

✈️ С 12 по 27 мая участвуй в хакатоне Aeroclub Challenge 2023 от компании «Аэроклуб» — лидера российского рынка business travel и поставщика IT-решений для отрасли. 🏆 Поборись за призовой фонд в размере 1 000 000 рублей. Регистрация открыта до 10 мая: https://cnrlink.com/aeroclubchallenge15 🎯 На Aeroclub Challenge 2023 приглашаются математики, дата сайентисты, python- и java-специалисты, аналитики, разработчики и эксперты в теме Travel с уровнями навыков junior, middle и senior. Участвовать можно индивидуально или в команде до 5 человек. 🧩 2 интересные задачи на выбор: 1. Создание обработчика писем электронной почты (Классификация писем по типу заявки и не заявки, извлечение и уточнение по заявке формализованного набора параметров, требуемых для обработки заявки); 2. Создание сервиса ранжирования предложений Auto Avia Offer (Автоматизация процесса подбора и отправки вариантов перелета с ценами в ответ на заявку по электронной почте). Успей зарегистрироваться до 10 мая: https://cnrlink.com/aeroclubchallenge15

⚡️ Создайте свою собственную модель Transformer с нуля с помощью PyTorch В этом уроке мы создадим базовую модель Transformer с нуля, используя PyTorch. Модель Transformer, представленная Vaswani et al. в статье «Attention is All You Need» — это архитектура глубокого обучения, предназначенная для последовательных задач, таких как машинный перевод и анализ текста. Она основана на механизмах внутреннего внимания и стала основой для многих современных моделей обработки естественного языка, таких как GPT и BERT. ▪Читать @data_analysis_ml

📊 8 советов по эффективной визуализации данных Создание наглядных визуализаций данных — это полезный навык. Несложно сделать визуализацию данных, которая вызывает больше вопросов, чем ответов. В этом посте мы обсудим 8 советов о том, как посторить красивую, понятную и информативную визуализацию данных. Читать @data_analysis_ml

Прокачать скилл с нуля и устроиться работать аналитиком данных можно всего за 2 месяца. Учебная программа одобрена экспертным советом Томского государственного университета. Почему мы? 📚  Официальный образовательный партнер Томского государственного университета 🏅  Преподаватели-практики с высокой экспертизой 🎓  Удостоверение о повышении квалификации установленного образца 🙍‍♀️  Поддержка тьютора в зачислении и обучении 🙌  Увлеченное коммьюнити и новые полезные контакты 👥  Сотни довольных выпускников прошлых лет Приглашаем принять участие: — Студентов старшего курса и выпускников — Женщин в декрете и неработающих мам детей до 7 лет — Безработных и лиц под риском увольнения — Лиц 50 лет и старше, предпенсионеров Подробные условия участия на сайте проекта. У нас есть и другие программы! 👨‍💻 Тестировщик ПО 🖌 Графический дизайн 🎲 Системный аналитик 📊 Аналитик маркетплейсов Подайте заявку и начните учиться уже через 2 недели! https://clck.ru/34GSDF

🖼 ML-подходы по поиску похожих изображений В данном посте будет рассмотрена задача, называемая поиском похожих изображений, в которой нужно будет найти все похожие изображения из датасета на загруженную фотографию из того же датасета. ▪Читать ▪Код @data_analysis_ml

🖥 Python Pandas против Vaex Dataframes: сравнительный анализ Сферы Data Science и Data Analysis в значительной степени зависят от манипулирования и обработки данных. Поскольку большие и сложные датасеты становятся всё более распространёнными, эффективные и масштабируемые решения для обработки данных имеют решающее значение для успеха в этой области. API-интерфейсы DataFrame стали мощными инструментами для работы со структурированными данными, предоставляя высокоуровневый интерфейс для обработки и анализа данных. Два самых популярных API-интерфейса DataFrame в Python — это Pandas и Vaex. ▪️Читать @data_analysis_ml

🟢 ChatGPT, голосовые помощники, поисковики, онлайн-переводчики — все это уже стало частью нашей жизни. Технологии по обработке естественного языка уже не первый год развививаются семимильными шагами. NLP — важная технология для всех, кто занимается машинным обучением. Не хотите отставать от темпов современного ML? 👉 28 апреля в OTUS стартует онлайн-курс «Natural Language Processing (NLP)». Преподаватели курса — опытные дата-сайентисты известных компаний. 💣 На этом курсе вы получите необходимые теоретические знания, а также освоите практические навыки: научитесь дообучать трансформерные модели такие как BERT, GPT и другие. 🔥 Узнаете, как применять их для решения множества задач от генерации текстов до распознавания именованных сущностей. А ещё вы освоите технологии распределенного обучения и научитесь интегрировать обученные модели в телеграм-ботов. 🚀 Успейте оставить заявку и занять место в группе со скидкой https://otus.pw/765K/ Нативная интеграция. Информация о продукте www.otus.ru

💥 Снижаем размерность эмбеддингов предложений для задачи определения семантического сходства Сегодня пойдет речь о методах снижения размерности эмбеддингов для задач определения семантического сходства предложений. Для чего это необходимо. С каждым годом растет сложность моделей, решающих вопросы семантически- и контекстно-ориентированной обработки естественного языка (NLP). Также нельзя забывать и про проблемы мультиязычности моделей. Все это сильно сказывается на увеличении их размеров и системных требований к железу для их обучения, дообучения, да и просто запуска. Задачи NLP сегодня – это прикладные задачи, их хочется решать на доступном оборудовании за доступное время. А если поконкретней? Передо мной стояла задача найти и обобщить текстовые данные, представляющие собой массив предложений. Я точно знал, что среди них есть семантически схожие фразы. Однако прямой подход для определения семантического сходства наборов фраз требовал очень много памяти и времени. Чтобы решить эту проблему, я попытался уменьшить размерность векторов признаков предложений, но как понять, когда остановиться и что это даст? Ну и как понять? В рамках данной публикации посмотрим, как меняется оценка семантического сходства от изменения размерностей эмбеддингов разными классическими методами их уменьшения. ▪Читать @data_analysis_ml

У Яндекс Практикума есть бесплатный курс по основам анализа данных. В нём забавный интерактивный сюжет и много практики: четыре реальных кейса из разных областей. Вам предстоит: — выяснить причину массовой поломки гаджетов, — проверить окупаемость рекламы мобильного приложения, — выбрать стратегию развития ИИ-стартапа, — оценить эффективность роботов в службе поддержки. На курсе вы напишете первый код на Python и поймёте, чем занимаются специалисты в сфере. → Приходите учиться бесплатно

🖥 Создание базы данных для маркетплейса с помощью SQL В этой статье мы разработаем БД для практики. В этом проекте перед вами стоит задача создать реляционную базу данных для веб-сайта, предлагающего продажу подержанных автомобилей. Общее описание этого проекта заключается в том, что любой желающий может предлагать свои товары (подержанные автомобили) в виде рекламы, а потенциальные покупатели могут осуществлять поиск по нескольким категориям. ▪ Читать дальше @data_analysis_ml

Как определить, какая версия сайта работает лучше? Что изменилось после рефакторинга бэкенда и удалось ли отделу логистики ускорить доставку? Точные ответы на эти вопросы позволяют получить A/B-тесты. На нашем симуляторе вы поработаете с нетривиальными кейсами и разберёте полный пайплайн тестирования на реальных задачах бизнеса — всё под руководством экспертов из X5 Retail Group и Blockchain. Вы поймёте, какие метрики нужно измерять, как получить качественный результат даже на небольшой выборке, а также разберёте частые ошибки. Если вы хотите научиться принимать решения на основе data-driven подхода, знаете основы Python и математической статистики, и вам важно на практике разобраться во всех тонкостях A/B-тестирования — приходите на продвинутую версию. Обучение на симуляторе позволит вам вывести карьеру на новый уровень и заранее отработать на практике сложные и нестандартные ситуации, чтобы избежать ошибок в реальной работе. Старт потока уже 26 апреля, присоединяйтесь по ссылке!

Как сгенерировать поддельные изображения, которые выглядят реальными, всего с помощью нескольких строк кода (с помощью GAN)? Вы когда-нибудь задумывались, как некоторые веб-сайты или приложения могут создавать реалистичные изображения людей, животных или мест, которых не существует в реальной жизни? Как они это делают? И каковы последствия создания и использования таких изображений? В этой статье я познакомлю вас с одним из самых захватывающих и мощных методов в области машинного обучения: генеративными состязательными сетями, или сокращённо GAN. GAN – это тип нейронной сети, которая может обучаться на наборах данных и генерировать новые данные с теми же характеристиками, что и обучающие данные. Например, GAN, обученный на фотографиях человеческих лиц, может создавать реалистично выглядящие лица, которые являются полностью синтетическими. GAN имеет множество применений в различных областях, таких как искусство, развлечения, безопасность, медицина и многое другое. Он также может поднимать этические и социальные вопросы, такие как конфиденциальность, подлинность и ответственность. В этой статье я покажу вам несколько примеров GAN в действии, объясню, как они работают и как реализовать их в Python с использованием популярного фреймворка, такого как TensorFlow или PyTorch. Также мы обсудим некоторые плюсы и минусы этой технологии. ▪Читать @data_analysis_ml

📌 Как Airflow и k8s помогают строить эффективный конвейер? 📆 Узнайте 27 апреля в 20:00 на открытом уроке в OTUS. Вебинар приурочен к старту онлайн-курса «MLOps». ✅ На этом занятии мы построим свой конвейер обучения моделей на Airflow и k8s. ⚠️ Airflow — стандарт де-факто для планирования задач. Кроме регулярного запуска наших скриптов подготовки данных и обучения моделей, важно контролировать окружение, в котором они запускаются и выделять на время необходимые ресурсы, будь то RAM или GPU. ✔️ В этом нам поможет k8s — платформа для управления контейнерами. Нам осталось только правильно соединить эти два инструмента. Этой теме и посвящён вебинар. ➡️ Для участия нужно зарегистрироваться: https://otus.pw/JcbL/ Нативная интеграция. Информация о продукте www.otus.ru

🔍 Как использовать инструменты статического анализа в коде Python За последние несколько лет статические анализаторы кода значительно оптимизировали разработку приложений. Статический анализ избавляет от необходимости отыскивать ошибки и уязвимости в системе продакшн или среде развертывания, указывая участок предполагаемого сбоя на основе типизации и других подсказок кода. В статье мы подробно разберем несколько инструментов статического анализа с открытым ПО для Python. Посмотрим, как они работают и улучшают процесс программирования. ▪ Читать @data_analysis_ml

Создание рекомендательных систем — один из ключевых навыков для специалистов в области DS/ML/DL. Как быстро сделать рекомендательную систему для текстов? Узнайте на открытом уроке в OTUS 26 апреля в 20:00 мск.  На занятии мы: 🔹 Узнаем, как быстро сделать рекомендательную систему для текстов. 🔹 Поговорим об автоматизированной транскрибации с помощью современных нейросетевых моделей.  🔹 Рассмотрим задачу NER (поиска именованных сущностей) и поиска текстов. Вы узнаете, как переводить звук в текст, как делать текст короче, искать похожие по смыслу и тематике тексты. Спикер — Александр Брут-Бурляко, преподаватель-практик, DS-инженер в СБЕР Neurolab. Продолжить изучать рекомендательные системы возможно на курсе, доступном в рассрочку. Перед мероприятием нужно пройти вступительный тест 👉 https://otus.pw/pbCA/ Нативная интеграция. Информация о продукте www.otus.ru