Анализ данных (Data analysis)

🌍 Создание приложения Flask на Python для визуализации мест путешествий В данной статье мы покажем, как создавать пользовательскую карту, на которую можно прикрепить фотографии достопримечательностей, посещенных во время отпуска. Помимо этого, у вас будет возможность добавлять текст для более полного описания впечатлений о поездках. В конце вы узнаете, как развернуть приложение на Heroku, чтобы друзья тоже смогли увидеть ваше творение. Читать дальше @data_analysis_ml

🔎 Обзор методологий, принципов и концепций разных типов хранилищ данных Data Warehouse Design Подход Kimball Модель данных Kimball — это восходящий подход к проектированию архитектуры хранилища данных (DWH или DW), в котором витрины данных сначала формируются на основе бизнес-требований. Данные из источников данных с помощью ETL извлекаются и загружаются в промежуточную область сервера реляционной базы данных. После того, как данные загружены в промежуточную область хранилища данных, следующий этап включает загрузку данных в многомерную модель хранилища данных, денормализованную по своей природе (схема звезда). Эта модель разделяется на таблицу фактов, которая представляет собой числовые данные транзакций, и таблицы измерений, которые являются справочной информацией, которая является контекстом для данных в таблице фактов. Читать дальше @data_analysis_ml

Не упустите возможность начать карьеру в одной из самых востребованных IT-профессий! На курсе «Профессия Data Scientist PRO» вы: ✅ Пройдёте вводную часть и получите всю необходимую математическую базу для старта в Data Science за 6 месяцев. ✅ Изучите одно из 3 востребованных направлений на выбор — дата-аналитику, дата-инженерию или машинное обучение. ✅ Освоите Python, библиотеки для анализа данных и машинного обучения, SQL, Git, научитесь работать с Power BI и другими актуальными для дата-сайентиста инструментами. ✅ Попрактикуетесь на задачах с реальными данными, примете участие в командных проектах и разберёте кейсы. ✅ Через полгода после старта курса сможете попасть на стажировку, а через год — устроитесь на позицию junior в компанию. Если вы не выйдете на работу после обучения - мы вернём вам деньги за курс. Подробные условия акции на сайте. ✨ Оставьте заявку на курс сейчас и получите 6 месяцев бесплатного обучения: https://clc.to/d3PsMg

☠ 9 способов защититься от утечки данныхных Начнем с определения. Нарушение данных — это нарушение безопасности, при котором конфиденциальные, защищенные или конфиденциальные данные копируются, передаются, просматриваются, крадутся или используются лицом, не уполномоченным на это. Здесь все довольно понятно, а вот кто и как давайте разберем. Существует много разных факторов утечки персональных данных. Основные из них: от безалаберности сотрудников/разработчиков: открытые БД, открытые порты и т.п.; слив данных самими сотрудниками; дыры безопасности сайтов. Давайте чуть более подробно расскажем про каждый пункт. К нам приходил запрос от крупной сети АЗС, у которых злоумышленники воровали бонусные баллы клиентов. Для того чтобы понять в чем дело компания предоставила нам исходный код для анализа. Решение разрабатывала одна из топовых Российских IT команд, код был качественным, но без самой базовой проработки безопасности.  Читать дальше @data_analysis_ml

Большие данные захватили мир Как стриминговые сервисы понимают, что вы любите? Анализ данных уже давно открыл человечеству новые возможности. Бизнес активно использует инструменты Data Science на полную: голосовые ассистенты, чат-боты, персонализированная реклама. IT-школа Skillfactory и лучший технический вуз МФТИ ответят на эти вопросы и раскроют главный секрет на своём бесплатном онлайн-интенсиве: “Кем ты будешь через 2 года, если пойдешь учиться на Data Science сейчас?” За 1,5 часа руководитель онлайн-магистратур в МФТИ Мария Савицкая расскажет преимущества специалистов с профильным образованием и перспективы развития Data Science. А эксперт по Data Science Иван Ямщиков расскажет, как работает и в каких сферах применяется машинное обучение и что нас ждет через 10 лет! По оценкам Frost & Sullivan, каждый год сфера Data Science растет на 35,9%. При этом опытных дата-сайентистов не хватает, поэтому их зарплата стабильно увеличивается. Сейчас специалисты с опытом работы 2-3 года получают от 250 000 ₽. Переходите по ссылке и регистрируйтесь, это займёт меньше минуты: https://go.skillfactory.ru/ChVazw

📊 В Data Science не нужна математика (Почти) Ребята с «вышкой» всё время умничают, что в Data Science нужна «математика», но стоит копнуть глубже, оказывается, что это не математика, а вышмат. В реальной повседневной работе Data Scientist'а я каждый день использую знания математики. Притом очень часто это далеко не «вышмат». Никакие интегралы не считаю, детерминанты матриц не ищу, а нужные хитрые формулы и алгоритмы мне оперативнее просто загуглить. Решил накидать чек-лист из простых математических приёмов, без понимания которых — тебе точно будет сложно в DS. Если ты только начинаешь карьеру в DS, то тебе будет особенно полезно. Мощь вышмата не принижаю, но для старта всё сильно проще, чем кажется. Важно прочитать до конца!  Читать дальше @data_analysis_ml

Когда работа сама ищет аналитика? Когда у аналитика есть опыт! Настоящий рабочий опыт можно получить всего за 5 недель на «Симуляторе аналитика» от karpovꓸcourses. Здесь вы с нуля выстроите аналитические процессы, поработаете с настоящей инфраструктурой, научитесь уверенно справляться с ежедневными задачами аналитика и поймёте, какая логика стоит за каждым решением. Наставники курса: ▪️Анатолий Карпов (работал ведущим аналитиком VK и JetBrains) ▪️Мария Сомова (senior аналитик Sumsub) ▪️Ян Пиле (руководитель группы аналитики поиска VK) Они точно знают, как эффективно решать рабочие задачи, и готовы поделиться опытом с вами. После прохождения Симулятора вы сможете оформить свои решения в pet-проекты, которые станут отличным дополнением к вашему резюме, а HR приложат максимум усилий, чтобы трудоустроить вас в компанию с хорошей аналитической культурой. Важно: симулятор подойдёт тем, кто хотя бы на базовом уровне знает Python, SQL, Git и статистику. Переходите по ссылке и записывайтесь до 20 июля!

Кручу, верчу логи при помощи SQL — облегчаем анализ данных Бывает такая ситуация, что необходимо проанализировать большой объём данных системы логирования событий на предмет аномалий или инцидентов. Просматривать такой массив данных трудно и нецелесообразно. Для этих целей можно обратиться к специализированному программному обеспечению, но нужно знать к какому. Не всегда есть время на изучение. И хорошо, если под конкретные задачи на примете есть несколько вариантов. А если их нет, тогда как быть? Выход есть всегда, было бы желание. Поговорим о том, как можно довольно быстро загрузить некий массив таких данных куда-то и заняться его анализом. Читать дальше @data_analysis_ml

📉 ROC и AUC простыми словами. Площадь под ROC-кривой – один из самых популярных функционалов качества в задачах бинарной классификации. На мой взгляд, простых и полных источников информации «что же это такое» нет. Как правило, объяснение начинают с введения разных терминов (FPR, TPR), которые нормальный человек тут же забывает. Также нет разборов каких-то конкретных задач по AUC ROC. В этом посте описано, как я объясняю эту тему студентам и своим сотрудникам… Допустим, решается задача классификации с двумя классами {0, 1}. Алгоритм выдаёт некоторую оценку (может, но не обязательно, вероятность) принадлежности объекта к классу 1. Можно считать, что оценка принадлежит отрезку [0, 1]. Часто результат работы алгоритма на фиксированной тестовой выборке визуализируют с помощью ROC-кривой (ROC = receiver operating characteristic, иногда говорят «кривая ошибок»), а качество оценивают как площадь под этой кривой – AUC (AUC = area under the curve). Покажем на конкретном примере, как строится кривая.  Читать Дальше @data_analysis_ml

🔥 15 Open Source библиотек для повышения качества данных  Читать @data_analysis_ml

🦾 Как создать свой датасет с Киркоровым и Фейсом на Яндекс.Толоке Где найти данные? 1. Смотрим публичные датасеты, такие как ImageNet, COCO, openimages. 2. Если нужных размеченных данных в популярных публичных датасетах нет, то гуглим, открываем на arxiv.org статьи по этим темам в надежде, что где-нибудь там будет ссылка на нужный нам датасет. 3. Если первые два пункта провалились, значит нужного датасета нет, и его надо создать! Очевидно, что никто раньше не занимался задачей классификации Киркорова и Фейса. Поэтому придется самим создать такой датасет. Читать дальше @data_analysis_ml

Прокачайте свои навыки в сфере IT и аналитики данных — примерьте роль Data Scientist! Участвуйте в бесплатном онлайн-интенсиве, который пройдёт с 11 по 13 июля. Начало — в 19:00 по московскому времени. Записывайтесь: 👉 https://clc.to/TleYCQ. За 3 дня вы научитесь: ⚡️ исследовать данные с помощью языка программирования Python; ⚡️ строить модели для реальных кейсов; ⚡️ находить аномалии в данных; ⚡️ автоматизировать решение бизнес-задач с помощью искусственного интеллекта и Machine Learning. В роли спикера выступит руководитель направления по исследованию данных в Сбере с семилетним опытом в программировании — Анастасия Борнева. 🎉 Участвуйте, задавайте вопросы и получите сертификат на 10 000 рублей на любой курс Skillbox. Присоединяйтесь!

📎 Крутые наборы данных для машинного обучения Более 50 открытых наборов для ваших исследований Хорошее исследование в машинном обучении начинается с подходящего набора данных. Нет необходимости тратить целый вечер на создание собственного набора в MySQL или, что еще хуже, в Excel. В принципе, все что угодно — от статистики COVID-19 до заклинаний Гарри Поттера — можно найти в виде базы данных. Читать дальше @data_analysis_ml

Приглашаем всех желающих бесплатно освоить профессию: 🖍 Системного аналитика 🖍 Аналитика данных 🖍 Аналитика маркетплейсов 🖍 Тестировщика ПО 🖍 Разработчика сайтов на Тильде 🖍 Дизайнера мобильных приложений И другие — полный список на сайте: https://clck.ru/s4nUs Всего за 1-3 месяца в удаленном формате вы обучитесь и начнете работать по специальности. Выдается удостоверение о повышении квалификации или диплом о проф. переподготовке. Обучение проводит официальный партнер Томского государственного университета. Обязательно наличие высшего или среднего профессионального образования. Принять участие могут: — безработные — женщины в декрете с детьми до 3 лет — неработающие матери детей до 7 лет — неработающие выпускники и студенты до 35 лет — граждане 50+ Полный список категорий и подробная информация на сайте. Подайте заявку сейчас, чтобы зарезервировать место на курсе! https://clck.ru/s4nUs

🔍 Как обнаружить выбросы в проекте по исследованию данных Выброс — это данные, которые имеют слишком высокое или слишком низкое значение по отношению к другим исследуемым данным. Конечно, в наборе данных может быть несколько выбросов, поэтому приходится неоднократно исключать их из набора данных. В противном случае выбросы способны вызывать статистические проблемы в анализе данных. Но каковы критерии исключения выбросов? Чтобы ответить на этот вопрос, рассмотрим три метода обнаружения выбросов. Читать дальше @data_analysis_ml

Мета выпустила переводчик на 200 языков. ♻️ Мета выложил AI переводчик на 200 языков в OpenSource. В открытом доступе теперь лежит модель No language left behind (Ни один язык не останется за бортом), которая переводит с 200 различных языков. Модель уже применняется для улучшения переводов на Facebook, Instagram и даже Wikipedia. Код Статья Demo #AI #ML #NLP @data_analysis_ml

📲 Собеседование на позицию Data Scientist: 46 типичных вопросов. Проверка знаний на собеседованиях — обычная практика. И мы сейчас не о глупых «Где вы видите себя через 5 лет?», а о нормальных вопросах по специальности. Вопросы будут смешаны по темам, но все они относятся к машинному обучению и Data Science. Попробуйте сначала ответить на каждый вопрос самостоятельно! Часть 1 Часть 2 @data_analysis_ml

Знаете Python и имеете базу в аналитике данных? Поможем освоить машинное обучение и выйти на новый уровень. На курсе Start ML за 7 месяцев объясним, как устроены алгоритмы машинного обучения, и научим применять их на практике. Опытные аналитики и ML-инженеры из Яндекса и Райффайзен расскажут, как обучать модели и нейронные сети, а также оценивать их влияние на ключевые бизнес-метрики с помощью статистики и A/B-тестов. Благодаря курсу вы расширите свои компетенции аналитика и сможете применять продвинутые методы для решения ваших рабочих задач. В конце обучения вы создадите собственный ML-сервис — рекомендательную систему социальной сети, которая поможет закрепить все полученные знания. Попробуйте бесплатную демоверсию на сайте, а также записывайтесь на ближайший поток курса до 11 июля — по промокоду DAML дарим скидку 10%.