Анализ данных (Data analysis)

Телеканал СТС покажет первый российский сериал по сценарию нейросети! Её разработали участники курса «Профессия Data Scientist PRO» образовательной платформы Skillbox в рамках своего дипломного проекта. Для обучения искусственного интеллекта использовали данные 7 телешоу, что позволило генерировать новые варианты развития событий без предсказуемых штампов. Интересно, как код превращается в полноценный сценарий? Попробуйте себя в роли Data Scientist — специалиста по машинному обучению — на бесплатном практическом интенсиве. Записывайтесь прямо сейчас: 👉 https://clc.to/7p7Lew Специалисты по Data Science не боятся искусственного интеллекта. Они его создают! Разрабатывают голосовых помощников наподобие Яндекс.Алисы и обучают нейросети, которые «расшифровывают» древние тексты не хуже Лары Крофт. Используйте возможность за 3 дня получить представление о профессии Data Scientist PRO и выполните первое практическое задание. Вы создадите свою первую модель машинного обучения и научите её предсказывать курс биткоина. Познакомитесь с языком Python, библиотеками Pandas и Sklearn. 🎁 При регистрации все участники получат чек-лист с информацией о том, чем занимается специалист по DS, где он может работать, какие знания и навыки ему нужны и где новичку найти первые проекты. 📌 Подключайтесь к прямым эфирам с 29 по 31 августа в 21:00 по московскому времени!

⚡️ 10 простых хаков, которые ускорят анализ данных Python Сделать анализ данных Python быстрее и лучше – мечта каждого разработчика. Вот наглядные примеры: узнайте, как добавить чуточку магии в код. В этой статье собраны лучшие советы и приёмы. Некоторые из них распространённые, а некоторые новые, но обязательно пригодятся в будущем. ➡️ Читать дальше @data_analysis_ml

Аналитик данных, специалист по Data Science или системный аналитик — что выбрать? В анализе данных много специальностей, в которых можно начать карьеру. Узнайте о них подробнее на вебинаре Яндекс Практикума. → Бесплатно, 30 августа в 18:00 О профессиях расскажут эксперты с опытом в сфере: ◾️ Маргарита Нижельская, экс-руководитель команды системных аналитиков «МегаФон» ◾️ Кирилл Соколов, специалист по Data Science ◾️ Анна Чувилина, экс-руководитель аналитики Яндекс Практикума, Data Engineer ◾️ Инна Тетюлина, продакт-менеджер курса «Системный Аналитик», ◾️ Устинова Алла, руководитель сервиса сопровождения направления анализа данных ◾️ Алексей Макаров, руководитель сопровождения, трудоустройства и фидбэка в направлении анализа данных Практикума Вот что вы узнаете о каждой профессии: — перспективы профессии; — что должен знать и уметь специалист; — кому подходит профессия; — как учиться и начать карьеру; — требования работодателей к младшим специалистам; — как расти в профессии. Вы сможете задать спикерам ваши вопросы о смене профессии и старте карьеры. → Зарегистрироваться на вебинар

📁 Автоматизированная загрузка массива CSV в БД Потребность в подобной разработке возникла в связи с необходимостью перемещения больших объемов данных из одной системы управления базами данных в другую. Из-за большого размера выгрузки её пришлось разбивать на множество мелких CSV. Загрузка каждого файла вручную заняла бы много времени. Это и стало причиной создания программы, о которой пойдет речь. Разработанный ноутбук Python будет сам определять типы данных внутри CSV и автоматически загружать их в таблицу БД. В каталоге с ноутбуком должны быть созданы две папки: in (куда нужно сложить загружаемые CSV) и out (куда будут перемещены уже загруженные файлы). После создания папок можно приступить к написанию кода. ➡️ Читать дальше ⚙️ Код @data_analysis_ml

⚡️ Конец набора на онлайн-курс «Data Engineer» от OTUS! Харкордный тест по «Data Engineer» ⚠️ Освойте работу с Architecture, Data Lake, DWH, MLOps с практикой в Yandex Cloud! Программа ориентирована на технических специалистов, которые хотят решать интересные задачи в сфере Big Data. 4 месяца живых вебинаров с экспертами — и вы освоите работу с архитектурой, Data Lake, DWH и DataOps практиками. 📌 Результатом вашего обучения станет выпускной проект, где вы реализуете задачу по интересующей вас теме с учетом новых знаний. Скидка -15% до 31 августа 👉 Успейте пройти вступительный тест и занять место в группе по спец.цене https://otus.pw/poYp/

✒️ Распознавание чисел в прописном виде. Суть задачи Есть большой объём данных отсканированных через Adobe File reader документов в виде txt файлов, разного формата. Нам нужно распарсить эти документы по некоторым параметрам и достать из них число, записанное прописью. Для того чтобы вытаскивать параметры мы используем Natasha, но из-за «мусорных» данных, вызванных либо качеством сканов, либо не идеальности самого сканера, она не всегда справляется со своей задачей. Тут нам и приходит на помощь алгоритм, о котором далее пойдёт речь. ➡️ Читать дальше ⚙️ Код на Python @data_analysis_ml

Надоело прыгать от инструмента к инструменту в процессе работы над машинным обучением? ☑️ 31 августа Cloud проводит бесплатный вебинар для дата-сайентистов, дата-инженеров и всех, кто сейчас в поиске удобного инструмента для полного цикла ML-разработки. У каждого будет шанс: ▪️ вместе с экспертом пройти полный путь от загрузки данных на платформу ML Space до вывода модели в production; ▪️ узнать, что помогает сделать обучение моделей более прозрачным; ▪️ увидеть, как наша платформа ускоряет время разработки внутри команды Data Science; ▪️ разобрать практический кейс применения ML-решения; ▪️ узнать, как получить грант на тестирование платформы и убедиться в преимуществах самостоятельно. Регистрируйтесь по ссылке и запускайте AI продукты до 30% быстрее!

💫 4 пакета Python для причинно-следственного анализа данных Причинно-следственный анализ — это область экспериментальной статистики, направленная на установление и обоснование причинно-следственных связей. Использование статистических алгоритмов для доказательства причинно-следственных связей в наборе данных при строгом допущении называется эксплораторным причинно-следственным анализом (ЭПСА). ЭПСА — это способ доказать причинно-следственные связи с помощью более контролируемых экспериментов, а не только на основе корреляции. Часто требуется испытать контрфактическое состояние  — иное состояние при других обстоятельствах. Проблема в том, что корреляционный анализ позволяет приблизительно установить только причинно-следственные связи, но не контрфактические. Анализ причинно-следственных связей — это совершенно другая область исследований в науке о данных, поскольку он отличается от предсказаний, полученных в результате моделирования с помощью машинного обучения. Можно всегда предсказать результат МО на основе имеющихся данных, но не то, что выходит за рамки этих данных. Чтобы узнать больше о причинно-следственном анализе, познакомимся с 4 пакетами Python, которые можно использовать для исследования данных. ➡️ Читать дальше @data_analysis_ml

5 дней практики в Data Science на реальных данных магазина из Великобритании. Самостоятельно создадите модели машинного обучения. Для новичков предусмотрены пошаговые видео с объяснениями. Получите доступ к готовой среде и поддержку в сообществе. 3500+ человек из разных стран мира уже приняли участие в данном интенсиве. 15 лет практического опыта у автора интенсива, поэтому полученные знания можно сразу применять в рабочих проектах. Количество БЕСПЛАТНЫХ мест ограничено. Успевайте записаться по ЭТОЙ ссылке. ЗДЕСЬ можно узнать, как получить бесплатный доступ к курсу по Python.

8 показателей эффективности классификации Классификация — это тип контролируемой задачи машинного обучения. Цель классификации — предсказание признаков одного или нескольких наблюдаемых объектов или класса, к которому они принадлежат. Важным элементом любого рабочего процесса машинного обучения является оценка эффективности модели. Это процесс, при котором обученную модель используют для прогнозирования на материале ранее не отображенных, помеченных данных. При классификации оценивают количество правильных прогнозов, сделанных моделью. В реальных задачах классификации обычно невозможно достичь 100% верных прогнозов, поэтому при оценке модели полезно знать не только то, насколько она была неверна, но в чем. ➡️ Читать дальше @data_analysis_ml

3 дня погружения в кибербезопасность. Взламываем веб-приложения и устраняем угрозы, используя язык Python. Ограничиваем доступ к сервису по IP и пробуем XSS-уязвимости. Всё это ждёт вас на бесплатном онлайн-интенсиве Skillbox с 25 по 27 августа в 21:00 по московскому времени. Регистрируйтесь, и мы сразу пришлём вам на почту полезную статью о защите информации в сети: https://clc.to/wC1Chw. 🎁 Участвуйте и получите ценные подарки от Skillbox.

Как создать хранилище данных за 5 шагов Будучи участником многочисленных проектов по преобразованию сложных типов данных, могу подтвердить статистику, согласно которой 85% проектов по обработке данных терпят неудачу. Вот основные причины этих неудач. Трансформирование стеков данных. Недостаточная подготовленность данных. Некомпетентность команды. Нетерпеливость заинтересованных сторон. Чрезмерное усердие руководства. Отсутствие инвестиций, необходимых для изменения организационной культуры. ➡️ Читать дальше @data_analysis_ml

МТС INTRO: стажировки вне шаблонов Что это значит? • 10+ направлений стажировки • Набор 12 месяцев в году • Погружение в проекты на 3 месяца и дольше, если в команде есть интересные задачи и тебе нравится то, что ты делаешь • Удобный график Что мы предлагаем? • Целая экосистема технологичных цифровых сервисов. Здесь создаются мобильные приложения, продукты в медиа, финтехе, стриминге, гейминге, Big Data и многом другом • Реальные проекты — лучший источник знаний и опыта • Команда настоящих профи поможет раскрыться твоим талантам • Стажёры сами выбирают, сколько часов в неделю работать, а ещё могут менять график в течение стажировки • Стажировка оплачиваемая, а размер заработной платы зависит от региона и количества рабочих часов • Оффер в МТС по итогам стажировки: если нам понравится работать вместе, будем рады, если ты станешь членом нашей команды :) Как подать заявку на стажировку Выбрать направление стажировки и подать заявку на сайте программы. Новые вакансии появляются каждую неделю.

📖Практическая статистика для специалистов Data SciencePDF 50+ важнейших понятий с использованием R и Python ➡️Книга @data_analysis_ml

Почему ИИ так актуален в банковской сфере? Узнай на лекции от Газпромбанка уже 25 августа Подробнее о лекции: Где: в Zoom Во сколько: в 18:00 (по МСК) Спикер: Адель Валиуллин, начальник отдела искусственного интеллекта Газпромбанка Что узнаем: почему искусственный интеллект (AI) сегодня так актуален, в каких сферах применяется, какие задачи решаются в банке на основе AI и, конечно, что нужно знать для построения карьеры в data science и AI Встречаемся 25 августа, регистрируйся по ссылке - https://vk.cc/cfSGGv

💬 Основы обработки естественного языка за 10 минут В этой статье будут рассмотрены следующие процессы: 1. Токенизация. 2. Стоп-слова. 3. Выделение основы слова. 4. Лемматизация. 5. Создание базы слов. 6. Маркировка частей речи. 7. Построение цепочек слов. Но прежде всего разберёмся, что же такое NLP. Естественный язык (NL) обозначает явление, благодаря которому люди общаются друг с другом, а его обработка означает лишь передачу данных в понятной форме. Таким образом, можно сказать, что NLP — это способ, который помогает компьютерам общаться с людьми на их языке. ➡️ Читать дальше @data_analysis_ml

Начините погружение в Spark вместе c OTUS! 🚀 Присоединяйтесь 25 августа в 20:00 мск на бесплатный вебинар «Обработка графов в Spark». 📚На вебинаре с Вадимом Заигриным, дата-инженером в VMware мы узнаем, как работать с графами на Spark, рассмотрим основные графовые алгоритмы и их реализацию на Spark. 👉 Регистрация на вебинар: https://otus.pw/19em/ Вебинар является частью онлайн-курса «Spark Developer» от OTUS.

📖 Краткое руководство по созданию наборов данных с помощью Python Если вам когда-нибудь приходилось собирать данные о своих пользователях, вы знаете, насколько это сложно. Так почему бы не попытаться создать свой собственный набор данных? В этой статье я опишу простой процесс сбора пользовательских данных, который можно реализовать менее чем за час. Это позволит вам легко собирать и хранить пользовательские данные. Сначала мы будем использовать Streamlit, чтобы создать веб-страницу для размещения пользовательского интерфейса сбора данных, а затем — Google Sheets API вместе с одним классным пакетом Python для хранения введенных пользователями данных. ➡️ Читать дальше @data_analysis_ml

Хочу сегодня рассказать о канале Обновить и перезагрузить: в нем собирают инсайты из мира IT. Как быстрее двигаться по карьерной лестнице, какие ЯП нужно и не нужно знать, на что смотрят рекрутеры и менеджеры при отборе в компанию, как проще релоцироваться — все это рассказывают опытные айтишники! Канал ведет IT-редактор, которая умело достает интересные факты и забавные истории из своих собеседников. Здесь точно будет интересно @updateandrestart 😉

📡 Простая обработка возобновляющихся данных или как создать легко воспроизводимый DS проект. Аналитику или исследователю данных приходится разрабатывать множество алгоритмов по обработке и анализу различных данных. Большинство алгоритмов разрабатываются для многоразового использования, а значит, код либо запускается разработчиком с определенной периодичностью, либо код передается другим пользователям для обработки своих данных. При этом алгоритмы имеют множество параметров и зависимостей, которые необходимо индивидуально настраивать под определенные данные. Для того чтобы сделать процесс развертывания, использования и доработки алгоритма интуитивно понятным воспользуемся инструментом Kedro. Основная концепция kedro заключается в модульной структуре, где весь цикл работы с данными формируется из отдельных блоков в единый рабочий процесс ➡️ Читать дальше ⚙️ Код ⚙️ Kedro @data_analysis_ml