Анализ данных (Data analysis)

⚜️ Meta AI представляет революционную модель сегментации изображений, обученную на 1 миллиарде масок После революционного шага, сделанного ChatGPT от OpenAI в области NLP, развитие искусственного интеллекта продолжается, и Meta AI вносит поразительный прогресс в компьютерное зрение. Исследовательская группа Meta AI представила модель под названием Segment Anything Model (SAM) и набор данных из 1 миллиарда масок на 11 миллионах изображений. Сегментация изображения – это разбиение изображения на множество покрывающих его областей. ▪ Читать ▪ Github ▪ Project ▪Статья ▪Датасет @data_analysis_ml

❓Хотите разобраться в SQL? 12 апреля в 20:00 мск в рамках онлайн-курса «Аналитик данных» пройдет открытый урок, где мы обсудим, как начать учить SQL с нуля и не разочароваться. ✨Кажется, что это потребует годы жизни, но на самом деле овладеть одним из необходимых навыков для аналитика можно достаточно быстро. На вебинаре мы узнаем, как начать этот путь наилучшим образом: — Рассмотрим азы теории — Познакомимся с доступными тренажерами и инструментами — Напишем свои первые SQL-запросы Вебинар будет полезен аналитикам данных, маркетологам, продакт-менеджерам, а также специалистам по отчётности Продолжить свой путь в анализе данных можно уже во время обучения на курсе (доступна рассрочка). 👇Для участия в вебинаре пройдите вступительный тест и зарегистрируйтесь на практическое занятие: https://otus.pw/BRUx/

Наборы данных для машинного обучения (ML) и экспериментов Как специалист по Data Science, могу сказать, что данные являются основой любого проекта. В этой статье рассматриваются наиболее распространённые и популярные наборы данных. Также мы привели примеры кода для извлечения данных и загрузки в DataFrame. Давайте начинать! ▪ Читать @data_analysis_ml

Повысьте производительность ChatGPT с помощью Prompt Engineering ChatGPT генерирует ответы, используя метод, называемый авторегрессией, который включает в себя предсказание наиболее вероятного следующего слова в последовательности на основе предыдущих слов. Но, если вы попробуете ChatGPT, вы поймёте, что качество данного ответа напрямую будет зависеть от качества вопроса. Секрет получения наилучшего возможного ответа заключается в том, чтобы понять, как ChatGPT будет его генерировать, и соответствующим образом сформулировать вопрос. В этой статье мы обсудим несколько приёмов написания хороших подсказок для ChatGPT, чтобы вы могли использовать их для решения желаемой задачи. ▪Читать @Chatgpturbobot @data_analysis_ml

🔥Как избежать ошибок при проектировании use case диаграммы? 📢📢 Узнайте 10 апреля в 20:00 на открытом уроке для опытных аналитиков в OTUS. Вебинар «Use case: примеры и разбор ошибок» пройдет в рамках онлайн-курса «Системный аналитик. Advanced». 📝На занятии мы: — Поймем, почему важно не допускать ошибок при проектировании use case и к чему они могут привести — Разберем несколько нетривиальных ситуаций при проектировании use case диаграммы и описании отдельных сценариев — Подведем итоги о влияния описания use case на реализованное решение. Спикером выступит Михаил Максимов. Михаил принимал участие в консалтинговых ИТ-проектах для крупных нефтяных, логистических и медиа компаний РФ в роли бизнес-архитектора. Занятие будет интересно аналитикам, которые только начинают осваивать use case, аналитикам, которые используют use case, но периодически сталкиваются с проблемами, а также представителям команды разработки, которые хотят лучше понимать use case диаграммы. Не упустите возможность протестировать обучение! Продолжить вы сможете уже на курсе, доступном в рассрочку. 👉 Для участия пройдите вступительный тест: https://otus.pw/xTFjo/

🔍 Конвейер данных в реальном времени с Kafka и ClickHouse Построим конвейер данных с их приемом в ClickHouse через Kafka и агрегированием автоматически обновляемых данных. Возьмем набор данных о мировых ценах на продовольствие, хоть и неидеальный для Kafka из-за отсутствия критериев скорости. Сначала создадим на Python скрипт для выдачи сообщений — строк набора данных. Затем настроим ClickHouse для их получения и обработки, а после поэкспериментируем с представлением в реальном времени и удалением данных. ▪Читать @data_analysis_ml

Что такое Байесовское А/B-тестирование и как его провести? ✅ Подробно обсудим 18 апреля в 20:00 мск на открытом уроке в OTUS. Занятие приурочено к старту онлайн-курса «Machine Learning. Advanced». На вебинаре мы разберем, какие преимущества дают Байесовские A/B тесты по сравнению с обычными, как проводить Байесовские A/B тесты и как работать с Байесовскми моделями в PyMC3. В результате урока вы: - Познакомитесь с основами A/B тестирования - Научитесь делать дизайн эксперимента для A/B теста - Узнаете, как определить, что тест шел достаточно времени - Познакомитесь с критериями принятия решения по эксперименту - Получите новый простой и эффективный инструмент для A/B тестирования ⚠️ Урок будет полезен специалистам в области аналитики данных или аналитики продукта, а также тем, кто уже знаком с A/B тестированием, но хочет углубить свои знания. 🖌 Для участия пройдите вступительный тест https://otus.pw/1MPE/

Поиск ошибок в логике работы чат-бота с помощью TF-IDF и DBSCAN Добрый день! В посте, на примере задачи поиска логических ошибок робота, я продемонстрирую, как методы тематического моделирования помогут исследователя при работе с большим объемом текстовых данных. Задача тематического моделирования возникает очень часто, когда существует необходимость в обработке большого количества текстовой информации. Тематическое моделирование – это разбиение коллекции текстовых документов на группы, в которых элементы имеют общую тематику. Стоит понимать, что один документ может иметь разные темы, в таком случае документ определяется распределением тематик, однако для нашей задачи крайне необходимо, чтобы документ однозначно принадлежал определенной группе. Использование метода предполагает то, что никаких дополнительных данных, кроме самого текста не используется. Способов применения тематического моделирования в реальных задачах множество. Например, вы можете автоматически определять тематику письма в электронной почте, а после ранжировать его. В задаче информационного поиска тематическое моделирование позволяет более качественно отбирать информацию по текстовому запросу. Исследователям, которые работают с текстовой информацией просто необходим инструмент, который может структурировать объемные текстовые массивы. Интересно и то, что предметом исследования может быть не только человеческий язык, но и любые текстоподобные данные: программный код, банковские транзакции, музыкальные произведения. ▪Читать @data_analysis_ml

Когда вы набрались опыта в анализе данных, важно не останавливаться на достигнутом, чтобы оставаться востребованным специалистом. Расширить пул выполняемых задач можно освоив машинное обучение. Прогнозирование следующей покупки, предсказание ключевых показателей, обработка и анализ поисковых запросов — всё это важные задачи, которые решаются быстрее и качественнее с помощью ML-моделей. Всему необходимому для решения этих и любых других задач бизнеса научим на курсе Start ML — всё под руководством опытных специалистов из Райффайзен и Яндекс. Вы прокачаетесь в написании кода на Python, научитесь обучать классические модели и нейронные сети, а также оценивать их влияние на бизнес с помощью статистики и A/B-тестов. Новый поток стартует уже 10 апреля, а по промокоду DATAML19 для вас действует скидка 5%. Присоединяйтесь! Ну а если вы уже всё это знаете, но не хватает уверенности и практики — приходите набираться опыта на реальных рабочих проектах на Симулятор ML.

🖥 13 упражнений по SQL с решениями В этом наборе упражнений мы поработаем с SQL и T-SQL. С помощью этих упражнений мы будем создавать различные запросы SQL и T-SQL, чтобы отточить навыки работы с запросами. Независимо от того, являетесь ли вы новичком или опытным разработчиком, эти упражнения помогут укрепить знания и подготовиться к реальным собеседованиям. Так что давайте погрузимся в работу и начнём решать задачи! ▪Читать @data_analysis_ml

Дзен приглашает на свой апрельский офлайн-митап про факторизацию в рекомендательных системах На встрече обсудят обучение факторизации в реальном времени и перенос её с ALS на SGD, а также опыт Дзена по улучшению рекомендаций коротких видео и увеличению их аудитории в несколько раз. Доклады будут полезны и новичкам ML-инженерии, и опытным спецам. Кроме этого, будет ML-квиз, а после — возможность для нетворкинга на афтепати. Количество мест ограничено, регистрируйтесь по ссылке. @data_analysis_ml

🖥 Как загружать данные в SQL в 20 раз быстрее на Python 🎞 Video @data_analysis_ml

Ищем учеников на бесплатное обучение по созданию искусственного интеллекта с нуля. Опыт программирования не важен!🤖 Всего за 3 вечера под руководством Дмитрия Романова - основателя Университета Искусственного Интеллекта, лидера обучения AI-разработке в РФ, вы с легкостью напишете свой первый искусственный интеллект👨‍💻 Какие нейронные сети вы создадите? ▫️Классификация людей на входящих и выходящих из автобуса ▫️Обнаружение возгораний ▫️Оценка стоимости квартир ▫️Оценка резюме соискателей ▫️Прогнозирование стоимости полиметаллов ▫️Сегментация изображений самолетов ▫️Распознавание команд умного дома⠀ Лучше освоить навыки создания нейронных сетей вам помогут домашние задания с проверкой от кураторов.⠀ Приходите на бесплатное обучение и напишите искусственный интеллект за 3 вечера💪 Регистрация по ссылке

💨 YOLOv7 для определения поз людей на видео В этом посте мы познакомимся с возможностями YOLOv7 для определения поз людей на видео, обсудим принцип работы алгоритма, разберёмся, чем принципиально отличается подход к детекции скелетов человека в модели YOLOv7 и других фреймворках, подробно пройдёмся по всем шагам запуска на инференс предобученной модели YOLOv7-pose для детекции людей с их скелетами. В процессе копания в первоисточниках и не только, мне удалось почерпнуть несколько интересных фактов о YOLO, чем я поделюсь. Некоторые труднопереводимые термины будут оставаться как есть. ▪ Читать ▪ Код @data_analysis_ml

🖥 Улучшите свой следующий проект с помощью этих 7 библиотек Python Вы когда-нибудь обнаруживали, что застряли в середине проекта, пытаясь решить сложную проблему? Что ж, вы не одиноки. Многие разработчики сталкиваются с такими проблемами при создании программного обеспечения, и именно в данных ситуациях пригождаются библиотеки. Они помогают вам легко создавать сложные и трудоёмкие ПО, экономя ваше время и усилия. С таким количеством библиотек может быть трудно решить, какую из них использовать. Итак, я составил список из 7 библиотек Python, которые обязательно помогут вам на вашем пути разработчика. 1. Dash Это самый загружаемый и надёжный Python-фреймворк для создания веб-приложений в сферах ML и data science. Эта библиотека связывает современные элементы пользовательского интерфейса, такие как выпадающие списки, ползунки и графики, непосредственно с вашим аналитическим кодом на Python. На GitHub у неё более 18 тысяч звёзд. Вы можете ознакомиться с данной библиотекой здесь. 2. PyWhatKit В настоящее время это одна из самых популярных библиотек для автоматизации WhatsApp и YouTube. Она проста в использовании и не требует от вас каких-либо дополнительных настроек. Библиотека PyWhatKit включает в себя множество функций, таких как отправка изображения группе WhatsApp или контакту, преобразование изображения в формат ASCII, отправка писем с HTML-кодом и многое другое. У неё более 1 тысячи звёзд на GitHub. Вы можете ознакомиться с данной библиотекой здесь. 3. Alive-progress Отображение экрана загрузки или индикатора выполнения во время вычисления или загрузки данных является одной из распространённых практик при разработке программного обеспечения для улучшения пользовательского интерфейса. Как вы уже догадались по названию, эта библиотека предоставляет красивый индикатор выполнения. Она также включает в себя множество функций, таких как настройка, live spinner, ETA, классная анимация и многое другое. У неё более 4 тысяч звёзд на GitHub. Вы можете ознакомиться с данной библиотекой здесь. 4. TextBlob Если вам приходится работать с обработкой текста, то это хороший ресурс для вас. Эта библиотека предоставляет простой API для погружения в обычные задачи обработки естественного языка (NLP), такие как пометка частей речи, извлечение именных фраз, анализ настроений, классификация, перевод и многое другое. Она обладает множеством функций, таких как извлечение именных фраз, анализ настроений, исправление орфографии и многое другое. У неё более 8 тысяч звезд на GitHub. Вы можете ознакомиться с данной библиотекой здесь. 5. Pdfplumber Как следует из названия, если вам приходится работать с pdf, то это хороший ресурс для вас. Эта библиотека поможет вам извлекать текст и таблицы из PDF-файлов, упрощая точную обработку больших объёмов PDF-данных. У неё более 3,5 тысяч звезд на GitHub. Вы можете ознакомиться с данной библиотекой здесь. 6. Pdoc Документация – один из важнейших этапов разработки программного обеспечения. Как вы уже догадались, эта библиотека поможет вам с документацией API вашего проекта. Она включает в себя множество функций, таких как Documentation is plain Markdown, первоклассную поддержку аннотаций типов, все другие современные функции Python 3, встроенный веб-сервер с оперативной перезагрузкой и многое другое. Эта библиотека имеет более 1,5 тысяч звёзд на GitHub. Вы можете ознакомиться с данной библиотекой здесь. 7. Pyrogram Эта библиотека позволяет создавать Telegram-ботов и приложения на Python, включая поддержку асинхронного программирования и зашифрованных сообщений. Она также позволяет вам легко взаимодействовать с основным Telegram API через учётную запись пользователя (пользовательский клиент) или идентификатор бота (альтернатива bot API). У неё более 3 тысяч звёзд на GitHub. Вы можете ознакомиться с данной библиотекой здесь. @data_analysis_ml

Новая эпоха псевдокомпромата уже наступила - искусственный интеллект поможет создать компромат и на вас. Обновление midjourney до 5 версии доказывает, что ИИ теперь может создавать фото известных людей в любой ситуации (сверху не фотошоп). Простым языком, нейросети учатся воссоздавать точную копию человека. А теперь, давайте представим: есть человек, который очень сильно хочет вас подставить (возможно, что вы его конкурент по бизнесу или за сердце девушки). Как вы думаете, сложно ли будет создать композицию, где вы отдыхаете в компании накаченных мужских попок? Употребляете что-то запрещенное? Или позируете с флагом запрещенной организации? Ладно, если вас друзья перестанут приглашать в баню, но такой компромат может стоить вам карьеры или обеспечить «популярность» в СМИ и визит правоохранительных органов со всеми вытекающими. Помните, от этого можно защититься и мы расскажем как. Если вы не хотите стать жертвой ИИ, вам на CyberWeekend — это большое бесплатное онлайн-мероприятие, посвященное трендам технологий и безопасности. Пройдет с 5 по 15 апреля, регистрация не нужна — просто следите за новостями на канале организаторов.

📊 Руководство по эффективной визуализации данных: выбор правильного графика Когда я впервые начал работать с визуализацией данных, я обнаружил, что мне трудно выбрать правильный тип диаграммы для точного представления данных. Было неприятно тратить часы на создание визуализации только для того, чтобы понять, что она неэффективно передаёт задуманный смысл. Вскоре я понял, что был не одинок в своей проблеме. Многие новички сталкивались с подобным при работе с визуализацией данных, вот почему я пишу эту статью (чтобы сэкономить ваше время и лучше разобраться в графиках). Я также приведу вам примеры кода. ▪ Читать @data_analysis_ml

Интерактивный Notebook – легко! Если вы хотите сделать ваш Jupyter Notebook более «живым» или подготовить небольшую форму для обработки данных для людей, которые не знают Python, то ipywidgets будет очень полезна. С помощью ipywidgets можно добавить различные интерактивные элементы в блокнот: поля для ввода различных данных, счетчики, checkbox, различные кнопки, полосу прогресса и многое другое. ▪ Читать @data_analysis_ml

Что такое Байесовское А/B-тестирование и как его провести? ✅ Подробно обсудим 18 апреля в 20:00 мск на открытом уроке в OTUS. Занятие приурочено к старту онлайн-курса «Machine Learning. Advanced». На вебинаре мы разберем, какие преимущества дают Байесовские A/B тесты по сравнению с обычными, как проводить Байесовские A/B тесты и как работать с Байесовскми моделями в PyMC3. В результате урока вы: - Познакомитесь с основами A/B тестирования - Научитесь делать дизайн эксперимента для A/B теста - Узнаете, как определить, что тест шел достаточно времени - Познакомитесь с критериями принятия решения по эксперименту - Получите новый простой и эффективный инструмент для A/B тестирования ⚠️ Урок будет полезен специалистам в области аналитики данных или аналитики продукта, а также тем, кто уже знаком с A/B тестированием, но хочет углубить свои знания. 🖌 Для участия пройдите вступительный тест https://otus.pw/BiIn/

Пошаговое руководство по обнаружению мошенничества с использованием логистиче▪▪▪ской регрессии Python: комплексный подход Выявление мошенничества является важнейшей задачей для различных отраслей, включая банковское дело, страхование и электронную коммерцию. Поскольку мошеннические действия становятся всё более изощрёнными, традиционных методов, основанных на правилах, может оказаться недостаточно для выявления мошеннических транзакций. Именно здесь методы машинного обучения, такие как логистическая регрессия, могут обеспечить более точное и эффективное решение. В этом всеобъемлющем руководстве мы углубимся в реализацию логистической регрессии для обнаружения мошенничества с использованием популярной библиотеки Sklearn на Python. Мы применим комплексный подход, используя набор данных с открытым исходным кодом от Kaggle, и продемонстрируем этапы построения модели логистической регрессии от предварительной обработки данных до оценки. К концу этого руководства вы будете иметь полное представление о том, как реализовать логистическую регрессию в Python для обнаружения мошенничества. ▪ Читать @data_analysis_ml