Анализ данных (Data analysis)

👁‍🗨 Гайд для новичков по распознаванию изображений ИИ: Python и OpenCV. В этом руководстве основное внимание будет уделено использованию Python и OpenCV для выполнения задач распознавания изображений, включая загрузку и отображение изображений, предварительную обработку изображений, извлечение признаков, обучение и тестирование классификатора, а также оценку его производительности. К концу этого руководства у вас будет прочная основа для создания проекта распознавания изображений с помощью ИИ и практические навыки для применения его к реальным задачам. ▪ Читать @data_analysis_ml

🖥 11 Полезных функций Pandas, которые вы, возможно, упустили из виду Я совершенно уверен, что Pandas не нуждается в представлении. В этой статье мы продолжим изучать некоторые полезные функции pandas, о которых вы, возможно, не слышали. Давайте начинать! ▪Читать @data_analysis_ml

Хотите самостоятельно и оптимально готовить срезы и витрины данных? 📊 Приходите учиться этому 25 апреля 20:00 на открытый урок онлайн-курса «Data Warehouse» в OTUS. Начинаем обучение с важной темы: «Аналитика ключевых метрик компании с использованием dbt Metrics». На вебинаре вы узнаете: - Что такое семантический слой, и в чем разница между метрикой и витриной данных - О правилах декларативной конфигурации метрик в yaml - Как использовать продвинутые возможности dbt Metrics (derived metrics, secondary calculations) Продолжить обучение вы сможете уже на курсе. Возможны разные формы оплаты. Спикер: Артемий Козырь, Analytics Engineer в британской компании Wheely. Имеет 7+ лет опыта в области хранилищ данных, ELT pipelines, анализа данных и визуализации. Для участия пройдите вступительный тест 👉 https://otus.pw/sktk/ Нативная интеграция. Информация о продукте на сайте otus.ru

⏩ Функциональные возможности метода Наивного Байеса на практике. Подход, о котором я расскажу, позволяет расширить функциональные возможности метода Наивного Байеса благодаря использованию весовых коэффициентов для различных групп признаков объекта датасета (модель может обучаться не только на отдельных словах в тексте, но также на некоторых метаданных, таких как авторы текста и источник информации). С помощью разработанной ML‑модели можно улучшить качество классификации текстов при использовании обучающей выборки небольшого объёма (всего 30 объектов) и сократить время обучения модели. Задача решалась в рамках разработки системы рекомендаций научных статей. Наработки могут быть использованы в любых задачах NLP и Text Mining. ▪Читать @data_analysis_ml

💥 Шпаргалка scikit-learn: функции для машинного обучения В этой статье мы рассмотрим 50 наиболее полезных функций, Sci-kitlearn для задач машинного обучения. От предварительной обработки данных до выбора и оценки модели — эти функции охватывают широкий спектр методов и методологий для решения реальных задач. Мы будем использовать готовые наборы данных, чтобы проиллюстрировать применение каждой функции, чтобы вам было легче следовать и применять их в ваших собственных проектах. Звучит фантастически? А теперь сюрприз: многие из этих функций просты в использовании и требуют для реализации всего несколько строк кода. Независимо от того, являетесь ли вы опытным специалистом по данным или только начинаете, эта памятка поможет вам лучше познакомиться с мощными инструментами, доступными в Sci-kit, и позволит вам ускорить свои проекты по науке о данных и машинному обучению. ▪Читать @data_analysis_ml

В Авито открылись классные вакансии для дата-инженеров в двух командах: ➡️ DWH ➡️ Search Quality Кое-что из условий: - Интересные и важные задачи на очень большом проекте; - Передовые технологии и подходы, возможность пробовать новое; - Мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы; - Страховка со стоматологией с первого дня работы; - Личный бюджет на обучение, который можно тратить на книги, курсы и конференции, обмен опытом с зарубежными коллегами. Заинтересовали? Переходите по ссылкам и откликайтесь.

⏩ Курс "Машинное обучение" на ФКН ВШЭ Конспекты лекций, материалы семинаров и домашние задания (теоретические, практические, соревнования) по курсу "Машинное обучение", проводимому на бакалаврской программе "Прикладная математика и информатика" Факультета компьютерных наук Высшей школы экономики. Записи лекций и семинаров ▪Полный плейлист ▪Вводная лекция ▪Линейная регрессия ▪Линейная регрессия и градиентное обучение ▪Продвинутые градиентные методы, линейная классификация ▪Метрики качества классификации (+небольшое продолжение) ▪Логистическая регрессия (+продолжение) ▪Метод опорных векторов, многоклассовая классификация ▪Решающие деревья ▪Решающие деревья (продолжение), разложение ошибки на смещение и разброс ▪Случайные леса, градиентный бустинг ▪Градиентный бустинг (продолжение) ▪Стекинг. Обучение без учителя и кластеризация. ▪Визуализация, обучение представлений ▪Рекомендательные системы 🖥 Github @data_analysis_ml

Сеньор от мидла отличается как минимум несколькими цифрами в зарплате Максимум — целой кучей скиллов, которые можно прокачать только на практике. Авито в хорошем тексте (без воды!) рассказывает, как на собеседованиях вычисляют аналитиков-сеньоров и как вы близко к тому, чтобы перепрыгнуть на следующий грейд. 👉 Статья на Хабре и матрица компетенций по уровням @data_analysis_ml

🎲 t-SNE с нуля (ft. NumPy) Я понял, что один из лучших способов по-настоящему понять любой статистический алгоритм или методологию – это реализовать его самостоятельно вручную. С другой стороны, написание этих алгоритмов иногда может отнимать много времени и доставлять настоящую боль, и когда кто-то другой уже сделал это, зачем мне тратить на это свое время – кажется неэффективным, не так ли? И то, и другое справедливо, и я здесь не для того, чтобы приводить доводы в пользу одного, а не другого. Эта статья предназначена для читателей, которые заинтересованы в понимании t-SNE посредством перевода математики из оригинальной статьи — Лоренса ван дер Маатена и Джеффри Хинтона — в реализацию кода на python. Я нахожу, что такого рода упражнения достаточно хорошо проливают свет на внутреннюю работу статистических алгоритмов / моделей и действительно проверяют ваше базовое понимание относительно этих алгоритмов / моделей. Как минимум, успешная реализация всегда приносит большое удовлетворение! ▪Читать дальше @data_analysis_ml

💻 Навык работы с большими данными открывает путь в ведущие IT-корпорации. Обычно такие корпорации используют MLOps — способ повышения производительности и создания надежных моделей корпоративного уровня. 📊 Занимаетесь дата-инжинирингом и хотите выйти на новый уровень? Эксперты топовых компаний обучат вас необходимым навыкам на практическом онлайн-курсе «MLOps» от OTUS. 👉 Определите свой уровень подготовки с помощью теста — https://otus.pw/OKGc/ 🔥 Пройдете тест, получите велкам-скидку и доступ к 2 предстоящим открытым урокам: ✔️ Построим свой конвейер обучения моделей на Airflow и k8s. ✔️ DataFrame API: от Dask к PySpark

🎲 Избавляемся от продуктов априори – использование ассоциативных правил для поиска комбинаций Алгоритм Apriori достаточно удобный инструмент, несмотря на то что он в действительности далеко не новый. Существует много других алгоритмов, в том числе и модификации Apriori для полного анализа продуктовой корзины. Но для типовых задач комбинаторики этот инструмент подходит отлично. Пример с продуктами лишь более просто и наглядно демонстрирует возможности применения этого инструмента. В действительности задачи на поиски комбинаций с полным покрытием встречаются и в повседневной работе любого IT специалиста. ▪Читать дальше @data_analysis_ml

🎲 Избавляемся от продуктов априори – использование ассоциативных правил для поиска комбинаций Алгоритм Apriori достаточно удобный инструмент, несмотря на то что он в действительности далеко не новый. Существует много других алгоритмов, в том числе и модификации Apriori для полного анализа продуктовой корзины. Но для типовых задач комбинаторики этот инструмент подходит отлично. Пример с продуктами лишь более просто и наглядно демонстрирует возможности применения этого инструмента. В действительности задачи на поиски комбинаций с полным покрытием встречаются и в повседневной работе любого IT специалиста. ▪Читать дальше @data_analysis_ml

Прокачай свои навыки в использовании Apache Spark для дата-инжиниринга до продвинутого уровня Newprolab предлагает две программы для практикующих и будущих дата-инженеров. Пройти можно в любое время – видеолекции, тесты и лабы для отработки навыков на реальных данных, облачный кластер и поддержка эксперта-координатора. Погружение в Apache Spark 11 видеолекций, 6 лаб и 10 тестов: Scala API, создание витрин данных и real-time, Kafka, Elasticsearch, Cassandra, PostgreSQL, HDFS. ссылка Apache Spark Advanced 8 видеодекций и 4 лабы. Программа поможет разобраться, что скрыто “под капотом” Apache Spark и как ускорить обработку данных в своих проектах. Лабы объединены в единый проект по разработке коннектора к гибридному хранилищу. ссылка По промокоду friends20 действует скидка 20% на каждую из программ, а при оплате двух программ сразу скидка составит 30%!

🖥 9 встроенных декораторов Python, которые помогут оптимизировать код “Лучше проще, чем сложнее” — оптимальным примером использования этого философского положения “Python-дзена” являются декораторы. Важно помнить, что существует много функциональных встроенных декораторов Python, которые значительно облегчают жизнь разработчику. С их помощью можно использовать всего одну строку кода для добавления сложных функций к существующим функциям и классам. Представляю вашему вниманию топ-9 декораторов, которые покажут, насколько элегантным может быть Python. ▪ Читать @data_analysis_ml

Разработчики, архитекторы, Data Science и R&D-специалисты Нижнего Новгорода, вы здесь? Сбер приглашает вас на инженерный митап RecSys Community, который пройдет 25 апреля в Сo-working Garage 💻 О чем расскажут спикеры? ✔️ Рассмотрят подходы к применению трансформеров в рекомендательных системах и поделятся успешными кейсам. ✔️ Покажут, как используют AmazMe для обработки персонализированных и мультимодальных рекомендаций. ✔️ Раскроют все секреты, какие изменения помогли сделать рекомендательную систему поиска друзей такой точной. Конечно же, на митапе будут Q&A-сессии, кофе-брейк, розыгрыш мерча и интересное общение. Встречаемся 25 апреля в Co-working Garage по адресу: ул. Октябрьская, д.35. Сбор гостей в 18:30. Зарегистрироваться!⚡️

🔥 Проекты курса Аналитик данных (Яндекс.Практикум) В репозитории представлены проекты c кодом курса Аналитик данных. Отличный вариант для практики. 🖥 Github @data_analysis_ml

🔥 Проекты курса Аналитик данных (Яндекс.Практикум) В репозитории представлены проекты c кодом курса Аналитик данных. Отличный вариант для практики. Githhttps://github.com/ovalentinka/Data_analystub

❓ Как стать высокооплачиваемым специалистов в ML? Совершенствуй мастерство ML в сообществе единомышленников. 25 апреля — старт продвинутого онлайн-курса «Machine Learning Advanced» от OTUS. Приглашаем на курс тех, кто хочет вырасти до позиции Middle или Senior уровня. 🧑‍💻 В программе: - Продвинутые ML-алгоритмы и кейсы решения нестандартных задач - Работа в production: настройка окружения, оптимизация кода, построение end-to-end пайплайнов и внедрение решений. - Уникальный исследовательский проект по машинному обучению ⚠️ Вебинары в формате Live coding, где преподаватель с «чистого листа» показывает решение актуальных задач ML. Ответьте на 10 вопросов и проверьте, насколько вы готовы к обучению на углубленном курсе - «Machine Learning. Advanced» от OTUS и его партнера — Сбера. 👉 ПРОЙТИ ТЕСТ: https://otus.pw/gqfa/

Как ChatGPT и GPT-4 можно использовать для создания 3D-контента Спрос на 3D-миры и виртуальные среды растёт в геометрической прогрессии во всех отраслях промышленности. 3D-рабочие процессы являются основой промышленной цифровизации, разработки симуляций в реальном времени для тестирования и валидации автономных транспортных средств и роботов, эксплуатации цифровых двойников для оптимизации промышленного производства и прокладывания новых путей для научных открытий. Сегодня 3D-дизайн и построение мира по-прежнему в значительной степени выполняются вручную. В то время как 2D-художники и дизайнеры получили в своё распоряжение вспомогательные инструменты, 3D-рабочие процессы по-прежнему заполнены повторяющимися, утомительными задачами. Создание или поиск объектов – это трудоёмкий процесс, требующий специальных навыков 3D, оттачиваемых с течением времени, таких как моделирование и текстурирование. Правильное размещение объектов и доведение 3D-среды до совершенства требует нескольких часов тонкой настройки. Чтобы сократить количество ручных, повторяющихся задач и помочь создателям и дизайнерам сосредоточиться на творческих, приятных аспектах своей работы, NVIDIA запустила множество проектов в области искусственного интеллекта, таких как generative AI tools для виртуальных миров. ▪ Читать ▪ @Chatgpturbobot @data_analysis_ml

Аналитики данных — настоящие супергерои и занимают 1 место в рейтинге профессий с самым большим спросом на рынке труда до 2025 года (по данным Всемирного экономического форума). Как стать таким специалистом? Приходите на бесплатный симулятор работы в аналитике данных с 18 по 20 апреля и вместе с дата-сайентистом Сбера Марией Жаровой будете решать бизнес-задачи с помощью анализа данных. 30 минут теории, час практики и домашнее задание — каждый день в 19:30 мск. Самые активные из вас получат полезные подарки. На интенсиве вы научитесь: - разбираться в понятиях и направлениях анализа данных; - оценивать результаты A/B-теста вручную; - анализировать данные с помощью Google Таблиц; - использовать язык программирования Python. Записывайтесь: https://go.skillfactory.ru/QrowaA И главное — поймете, подходит ли вам специальность и стоит ли начинать обучение. Реклама ООО "Скилфэктори", LatgBtYsi