ru
Feedback

Не попадитесь на канал ботавода! Telemetrio находит и помечает такие каналы 👉 Хотите видеть метку — оформите подписку

Анализ данных (Data analysis)

Анализ данных (Data analysis)

Открыть в Telegram

Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp

Больше

📈 Аналитический обзор Telegram-канала Анализ данных (Data analysis)

Канал Анализ данных (Data analysis) (@data_analysis_ml) языкового сегмента Русский является активным участником. Сейчас сообщество объединяет 51 929 подписчиков, занимая 2 575 место в категории Технологии и приложения и 11 804 место в регионе Россия.

📊 Показатели аудитории и динамика

С момента создания невідомо проект демонстрирует стремительный рост, собрав аудиторию из 51 929 подписчиков.

Согласно последним данным от 18 ноября, 2026, канал показывает стабильную активность. За последние 30 дней изменение числа участников составило 379, а за последние 24 часа — 21, при этом общий охват остаётся высоким.

  • Статус верификации: Не верифицирован
  • Уровень вовлечённости (ER): Средний показатель вовлечённости аудитории составляет 12.13%. В первые 24 часа после публикации контент обычно набирает 8.35% реакций от общего числа подписчиков.
  • Охват публикаций: В среднем каждый пост получает 6 299 просмотров. В течение первых суток публикация набирает 4 337 просмотров.
  • Реакции и взаимодействия: Аудитория активно поддерживает контент: среднее количество реакций на один пост — 169.
  • Тематические интересы: Контент сосредоточен на ключевых темах, таких как llm, контекст, openai, архитектура, deepseek.

📝 Описание и контентная политика

Автор описывает ресурс как площадку для выражения субъективного мнения:
“Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp”

Благодаря высокой частоте обновлений (последние данные получены 19 ноября, 2026) канал поддерживает актуальность и высокий уровень охвата публикаций. Аналитика показывает, что аудитория активно взаимодействует с контентом, что делает его важной точкой влияния в категории Технологии и приложения.

51 929
Подписчики
+2124 часа
-457 дней
+37930 дней
Архив постов
✏️ 13 июля в 19:00 по МСК пройдёт бесплатный вебинар «Spring Security» Что будет на трансляции: — Spring Security. Зачем? — К
✏️ 13 июля в 19:00 по МСК пройдёт бесплатный вебинар «Spring Security» Что будет на трансляции: — Spring Security. Зачем? — Как подключить к проекту и использовать — Основные настройки и аннотации Ведущий: Сергей Полухин, Senior Java Developer, старший разработчик и руководитель разработки на проектах Infobip, Сбера, Evento, суперкассы, основатель PDev Studio. 🚀 Бесплатная регистрация: https://clck.ru/34xeky
13 июля 2023, 04:02
23 июля 2023, ~03:29

🧳Подборка полезных датасетов, для дата саентистов. 1. Airbnb Этот датасет могут скинуть для интервью — собеседования с задачей провести исследовательский анализ данных и разработать модель машинного обучения. 2. NHANES Dataset Полезный набор данных для учащихся. Наименования столбцов этого датасета сначала могут показаться не очень понятными. 3. Heart Disease Dataset Он содержит классы: age, sex, chest pain type (4 вида), resting blood pressure, serum cholestoral in mg/dl, fasting blood sugar > 120 mg/dl, resting electrocardiographic results (values 0,1,2), maximum heart rate achieved, exercise induced angina, oldpeak = ST depression induced by exercise relative to rest, the slope of the peak exercise ST segment, number of major vessels (0–3) colored by flourosopy и т.д. 4. Cars Dataset Это датасет можно использовать для практики некоторых регрессионных моделей и исследовательского анализа данных. К тому же он разумного размера. 5. People Wiki Dataset Этот датасет включает в себя профили известных людей прямиком из Википедии. 6. Amazon Product Review Dataset Этот набор данных содержит миллионы отзывов на продукты Amazon. 7. Olympic Dataset Этот набор данных содержит информацию о результатах Олимпийских игр. Каждая строка содержит данные по стране. Дает почувствовать все грани боли от фильтрации данных. Автор статьи изучил библиотеки Python (Numpy и Pandas), используя этот набор данных. 8. Titanic Dataset Подойдет для исследовательского анализа данных , моделей машинного обучения (особенно моделей классификации), статистического анализа и практической отработки визуализации данных . 9. Iris Dataset Еще один широко котируемый набор данных в курсах по Data Science. Особенно хорош для изучения классификационных моделей. 10. Facebook Stock Data Может быть очень полезным при анализе и визуализации временных рядов или проблемах, связанных с временными рядами. 11. BBC Text Dataset Еще один замечательный набор данных для Natural Language Processing. Этот набор данных содержит информацию о различных типах новостей из архивов BBC. Это большой набор текстовых данных. 12. Cats vs Dogs Очень часто используется для отработки классификации изображений. Внутри ты найдешь изображения кошек и собак. Датасет хорош для проблем computer vision. 13. Malignant vs Benign Полезный набор данных для проблем компьютерного зрения. Датасет содержит изображения двух типов рака кожи. Подходит для задач классификации изображений. 14. Natural Images Dataset Этот набор данных содержит изображения самолетов, автомобилей, кошек, собак, цветов, фруктов, мотоциклов и людей. @data_analysis_ml
12 июля 2023, 08:07

Аналитики данных — настоящие супергерои и занимают 1 место в рейтинге профессий с самым большим спросом на рынке труда до 202
Аналитики данных — настоящие супергерои и занимают 1 место в рейтинге профессий с самым большим спросом на рынке труда до 2025 года (по данным Всемирного экономического форума). Как стать таким нужным специалистом? Приходите на бесплатный интенсив 18-19 июля, на котором вы: — погрузитесь в рабочие будни аналитика — узнаете о направлениях в аналитике и решите, какое подходит вам — научитесь работать в Google Sheets как аналитик данных А еще — поработаете руками, решите реальные бизнес-задачи и получите фидбэк от эксперта. За лучшее решение домашнего задания - мини-курс по аналитическому мышлению в подарок. Регистрируйтесь БЕСПЛАТНО: https://go.skillfactory.ru/J4jZCw Реклама ООО “Скилфэктори”
12 июля 2023, 06:06
18 июля 2023, ~06:42

🖥 Не только Numpy и Pandas: раскрытие потенциала малоизвестных библиотек Python Python — один из наиболее часто используемых
🖥 Не только Numpy и Pandas: раскрытие потенциала малоизвестных библиотек Python Python — один из наиболее часто используемых языков программирования в мире, предоставляющий разработчикам широкий набор библиотек. В любом случае, когда дело доходит до работе данными и научных вычислений, мы обычно думаем о таких библиотеках, как Numpy или Pandas. В этой статье мы представляем 3 малоизвестные Python-библиотеки, которые могут вас заинтересовать при работе с данным. 1. Xarray Xarray — это библиотека Python, которая расширяет функциональные возможности NumPy, давая нам возможность работать с помеченными массивами и наборами данных. 2. Dask Dask — это гибкая библиотека параллельных вычислений, которая обеспечивает распределённые вычисления и параллелизм для крупномасштабной обработки данных. 3. SymPy Если вам нужно выполнять сложные математические расчёты и вычисления и вы хотите использовать Python, рекомендуем попробовать библиотеку Sympy. ▪️Читать подробнее @data_analysis_ml
11 июля 2023, 09:48

Хотите узнать, как у Сбера получается создавать такие точные персональные рекомендации? Приходите на RecSys Meetup by Sber —
Хотите узнать, как у Сбера получается создавать такие точные персональные рекомендации? Приходите на RecSys Meetup by Sber — он состоится 20 июля в Питере 💚 На митапе топовые спикеры расскажут: • Как рекомендации на базе AI помогают бизнесу в разных индустриях. • На какие тренды в области AI, машинного обучения и рекомендательных систем стоит обратить внимание • Какие существуют особенности при построении рекомендательных сценариев в видео-стримингах В перерывах между докладами вас будут ждать интересные знакомства, обсуждения и нетворкинг. Регистрируйтесь по ссылке — встречаемся 20 июля в 19:00 по адресу: Art-Muse, Зал «Галерея Ц», 13-я линия Васильевского острова, 70 📍
11 июля 2023, 07:48
18 июля 2023, ~05:42

⚡️ 7 основных способов для управления столбцами в Pandas Когда дело доходит до анализа данных, Pandas является наиболее используемой библиотекой Python для обработки и подготовки данных для дальнейшего анализа и машинного обучения. • Реальность такова, что Pandas — действительно гибкая библиотека, и её можно использовать даже для преобразования форматов файлов. 1️⃣ Создайте столбец Pandas как Pandas Series # Create a Pandas series series = pd.Series([6, 12, 18, 24]) # Print Pandas series print(series) >>> 0 6 1 12 2 18 3 24 dtype: int64 2️⃣ Создайте столбец Pandas как фрейм данных Pandas import pandas as pd # Create a Pandas column as a Pandas data frame df = pd.DataFrame({'A': [1, 2, 3, 4]}) # Print Pandas data frame print(df) >>> A 0 1 1 2 2 3 3 4 3️⃣ Создайте столбец Pandas как фрейм данных Pandas, начиная с массива NumPy import numpy as np import pandas as pd # Create a NumPy array values = np.array([5, 10, 15, 20]) # Transform array into Pandas data frame df = pd.DataFrame(values) # Print data frame print(df) >>> 0 0 5 1 10 2 15 3 20 ➡️ Читать продолжение @data_analysis_ml
10 июля 2023, 07:50

🔥 19 июля пройдет занятие «Интеграции с помощью API и интеграционной шины» Что будет на занятии: — роль интеграций в сложных
🔥 19 июля пройдет занятие «Интеграции с помощью API и интеграционной шины» Что будет на занятии: — роль интеграций в сложных бизнес-процессах; — когда и для чего используется интеграция через интеграционную шину; — методы и инструменты при описании и документировании API (OpenApi - Swagger, SOAP - WSDL). Спикер: Семен Тикунов — системный аналитик в Сбере. Более 10 лет в системном анализе. Преподаватель курса «Системный аналитик в FinTech». 🚀 Стартуем 19 июля в 19.00 по МСК Регистрируйся бесплатно 👇 https://clck.ru/34wYap
10 июля 2023, 05:50
18 июля 2023, ~01:49

🔥 Подборка обучающих каналов для программистов. 🖥 Machine learning ai_ml – крупнейши канал по ии, нейросетям и науке о данных. datasc - дата сайнс обучение самой востребованной профессии. @bigdatai - Big Data @machinelearning_ru – гайды по машинному обучению @machinelearning_interview – подготовка к собеседованию мл. @datascienceiot – бесплатные книги ds @ArtificialIntelligencedl – ИИ @machinee_learning – чат о машинном обучении @datascienceml_jobs - вакансии ds, ml @Machinelearning_Jobs - чат с вакансиями 🖥 Python @pythonl - крупнейший канал для Python программистов. @pro_python_code – учим python с ментором. @python_job_interview – подготовка к Python собеседованию. @python_testit - проверочные тесты на python @pythonlbooks - современные книги Python @python_djangojobs - работа для Python программистов @python_django_work - чат обсуждения вакансий #️⃣ c# C# - канал для изучения C# на практике. @csharp_cplus - C# чат @csharp_1001_notes - инструменты C# 🖥 C++ @cpluspluc - C++ кодинг 🖥 SQL базы данных @sqlhub - Повышение эффективности кода с грамотным использованием бд. @chat_sql - чат изучения бд. 👣 Golang @Golang_google - восхитительный язык от Google, мощный и перспективный. @golang_interview - вопросы и ответы с собеседований по Go. Для всех уровней разработчиков. @golangtests - интересные тесты и задачи GO @golangl - чат изучающих Go @GolangJobsit - отборные вакансии и работа GO @golang_jobsgo - чат для ищущих работу. @golang_books - полезные книги Golang @golang_speak - обсуждение языка Go @golangnewss - новости go 🖥 Linux linux - kali linux ос для хакинга linux chat - чат linux для обучения и помощи. @linux_read - бесплатные книги linux 🖥 Javascript / front @react_tg - - 40,14% разработчиков сайтов использовали React в 2022 году - это самая популярная библиотека для создания сайтов. @javascript -канал для JS и FrontEnd разработчиков. Лучшие практики и примеры кода. Туториалы и фишки JS @Js Tests - каверзные тесты JS @hashdev - погружение в web разработку. @javascriptjobjs - отборные вакансии и работа FrontEnd. @jsspeak - чат поиска FrontEnd работы. 🖥 Java @javatg - выучить Java с senior разработчиком на практике @javachats - чат для ответов на вопросы по Java @java_library - библиотека книг Java @android_its - Android разработка @java_quizes - тесты Java @Java_workit - работа Java @progersit - шпаргалки ит 👷‍♂️ IT работа https://t.me/addlist/_zyy_jQ_QUsyM2Vi -ит каналы по яп с вакансиями 🤡It memes @memes_prog - ит-мемы ⚙️ Rust @rust_code - Rust избавлен от болевых точек, которые есть во многих современных яп @rust_chats - чат rust 📓 Книги https://t.me/addlist/HwywK4fErd8wYzQy - актуальные книги по всем яп ⭐️ Нейронные сети @vistehno - chatgpt ведет блог, решает любые задачи и отвечает на любые ваши вопросы. @aigen - сети для генерации картинок. видео, музыки и многого другого. @neural – погружение в нейросети. 📢 English for coders @english_forprogrammers - Английский для программистов 🖥PHP @phpshka - PHP академия для программистов. 🖥 Devops Devops - канал для DevOps специалистов. 🔥 Папки для программитов https://t.me/addlist/_FjtIq8qMhU0NTYy - машинное обучение, нейросети, глубокое обучение https://t.me/addlist/eEPya-HF6mkxMGIy - папка для Python разработчиков https://t.me/addlist/MUtJEeJSxeY2YTFi - папка для Golang разработчиков
08 июля 2023, 10:59

🖥 Два продвинутых SQL-метода, которые могут значительно улучшить ваши запросы SQL — это основа для каждого специалиста по ра
🖥 Два продвинутых SQL-метода, которые могут значительно улучшить ваши запросы SQL — это основа для каждого специалиста по работе с данными. Неважно, являетесь ли вы аналитиком данных, специалистом по данным или инженером по обработке данных, вам необходимо иметь четкое представление о том, как писать чистые и эффективные SQL-запросы. Это связано с тем, что за любым тщательным анализом данных или любой сложной моделью машинного обучения стоят базовые данные, и эти данные должны откуда-то поступать. Cегодня мы рассмотрим две новые техники SQL, которые вы можете добавить в свой набор инструментов, чтобы вывести ваши запросы на новый уровень. Эти методы называются Обобщённое табличное выражение (CTE) и Оконные функции. ▪ Читать @data_analysis_ml
07 июля 2023, 06:00

Яндекс Практикум и Томский государственный университет запускают совместную программу магистратуры «Дата-аналитика для бизнес
Яндекс Практикум и Томский государственный университет запускают совместную программу магистратуры «Дата-аналитика для бизнеса». Поможем стать уверенным middle-специалистом и получить степень магистра ТГУ за 2 года. Если вы уже работаете аналитиком, то сможете учиться на кейсах вашей компании. — Обучение онлайн 20-25 часов в неделю — удобно совмещать с работой — Диплом государственного образца по направлению «Прикладная информатика» — Преподаватели — действующие аналитики данных — 6 месяцев практики и 30 проектов в резюме — Системное развитие софтскилов Мы готовим специалистов широкого профиля, которые подкованы в аналитике, бизнесе и коммуникациях. Первый и второй семестр заложат базу: программирование, экономика, менеджмент, математика. В третьем семестре можно будет выбрать специальность: продуктовая, маркетинговая или бизнес-аналитика. Подавайте заявку и растите в T-shaped специалиста.
07 июля 2023, 04:01
23 июля 2023, ~03:29

🤗 Бесплатный курс по обработке естественного языка (NLP) от The Hugging Face В этом курсе вы сможете узнать об обработке ест
🤗 Бесплатный курс по обработке естественного языка (NLP) от The Hugging Face В этом курсе вы сможете узнать об обработке естественного языка с помощью библиотек из экосистемы Hugging Face. ▪Transformers ▪Datasets ▪Tokenizers ▪Accelerate Здесь можно посмотреть видео о курсе. 🚀 Курс: https://huggingface.co/learn/nlp-course/chapter1/1 @data_analysis_ml
06 июля 2023, 14:01

Как определить, какая версия сайта работает лучше? Что изменилось после рефакторинга бэкенда и удалось ли отделу логистики ускорить доставку?  Точные ответы на эти вопросы позволяют получить A/B-тесты. На нашем симуляторе вы поработаете с нетривиальными кейсами и разберёте полный пайплайн тестирования на реальных задачах бизнеса — всё под руководством экспертов из X5 Retail Group и Blockchainꓸcom.   Вы поймёте, какие метрики нужно измерять, как получить качественный результат даже на небольшой выборке, а также разберёте частые ошибки.  Если вы хотите научиться принимать решения на основе data-driven не погружаясь в программирование и сложную математическую статистику — вам подойдёт базовая версия программы. Все задачи вы будете решать в Google Sheets, а запускать эксперименты — на уже готовой инфраструктуре.  А если вы уже знаете основы Python и математической статистики, и вам важно на практике разобраться во всех тонкостях A/B-тестирования — приходите на продвинутую версию.  Обучение на симуляторе позволит вам вывести карьеру на новый уровень и заранее отработать на практике сложные и нестандартные ситуации, чтобы избежать ошибок в реальной работе.  [Начать учиться]
06 июля 2023, 12:01
23 июля 2023, ~03:36

🌍 20 библиотек Python для работы с пространственными данными. Python стал доминирующим языком в области работы с геоданными, благодаря своей универсальности, обширной экосистеме библиотек и удобному синтаксису. Эта подборка геопространственных библиотек Python содержит богатый инструментарий, для обработки и анализа данных ГИС. 1. ArcGIS API for Python (Esri) : Разработанная компанией Esri, эта библиотека предоставляет возможности GeoAI для пользователей ArcGIS. 2. Earth Engine API : API Earth Engine позволяет получить доступ к обширной коллекции геопространственных данных Google Earth Engine и выполнять задачи анализа с помощью Python. 3. TorchGeo (PyTorch): TorchGeo предоставляет инструменты и утилиты для работы с геопространственными данными в PyTorch. 4. fastai.vision (fast.ai): Хотя fastai.vision не предназначена специально для GeoAI, она является популярной библиотекой для задач глубокого обучения и компьютерного зрения, которая может быть использована для анализа геопространственных изображений. 5. arcpy (Esri) - это библиотека Python, предоставляемая Esri для работы с геопространственными данными на платформе ArcGIS. Она позволяет автоматизировать задачи геообработки и выполнять пространственный анализ. 6. PyQt (Riverbank Computing) - это набор утилиты Python для Qt. Его можно использовать для создания графических интерфейсов (GUI) для геопространственных приложений. 7. GeoPandas: расширяет функциональность Pandas, популярной библиотеки анализа данных, для работы с геопространственными данными. Она предоставляет высокоуровневый интерфейс для работы с векторными данными, такими как точки, линии и полигоны. 8. Rasterio - это библиотека для чтения и записи геопространственных растровых наборов данных. Она обеспечивает эффективный доступ к растровым данным и позволяет выполнять различные операции с геоданными. 9. GDAL (Open-Source Geospatial Foundation) - это мощная библиотека для чтения, записи и манипулирования геопространственными растровыми и векторными форматами данных. 10. Fiona - это Python API для чтения и записи геопространственных данных в различных форматах, включая Shapefiles и GeoJSON. Он хорошо интегрируется с другими библиотеками, такими как GeoPandas. 11. Shapely - это библиотека для геометрических операций в Python. Она позволяет создавать, манипулировать и анализировать геометрические объекты. 12. GeoPy - это библиотека которая позволяет преобразовывать адреса в географические координаты и наоборот. Библиотека для геокодирования и вычисления расстояний. Geopy также предоставляет функции для вычисления расстояний между точками на основе различных метрик расстояния. 13. PySAL: предоставляет широкий спектр методов пространственного анализа, включая пространственную автокорреляцию, кластеризацию и пространственную регрессию. 14. Pyproj - это интерфейс Python к библиотеке PROJ, которая предоставляет возможности преобразования координат. Она позволяет преобразовывать координаты между различными системами отсчета координат (CRS). 15. Rasterstats предоставляет инструменты для зонального статистического анализа наборов данных. 16. Geos - это библиотека C++, которая обеспечивает низкоуровневые геометрические операции, а библиотека Python Geos предлагает интерфейс Python к Geos. Она часто используется в сочетании с Shapely. 17. RSGISLib - имеет функции для обработки тепловых изображений, включая радиометрическую коррекцию, оценку температуры поверхности земли. 18. WhiteboxTools - это библиотека для геопространственного анализа и обработки данных. Она предлагает полный набор инструментов для таких задач, как анализ рельефа, гидрологическое моделирование и обработка данных LiDAR. 19. GeoDjango - GeoDjango интегрируется с Django. 20. Xarray: Предназначен для работы с многомерными геопространственными наборами данных, предоставляет инструменты для манипулирования данными, анализа и визуализации. @data_analysis_ml
06 июля 2023, 07:04

💡Как оптимизировать параметры запуска приложения Spark? Поговорим об этом 11 июля в 20:00 мск на открытом уроке в OTUS. Этот
💡Как оптимизировать параметры запуска приложения Spark? Поговорим об этом 11 июля в 20:00 мск на открытом уроке в OTUS. Этот вебинар пройдет в рамках онлайн-курса «Spark Developer» в OTUS. 📝На занятии мы с экспертом разберем признаки ошибочной конфигурации, базовые настройки для повышения производительности и Ganglia как инструмент мониторинга кластера для определения узких мест работы приложения Spark. ✅ В результате урока вы получите: ⁃ Сформированное понимание качества базовой настройки приложения Spark ⁃ Понимание баланса использования ресурсов для приложения ⁃ Умение идентифицировать ошибки, связанные с неправильной настройкой приложения ⁃ Навык визуально анализировать параметры загрузки кластера в процессе работы приложения Урок будет полезен начинающим и опытным специалистам в области аналитики данных, Data Engineering, а также руководителям и менеджерам команд разработки. Не упустите возможность получить ценные знания, продолжить обучение вы сможете на курсе, доступном в рассрочку. 👉Для участия зарегистрируйтесь: https://otus.pw/piyE/ Нативная интеграция. Информация о продукте www.otus.ru
06 июля 2023, 05:04
23 июля 2023, ~03:36

Создание инфографики с помощью Matplotlib Создание захватывающих и привлекательных визуализаций данных имеет важное значение
+1
Создание инфографики с помощью Matplotlib Создание захватывающих и привлекательных визуализаций данных имеет важное значение для работы с данными и для того, чтобы быть специалистом по Data Science. Это позволяет нам предоставлять читателям информацию в сжатой форме, которая помогает понимать данные без необходимости просмотра необработанных значений. Кроме того, мы можем использовать диаграммы и графики, чтобы рассказать увлекательную и интересную историю, отвечающую на один или несколько вопросов о данных. В мире Python существует множество библиотек, которые позволяют специалистам по данным создавать визуализации, и одна из первых, с которой многие сталкиваются, начиная свое путешествие по Data Science — это matplotlib. В этой статье мы рассмотрим создание инфографики с помощью matplotlib. 📌 Читать статью @data_analysis_ml
05 июля 2023, 08:23

Стать Middle ML-специалистом просто — поступи в крупнейшую в России магистратуру по ИИ в ИТМО 🚀 Магистратура AI Talent Hub с
Стать Middle ML-специалистом просто — поступи в крупнейшую в России магистратуру по ИИ в ИТМО 🚀 Магистратура AI Talent Hub создана компанией Napoleon IT совместно с ведущим технологическим вузом — ИТМО. За 2 года вы получите актуальные знания в области искусственного интеллекта и освоите перспективные ML-специальности на уровне Middle. AI Talent Hub — это: 🔹200 бюджетных мест для талантливых абитуриентов — становитесь профессионалами в ИИ 🔹обучение на решении реальных бизнес-задач — применяйте знания и навыки на практике уже во время магистратуры 🔹опытные профессионалы-менторы из ведущих партнерских IT-компаний — OZON, VK, Сбер, МТС Digital, Huawei Noah's Ark, «Татнефть», Mail.ru, Яндекс, Газпром и другие — получайте практические знания и возможности для развития 🔹онлайн-формат обучения — учитесь из любой точки земного шара 🔹более 100 курсов по разным направлениям машинного обучения от ИТМО, Передовой инженерной школы ИТМО и экспертов крупных IT-компаний — выбирайте сами, кем хотите стать 🔹обучение в неклассических образовательных форматах — воркшопы, хакатоны, проектные и кейс-семинары — забудьте про скучные лекции и лабораторные. Набор на программу AI Talent Hub «Искусственный интеллект» уже в самом разгаре 🔥 До 10 июля подавайте заявку на конкурс проектов, поступайте без экзаменов и становитесь экспертом в области искусственного интеллекта!
05 июля 2023, 06:23
23 июля 2023, ~03:36

🖥 Продвинутый парсинг данных на Python. Сегодня многие веб-сайты используют JavaScript для динамической загрузки контента. Это может затруднить парсинг данных традиционными методами. Тем не менее, существует ряд инструментов, которые могут помочь вам спарсить данные с сайтов, использующих JavaScript. 1. Парсинг динамических сайтов. Вот пример того, как использовать Selenium для парсинга веб-сайта, перегруженного JavaScript: from selenium import webdriver from bs4 import BeautifulSoup driver = webdriver.Firefox() driver.get('https://www.example.com') # Wait for the JavaScript to load time.sleep(5) # Get the page source soup = BeautifulSoup(driver.page_source, 'html.parser') # Extract the data table = soup.find('table', attrs={'id':'dynamic-table'}) data = [] for row in table.find_all('tr'): data.append([cell.text for cell in row.find_all('td')]) # Close the browser driver.quit() Этот код сначала откроет веб-сайт в браузере Firefox. Затем он будет ждать загрузки JavaScript. После загрузки JavaScript, мы получим исходный текст страницы и разберм его с помощью BeautifulSoup. Наконец, мы извлечем данные из таблицы и закроем браузер. 2. Работа с CAPTCHA и IP-блокировками Существует ряд инструментов, которые могут помочь вам решить CAPTCHA. Одним из популярных инструментов является Anti-Captcha: https://anti-captcha.com/. import requests url = 'https://anti-captcha.com/api/create' data = { 'type': 'image', 'phrase': captcha_text } response = requests.post(url, data=data) captcha_id = response.json()['captchaId'] url = 'https://anti-captcha.com/api/solve' data = { 'captchaId': captcha_id } response = requests.post(url, data=data) solution = response.json()['solution'] Этот код сначала отправляет текст CAPTCHA в Anti-Captcha. Затем Anti-Captcha вернет captchaId, который вы можете использовать для запроса решения. Получив решение, вы можете использовать его для обхода CAPTCHA. 3. Пример того, как использовать прокси-сервис для изменения вашего IP-адреса: import requests import random def get_proxy(): """Gets a proxy from the proxy scrape service.""" response = requests.get('https://www.proxyscrape.com/') data = response.json() proxy = random.choice(data['results'])['ip'] + ':' + data['results'][0]['port'] return proxy def scrape_website(proxy): """Scrape the website using the proxy.""" response = requests.get(url, proxies={'http': proxy, 'https': proxy}) soup = BeautifulSoup(response.text, 'html.parser') data = [] for row in soup.find_all('tr'): data.append([cell.text for cell in row.find_all('td')]) return data if __name__ == '__main__': proxy = get_proxy() data = scrape_website(proxy) print(data) # Rotate the proxy proxy = get_proxy() data = scrape_website(proxy) print(data) Этот код сначала получит прокси от сервиса proxy scrape. Затем он будет использовать прокси для сканирования веб-сайта. Наконец, он выведет данные, которые были получены при парсинге. @data_analysis_ml
04 июля 2023, 07:37

12 июля в 11:00 мск Visiology првоводит вебинар на тему "BI + AI = ? Супер-оружие аналитиков или угроза профессии?". Записать
12 июля в 11:00 мск Visiology првоводит вебинар на тему "BI + AI = ? Супер-оружие аналитиков или угроза профессии?". Записаться на вебинар Что будет на вебинаре 1. Начнем с обзора новых возможностей на основе ИИ в BI платформах лидерах мирового рынка - Power BI, Qlik, Tableau. Почему про ИИ в BI говорили и раньше, но только сейчас это перестало быть маркетинговой фишкой и стало реально помогать в ежедневной работе аналитика? 2. Продемонстрируем на реальных кейсах, как аналитику может помочь новый виртуальный помощник Visiology ViTalk GPT. Посмотрим, как он пишет DAX запросы и интеграции с источниками данных на Python. Обсудим ограничения технологии и разберемся, как эту технологию использовать эффективно. Зарегистрироваться
04 июля 2023, 06:37
23 июля 2023, ~03:36

📚 7 примеров современных алгоритмов машинного обучения с кодом и полезными статьями для изучения. 1. Трансформеры Что почита
+6
📚 7 примеров современных алгоритмов машинного обучения с кодом и полезными статьями для изучения. 1. Трансформеры Что почитать: - Трансформеры - Transformer в картинках - Знакомство с трансформерами - Обучение алгоритма генерации текста на основе трансформеров 2 Графовые нейронные сети (GNN) Что почитать: - Графовые нейронные сети - Graph Neural Networks: просто на математическом - Ищем скрытые смыслы. Графовые нейронные сети 3. XGBoost: Что почитать: - XGBoost в R: пошаговый пример - Введение в XGBoost для прикладного машинного обучения - Как работает нативная поддержка категорий в XGBoost 4. Вариационные автоэнкодеры (VAE) Что почитать: - Вариационные автоэнкодеры (VAE) для чайников - Применение простых Автоэнкодерных архитектур в задачах поиска аномалий при максимально несбалансированных данных 5. AutoML Что почитать: - Автоматическое машинное обучение - Что такое автоматизированное машинное обучение (AutoML) 6. Генеративно-состязательная сеть (GAN) Что почитать: - Генеративная состязательная сеть (GAN) для чайников - Создание изображений с использованием генеративно-состязательных нейронных сетей (GAN) на примере ЭКГ - Генеративно-состязательная сеть 7. Трансферное обучение Что почитать: - Трансферное обучение: почему deep learning стал доступнее - Трансферное обучение с Т5 @data_analysis_ml
03 июля 2023, 11:09