Аналитика данных / Data Study

Автоматизируем парсинг данных с сайта на Python В видео рассматриваем 3 шага парсинга данных на примере получения статей с сайта techcrunch.com: 1️⃣ получение данных с сайта с помощью requests и beautifulsoup и преобразование в pandas dataframe 2️⃣ загрузка полученного датафрейма в таблицу базы данных PostgreSQL 3️⃣ автоматизация первых 2-х шагов с помощью Cloud Functions Уверен, что большинство из вас раньше не слышали или не использовали Cloud функции для своих задач, поэтому 3️⃣ пункт из видео будет для вас очень полезным. Это позволяет избавиться от отдельных cron-джобов или ETL оркестраторов типа Apache Airflow, они для таких целей излишни. Для аналитиков, которые сталкиваются с самостоятельным выполнением инженерных задач, например автоматизировать свой код, описанный способ поможет не сталкиваться с настройкой отдельной виртуальной машины и использования командной строки) Еще больше таких решений буду описывать для аналитиков-инженеров, чтобы выдать вам максимальный багаж знаний на стыке аналитических и инженерных задач 😉 В видео кстати не рассказываю, как дальше сделать правильное хранение и обработку полученных данных, чтобы например не записывать одну и ту же статью несколько раз, получать уведомления об успешности парсинга и записи данных. Подумайте как это можно реализовать) ▶️ YouTube ▶️ VK Video

Учебный год у студентов подходит к концу, значит сейчас будет появляться больше стажировок от компаний, вот например https://t.me/data_vacancy/1454

Для самых поздних пташек даю ссылку на видео 😉 Для тех кто уже спит завтра напомню еще раз) Быстро и просто автоматизируем парсинг данных с сайта на Python ▶️ YouTube ▶️ VK Video

Записал видео для своих учеников про автоматизацию извлечения данных с сайтов (парсинг). Завтра буду монтировать его и выложу в личный кабинет курса «Основы анализа данных». В видео рассказываю про очень крутой и быстрый способ автоматизации чтобы ваш код работал по нужному вам расписанию, про который в интернете мало что есть. Если пост наберет 50 🔥, опубликую видео в открытый доступ 😉

OpenAI выпустил Codex CLI, open-source AI агент для терминала Github проекта #AI #новости #ИИшница @ai_snitsa

Рынок AI технологий так быстро развивается, что просто не успеваешь на всех ресурсах вычитать самые свежие новости в этой области, здесь хочется делиться больше своей жизнью и текущими задачами в аналитике и инженерии данных. Поэтому решил завести отдельный канал, еще и немного автоматизировать подготовку контента для него (об автоматизации с помощью в том числе AI расскажу чуть позже). Над названием ломал голову, думал придумать что-то интересное, звучное и в то же время лаконичное. Придумал игру слов "ИИшница", как же я был рад в этот момент. Но стоило проверить это название, так сказать "исследовать рынок", оказывается не я один такой гениальный 😅 В общем сейчас встал вопрос: че делать с названием? Думаю доработать его или забить и оставить как есть Ну и подписывайтесь на канал @ai_snitsa 😉

Классная памятка организации встреч, забирайте себе в использование 😉

Мысли о том как я пользуюсь AI Увидел из голосования, что на самом деле многие пользуются достижениями AI сервисов как для повседневных, так и для рабочих задач. У меня соотношение использования AI примерно 90%/10%, где 90% - задачи, не относящиеся к работе. Основная функция AI в рабочих задачах: замена или дополнение привычного всего "загуглить" для быстрого поиска информации. При этом это как правило дебаг или решение ошибок в python коде или sql запросах. Т.е. вместо того чтобы вбить в обычный поиск название ошибки и искать информацию по ссылкам в интернете как ее решить, я предпочитаю сейчас эту работу поручать AI, чтобы получить описание ошибки и возможные пути решения. А вот все остальные фишки AI как авто-дополнение/генерация кода, структурирование информации, краткие пересказы, генерация идей и другое - это все используется в задачах, относящихся к моей повседневной жизни: написание контента, развитие обучающего проекта datastudy.ru, реализация проектов и аналитических решений на заказ. Еще недавно общались с коллегами на работе по вопросу "Стоит ли внедрять отдельную компетенцию для аналитиков по знанию и применению AI инструментов и отдельно оценивать ее" Пришли к заключению, что

пока не стоит

1. оценивая такую компетенцию в матрице, мы можем подтолкнуть использовать AI там, где можно было обойтись без него в рабочих задачах, при этом учитывая конкретную специфику данных и corner cases, которые могут обработать только сами аналитики 2. Может быть неправильная мотивация в обучении компетенции AI у начинающих специалистов вместо того чтобы закрывать дыры знаний реально нужных hard-навыков типа sql, python, bi в рабочих задачах 3. на уровне компании нет пула AI инструментов, рекомендованных для использования и защищенных со стороны информационной безопасности

Сходил к офтальмологу проверить зрение Зрачки на фотке угар конечно) Зрение конечно упало, рекомендуют очки для работы 🧐 Сейчас закапали капли, вообще ничего не вижу 😅 (правда так и должно быть, их нужно для расслабления глаз на ночь будет капать) Берегите зрение, друзья!

Привет! Возможно вы в своих задачах сталкиваетесь или в будущем столкнетесь с такой ситуацией, когда обычный pandas будет нагревать ваш ноутбук до предела и сыпать ошибки out of memory, когда вы просто хотите запихнуть в него более тяжелую эксельку чем обычно. Я лично сталкивался с таким неоднократно. Вполне вероятно, что вам нужно просто воспользоваться другой библиотекой для решения вашей задачи (ну или делить ваши данные на более мелкие пачки). Статья для такого случая Также делился материалами про библиотеку polars здесь и здесь P.S. Не забываем про реакции , это приятно и мотивирует ❤️

Жиза с работы в текущее время 😂 Немного контекста - у нас миграция DWH, поэтому верификация переезда витрин идет уже несколько месяцев. Выходим на финишную прямую

Ну вы поняли, действуйте 😉

Действенный способ удаленщика вытянуть в офис - переселите его в новостройку Смотреть со звуком 🔈

Библиотеки Python для работы с базами данных и SQL-запросами 1. sqlite3 Библиотека позволяет работать с базами данных SQLite, которые записывают и читают данные с файлов, а значит пользователю не нужно устанавливать сервер для БД, что очень удобно) 2. psycopg2 Модуль для работы с базами данных PostgreSQL. Также позволяет все основные функции с базой данных: работа с таблицами, написание запросов и т.д. 3. mysql-connector-python Как уже понятно из названия, модуль позволяет подключаться к БД MySQL) Включает в себя все те же функции, что и описанные выше модули. Подробная документация доступна по ссылкам в названии модулей 4. pymssql Модуль позволяет подключаться к БД Microsoft SQL Server 5. SQLAlchemy Алхимия при работе с базами данных из python) Библиотека позволяет подключаться к различным БД. Есть множество функций: создание/изменение/удаление таблиц, извлечение/вставка данных, написание запросов, изменение данных. Библиотека позволяет работать с БД с помощью объектно-ориентированного кода, не используя при этом SQL 6. PandaSQL Модуль позволяет расширить функционал pandas и писать SQL запросы прямо к датафреймам. Как вариант использования модуля с другими библиотеками, после подключения к БД и извлечения данных, к датафрейму можно писать запросы как будто бы к обычной таблице в БД, не используя синтаксис pandas

Рассказываю как мы профукали самолет из Грузии Вылет у нас стоял на 22:50 в воскресенье, выселились утром из отеля, оставили там чемоданы и пошли гулять по городу. Примерно в 17:30 сидим в парке на лавочке, едим мороженое, жене пишет подруга не задерживают ли у нас рейс, потому что в Москве в это время сильно испортилась погода. Захожу на сайт аэропорта, чтобы посмотреть расписание, а нашего рейса в этот день не стоит. Смотрю следующий день, рейс стоит по расписанию, но вылет не наш. Иду на сайт авиакомпании, проверить бронь. По номеру брони выдает нам другой номер рейса с вылетом в 18:35 😱 (меньше часа до вылета, а мы с мороженым в парке сидим). Начал копать в почте письма с предупреждением об изменении рейса. И нашел, 11 марта авиакомпания написала общее письмо, даже не именно, что часть рейсов в период апрель-май будут изменены: меняют номер рейса и время вылета. Ну и наш рейс как раз попал под это) В итоге авиакомпания заменила нам билеты с вылетом на следующий день, у них очень быстро ответила служба поддержки 👌 Меня удивило, что такие важные вещи авиакомпания сообщает только 1 раз с помощью email рассылки, хотя у них есть больше возможностей для коммуникации с клиентом (смс, мессенджеры). С точки зрения аналитики они могут также смотреть статус прочтения электронного письма в почте, а если письмо не было доставлено или открыто - отправлять повторное письмо. Ну и письмо-напоминание каждому пассажиру индивидуально тоже можно отсылать, чтобы люди не сталкивались с такими неприятными ситуациями. Но мы время зря не теряли, отметили еще один вечер в Грузии с хачапури, шашлыком и Киндзмараули)

⚡️Создаем эффективный дашборд как в Wildberries Продуктовые дашборды позволяют визуализировать ключевые метрики и принимать обоснованные решения. Но как создать действительно эффективный дашборд? Егор Чеменев, опытный продуктовый аналитик из Wildberries и автор телеграм-канала «Data Brew», проведет прямой эфир, посвященный созданию продуктового дашборда. На этой неделе мы уже проводили эфир по WB — анализировали продажи с помощью Python. Теперь идем дальше — Егор, благодаря своему опыту в Wildberries, продемонстрирует, как эффективно использовать данные и инструменты для создания дашбордов. Что будем делать: 🟠Выберем метрики: узнаем, какие ключевые показатели необходимо отслеживать для развития продукта; 🟠Напишем запросы в PostgreSQL; 🟠Научимся визуализировать данные в Power BI так, чтобы они были понятны и полезны для принятия решений; 🟠Отталкиваясь от визуализации поищем идеи для будущих исследований. 🕗 Встречаемся 8 апреля в 18:30 по МСК 😶Зарегистрироваться на бесплатный вебинар

За ваше здоровье, друзья 🍷

Сегодня отправились в мини-путешествие в Грузию Не верится что 3 года не выезжали зарубеж 🤔 были путешествия по России Знатоки Тбилиси, куда порекомендуете сходить?