Аналитика данных / Data Study

Опыт 🟰Насмотренность Каждый понимает, что для ведущего высокооплачиваемого специалиста важно быть опытным. Даже в резюме ключевым фокусом внимания всегда является блок "опыт работы" - что ты уже делал и как решал. Про опыт Когда ты джун, каждая задача - это что-то новое, то что ты никогда раньше не делал. В этот момент ты набираешься опыта. Получаешь свой опыт и перенимаешь опыт других коллег, перенимая процесс решения задач, алгоритм анализа, синтаксис скриптов/запросов и т.д., вплоть до привычек решать задачу А с помощью инструмента В, потому что до этого у тебя не было своего опыта и все вокруг тебя делают это так. Ну и ты также начнешь делать. Опыт заключается в наработке собственных подходов или заимствовании доступных и известных тебе, применяя это здесь и сейчас. Опыт - то что ты приобрел и прошел это. Про насмотренность Но я задумался, что опыта на каком-то уровне может не хватать или опыт может быть не совсем правильным/релевантным/эффективным. Ведь задумайтесь, в одной компании ту самую задачу А все решали инструментом В, а в другой компании эту же задачу А решают другие люди, но инструментами С, D и E. И вполне возможно что твой опыт с вариантом В не самый эффективный, но исходя из опыта ты знаком только с ним и можешь даже не задумываться о том, что есть другое. Для себя насмотренность я понимаю как "узнать, как решают одну и ту же задачу разными вариантами/подходами/инструментами другие компании/специалисты". Важно понимать, что насмотренность отличается от опыта тем, что ты можешь только посмотреть вариант решения, но не применить его, тем самым не преобразовав это в опыт. 🔎 Насмотренность - знаешь как решать разными способами, опираясь на знания и опыт других, но мог не применять эти знания. Если применил, то получил свой опыт. 🔎 Опыт - прошел путь решения сам или путем заимствования другого опыта. Мне кажется, что насмотренность более важна для специалистов синьерного уровня, и для этого есть несколько причин: 1️⃣ есть уже наработанный свой опыт и его можно сравнивать с другим опытом через насмотренность. (Типа "я знаю как решить эту задачу и решал ее много раз, но хочу узнать как ее решали другие и сравнить свой опыт) 2️⃣ синьеры как правило являются наставниками для более младших специалистов. и лучше будет сразу в наставничестве давать более широкий опыт: "можно сделать так, а можно иначе, а в другой компании ребята делают так и можешь также попробовать" 3️⃣ опытные специалисты могут быть драйверами роста, внедряя (или пытаясь внедрить) лучшие практики с рынка. а как увидеть эти практики - с помощью насмотренности. 4️⃣ появляется своя команда и часть задач выполняется не твоими руками, а руками твоих коллег. ты можешь повлиять на результат, но не своими руками, а через передачу знаний: "смотри, можем попробовать изобрести велосипед и получить свой опыт, а можем попробовать решить как ребята на конференции рассказывали - посмотрел их решение и предложил тебе попробовать также сделать". Финализирую: 🔹если джун - нарабатывай собственный и перенимай опыт от своих наставников 🔹если есть базовый опыт - качай насмотренность, как то же самое делают на рынке другие спецы

На днях решал несложную одноразовую задачу по фрилансу. Суть в том, что данные были получены с помощью python и по датасету нужно было сделать несколько преобразований и вычислений метрик. Преобразования сами по себе стандартные: фильтрация, агрегация, сортировка. Можно взять написать все эти операции с помощью pandas к уже имеющемуся датафрейму. Но мне так стало лень писать несколько строк кода на python, что для меня было проще написать всю логику в одном select запросе на sql 😁 Вы спросите

"нафига так делать???" чтобы применить sql данные нужно положить в базу данных

Нет, точнее не всегда) Данные остались в том же датафрейме, а обработку я сделал с помощью pandasql. Простой пример применения и сравнения pandas VS pandasql 👇

import pandas as pd 
from pandasql import sqldf

data = {
    'product_id': [1, 2, 1, 3, 2, 3, 1],
    'sale_date': ['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04'],
    'amount': [100, 200, 150, 300, 250, 350, 400]
}

df = pd.DataFrame(data)

# логика с pandas (фильтруем по датам, группируем по product_id, считаем агрегат суммы по полю amount и сортируем по нему же)
result_df = (
    df[df['sale_date'].between('2023-01-02', '2023-01-03')]
    .groupby('product_id', as_index=False)['amount']
    .sum()
    .sort_values(by='amount', ascending=False)
)

# или применяя sqldf
query = """
    SELECT product_id, SUM(amount) as total_amount
    FROM df
    WHERE sale_date BETWEEN '2023-01-02' AND '2023-01-03'
    GROUP BY product_id
    ORDER BY total_amount DESC
"""

sql_result = sqldf(query, globals())

Я на работе настолько привык крутить все данные с помощью SQL, что в голове любые преобразования я продумываю на логике sql-запросов, а потом если все таки нужно могу переложить это на python скрипты. Это как с разговорными языками. Если например переезжаете в другую страну и начинаете разговаривать/писать/слушать на другом языке, то у вас мозг со временем начинает мыслить на этом же языке. У меня так было с английским 🇬🇧, когда учеба и работа была полностью на английском, при этом жил в Москве, но все равно замечал что формулирую предложения сначала на английском, а потом уже осознаю что можно на русском) P.S. sqldf применяет диалект SQLite, поэтому можно использовать все функции которые доступны для этой базы. 👍 если узнали новенькое для себя из поста

⚡️Пошаговый план: как стать аналитиком данных в 2025 Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если мне 30/40/50+ лет? Андрон Алексанян — эксперт по аналитике с 8-летним опытом и по совместительству CEO Simulative — покажет рабочие схемы и чёткий план, как устроиться в аналитику быстрее, даже если у вас нет опыта Что будет на вебинаре? 🟠 Разберёте полный роадмап: что учить, в каком порядке, до какого уровня; 🟠 Лайфхаки трудоустройства: — покажут реальные примеры, как оформить резюме и портфолио, чтобы привлекать внимание; — обсудите, какие отклики работают, а какие сразу отправляют в корзину; — изнанка найма: инсайдерский взгляд на процессы отбора 🟠 Практические техники для новичков: разберёте, как компенсировать недостаток опыта и быстро закрывать пробелы в знаниях 🕗 Важно досмотреть вебинар до конца, чтобы получить бонус от Simulative, который поможет бустануть карьеру 😶Зарегистрироваться на бесплатный вебинар

Эффективная загрузка данных в PostgreSQL с помощью Python В этот раз на курсе ученица столкнулась с задачей загрузки своего датасета в базу данных PostgreSQL. Все бы ничего, это типичная задача, через которую проходят ученики, но здесь повлиял объем исходных данных. На входе был json файл объемом 150Мб, который если преобразовать в формат таблицы, то получится 8.9 млн строк. Не Big Data, но и не маленькая экселька на самом деле. Мы сравнили разные методы загрузки такого датасета в одну и ту же базу данных в пустые таблицы и вот что получилось: Самый быстрый метод - COPY (выполнился за 25 секунд). Если вкратце описать его особенность, то этот механизм специально предназначен для массовой вставки данных внутри одного запроса к серверу базы данных, в отличие от INSERT команды, где каждая вставка будет обрабатываться сервером как отдельный запрос (или группы запросов) и проходить дополнительно разбор sql команды через планировщик базы данных, что также ест ресурсы. Для COPY предварительно пришлось преобразовать датафрейм в .csv файл, чего например не нужно делать с удобным методом to_sql. Кстати, для всех остальных методов вставки которые помню нужно отдельно сначала создать таблицу с помощью CREATE TABLE, потом уже выполнять вставку. Метод to_sql сам создает таблицу, если ее в базе данных не существует. Но часто без INSERT не обойтись, когда например важно вставлять данные часто и небольшими частями, не сохраняя их при этом предварительно в виде файла. Результаты разных способом по длительности выполнения можете оценить на скрине. 👍 если возьмете себе на заметку

Буду знать теперь что отвечать по статусам задач 😅

Функции и Хранимые процедуры SQL 🔎 Функция SQL предназначена для выполнения логики над данными с учетом входных параметров функции и возвращения одного значения, которое может быть либо скалярным (например, строка, число), либо табличным (набор строк). Функции обычно вызываются как часть выражения в SQL запросах и могут использоваться, например, для вычисления значения колонки, условий фильтрации в WHERE или как часть JOIN. Т.е. функции обычно включают в себя выполнение SELECT запросов, либо применение логических, математических функций с заданными параметрами. 🔎 Хранимая процедура включает в себя набор инструкций SQL, который сохранен под определенным именем и выполняется как единая операция. Хранимые процедуры могут принимать входные параметры, выполнять комплексные операции, включать логику управления потоком (например, условные конструкции IF и циклы LOOP), выполнять операции DML (create, insert, delete). ✏️ Сравнение функций и хранимых процедур: 1. Возвращаемые значения: - Функции: Всегда возвращают значение. Функция может возвращать одно значение (скалярное) или набор строк (таблицу). Возвращаемый тип данных должен быть указан при определении функции. - Хранимые процедуры: Не обязательно возвращают значения. В PostgreSQL, процедуры могут возвращать результат через выходные параметры (OUT), но они могут также быть использованы для выполнения операций без возвращения данных. 2. Вызов: - Функции: Могут вызываться внутри SELECT запросов, либо вызываться как результат самого запроса, например SELECT название_функции() - Хранимые процедуры: Вызов хранимой процедуры выполняется командой CALL название_процедуры() 3. Транзакции: - Функции: Обычно выполняются внутри транзакции вызывающего запроса и не могут управлять транзакциями самостоятельно (не могут выполнять команды COMMIT и ROLLBACK). - Хранимые процедуры: Могут включать команды управления транзакциями. Это позволяет процедурам выполнять несколько транзакций в рамках одного вызова. 4. Использование: - Функции: часто используются в запросах SQL как часть выражения в SELECT, WHERE или JOIN и для вычислений, которые требуют возвращения результата. - Хранимые процедуры: чаще используются для выполнения набора действий, которые могут включать несколько разных SQL операций, включая изменение схемы, обновление данных, управление пользователями и т. д. Статьи на эту тему: 📍 Функции и хранимые процедуры в SQL: зачем нужны и как применять в реальных примерах 📍Документация функций PostgreSQL 📍Документация процедур PostgreSQL 📍Stored Procedure vs Function in PostgreSQL

LTV, RFM, SQL Для кого-то — рандомный набор букв, но для Marketing Researcher — это почти вся жизнь ➡️ Если ты умеешь видеть за цифрами реальные причины и превращать выводы в действия, читай дальше. Нам нужен именно ты. Что предстоит делать: 🔵Запускать исследования и обеспечивать качество их результатов 🔵Разрабатывать брифы, опросы, тесты 🔵Анализировать данные и помогать продукту расти Что важно: 🔵Опыт работы в исследованиях от года 🔵Знание маркетинговых инструментов и метрик (LTV, CPA, CPM) 🔵Умение проводить опросы, сегментировать аудиторию и строить прогнозы Что даём взамен: 🔵Удалёнку и технику для работы 🔵Зарплату выше рынка 🔵Карьерный рост Твои идеи могут изменить продукт. Откликайся через @jobs1win_bot 📱

Ребят, кто-нибудь из вас ходит в Spirit фитнес на Технопарке? Можем вместе иногда ходить, мотивировать друг друга)

На практике в компаниях видел множество подходов по управлению BI направлением В одних компаниях предпочитают централизованный подход, где есть один BI инструмент и выделенные BI-аналитики и разработчики. В других компаниях встречается "зоопарк" BI решений, где практически каждый отдел имеет свой собственный стенд BI (Power BI, Tableau, Looker, Superset, Datalens ...), каждый поддерживает свои отчеты самостоятельно. При этом в каждом решении есть свои плюсы и минусы. Например, для централизованной BI-команды распространенный минус - ресурсы команды, чтобы обработать все входящие команде запросы уложиться в сроки заказчиков. А минус "зоопарка" - нет стандартизации, одни и те же метрики, отчеты, исследования могут быть сделаны по несколько раз в разных дашбордах и не сходится по выводам. Для поиска наиболее подходящего компании развития существует BI-стратегия, которой будут обучать на курсе Разработка BI стратегии 🔹Обучение подойдет лидерам и руководителям BI-направлений, и тех кто развивает аналитику в компании или только планирует запуск BI-проекта. 🔹В результате обучения вы разработаете собственный макет BI-стратегии — с учётом зрелости вашей организации, готовности пользователей и инструментального ландшафта. 🗓 Даты обучения: 18 июня - 11 июля 2025 11 онлайн-встреч в вечернее время с продолжительностью по 2 часа, чтобы сформировать подходящую вам BI-стратегию и приобрести этот ценный навык. Моим подписчикам авторы курса предлагают скидку 10% по промо "Data Study". Указывайте промо в комментарии к заявке на курс. Успевайте воспользоваться, пока есть возможность Разработка BI стратегии

Рефлексия с конференции Было несколько докладов, которые понравились по содержанию и подаче При этом они не технические, а больше про развитие в карьере и осмысление своей ценности как специалиста. Первый доклад от Виктора Кантор «Задачи, за решения которых платят и будут продолжать платить.» Отсылка в докладе в том числе была к тому, что у людей есть страх что нас вскоре всех заменит AI. Но это далеко не так. Но основные тезисы выделил для себя ниже такие 👇 1️⃣Сотрудник своей работой должен приносить прямую или косвенную ценность компании, которую можно измерить как правило в $ 2️⃣Чтобы сотрудник был ценен и получал грейд-ап, его ценность должна быть выше чем затраты на него в виде зп и других накладных Просто работать больше чтобы больше платили не получится, в ваших рабочих задачах должна быть ценность 🪙 Еще один доклад был непосредственно для аналитиков и их способ взаимодействия с бизнесом. Кто не в курсе IT и сам бизнес обычно разделяются внутри компаний, IT - это одна из функций бизнеса, которая позволяет ему существовать и развиваться. Из доклада Александра Кондрашкина «Команда как бизнес-партнер: как перейти от ТЗ к росту метрик» выделил следующие тезисы 1️⃣Аналитик - партнер для своих бизнес-заказчиков, а не тот кто бездумно пилит дашборды, крутит данные потому что «попросили». Аналитик не исполнитель, а помощник. 2️⃣У каждой задачи есть цель, которая влияет или не влияет на бизнес-результат. Не надо бездумно делать все задачи, нужно понять их ценность вместе с заказчиком прежде чем реализовать их. Кто был на конференции, какие вам доклады запомнились? Если не были на конференции, что думаете про эти тезисы? Близки они вам или нет? Поделитесь своими мыслями в комментариях 👇

Ну а с другой стороны зачем нужен AI если не будет картохи 🥔🍟 😁

Отметил ❤️ те доклады, которые хочу завтра послушать на конференции Кто захочет пообщаться, пишите в личку, буду рад новым знакомствам)

Сегодня буду слушать защиты итоговых проектов своих учеников на курсе Проекты реализованы по следующим шагам: - постановка цели и формулирование гипотез - получение исходных данных - очистка и предобработка данных - анализ и расчет метрик - визуализация и построение дашборда - выводы по результатам анализа исходя из поставленных целей По технологическому стеку: - python для получения данных и предобработки - база данных для формирования витрины данных, sql/python/bi для расчета метрик - BI инструмент для визуализации метрик и построения дашборда - документация в виде словаря данных, модели данных, S2T - весь проект публикуется в Github Бывает что ученики делают дополнительно работу по автоматизации парсинга, или написание своего телеграм-бота. В этот раз у нас есть проекты с ботом и проект где всю инфраструктуру также настроил ученик (на виртуальную машину установил базу данных и Apache Superset) После защит при согласии учеников буду подробнее рассказывать про проекты 👍

Устроиться аналитиком в Яндекс за выходные 7–8 июня проводим Weekend Offer Analytics. До 3 июня оставьте заявку на участие, 7 июня пройдите два технические собеседования, а 8 июня познакомьтесь с командами и получите офер. В мероприятии участвует 12 команд: Алиса и Умные устройства, Игры, R&D, Рекламные технологии, Поиск и Суперапп, Безопасность, Коммерческий департамент, Автономный транспорт, Ecom-сценарии Поиска, Качество Поиска, Международный Поиск, Карты. Вы сможете пообщаться с менеджерами и выбрать проект, который покажется самым интересным. Узнать подробности и зарегистрироваться можно здесь. Реклама. ООО "Яндекс". ИНН 7736207543

2,5 часа сейчас обсуждали статусную модель клиентов в рамках компании, но чтобы учесть все разнообразие разных продуктов и их продуктовых воронок. Какие целевые действия важно учитывать? Какую атрибуцию брать? Как на клиента смотреть в зависимости от уровня вся компания/конкретный продукт/период времени? Что в каждом продукте считается финальной услугой? Какие есть ограничения/исключения, которые стоит учесть? В общем со стороны задача кажется примитивной, но погружаясь в особенности компании, доступных данных, уже выстроенной аналитики, бизнесовых метрик и списка целей - задача становится супер комплексной. Изначально шли уточнить один вопрос по ad-hoc задаче, а диалог перешел в ценное обсуждение целой методологии на уровне компании. Только вышел из офиса, решил быстро записать свои мысли

🚩Рэд флаг компании куда точно не стоит идти работать Я считаю если на кухне нет огурчиков, помидорчиков и зелени, то компания не стоит того чтобы вы там работали 😂 Шутка, главное чтобы вам нравилось, можно вообще без офиса обойтись)

Если ты работаешь в IT, но чувствуешь, что это всё х**ня Бывает так, что ты вроде всё правильно делаешь — а внутри пусто. Карьера идёт, деньги идут, а ты как будто теряешь себя. Глеб — бывший дата саентист. Сейчас он пишет посты, строит бизнес, страдает, рефлексирует и делает из всего этого контент. Это не мотивационный канал. Это жизненный сериал одного айтишника, который ушёл из найма и начал искать себя в свободе. На канале: – правдивые истории о провале и росте; – мысли про смысл, деньги, одиночество; – шутки, слёзы и немного нежности. 3 поста, которые тебя разнесут: 👉 7 лет отсидки (https://t.me/mikhaylovgleb/336) (в офисе) 👉 Страшно – пи***ц (https://t.me/mikhaylovgleb/302) 👉 Робот-пылесос для денег (https://t.me/mikhaylovgleb/347) Подписывайся - https://t.me/mikhaylovgleb/282, если хочешь перестать делать вид, что тебе норм. Реклама

Сегодня Ваня, аналитик из моей команды, отработал свой последний день в Сравни. Очень рад был работать с ним, он практически ровно год назад пришел к нам на стажировку, обучаясь при это только на 2-м курсе университета на тот момент. За год совместно всей командой сделали огромный пласт работы, очень ценю вклад каждого из ребят. Очень грустно всегда прощаться с людьми, особенно когда уходят твои коллеги из команды. Для меня это первый опыт именно в позиции руководителя. Но к счастью, это нормальный процесс дальнейшего профессионального роста. Отправляем Ваню дальше развиваться в сфере анализа данных на позиции DS и желаем ему успехов в этом!

Делюсь ресурсом для изучения SQL, а по ссылке можно скачать шпаргалки по sql: по JOIN, оконным функциям, стандартным функциям работы - https://learnsql.com/tags/cheat-sheet/ Или взять обобщенную по анализу данных с самыми простыми примерами работы с данными