Мир аналитика данных

Наверное, многие слышали о том, как сложно поступить в ШАД (Школу анализа данных Яндекса). Это бесплатная двухгодичная программа для студентов и разработчиков, стремящихся стать ведущими специалистами в Data Science. Но знаете ли вы, что есть те, кто готовят к поступлению в ШАД? Это Shad Helper! @shadhelper Мы в Shad Helper помогаем студентам подготовиться к поступлению в Школу анализа данных Яндекса, магистратуру по анализу данных и собеседованиям. В нашей школе в основном ведутся занятия по высшей математике и программированию. Занятия ведут настоящие эксперты: кандидаты и доктора наук из МГУ, МФТИ и ВШЭ. Старт нового потока – 1 июля 2024 года! Основные моменты курса: ❌ Старт: 1 июля ❌Длительность: 10 месяцев ❌Оплата: 5999 рублей в неделю (оплата еженедельная, можно прекратить обучение в любой момент) ❌Формат: Все занятия проходят онлайн ❌Преподаватели: Кандидаты и доктора наук из МГУ, МФТИ, ВШЭ ❌Бонусы: Система скидок за хорошую успеваемость, умный чат-бот для студентов на базе GPT-4, регулярные персонализированные домашние задания Используйте промокод ANALYSTSWORLD и получите скидку 50% на первоначальный взнос! Для этого переходите по ссылке и присоединяйтесь: shadhelper.com/shad?utm_source=telegram&utm_medium=analysts_world Реклама. ООО «ШВМ». ИНН 9728100991. Erid:2VtzqumWFDz

💬 Консультируя людей, я часто слышу вопрос: "Какой курс выбрать для перехода в IT?" Хочу поделиться своими рекомендациями так как многие люди тратят деньги и время на неподходящие курсы, которые не приносят желаемых результатов. 1️⃣ Избегайте длинных годовых курсов без соответствующего бэкграунда: ❌ Если у вас нет опыта в IT, выбирайте краткосрочные и целенаправленные курсы. Годовые программы могут быть пустой тратой времени и денег. ❌ Работодатели не всегда обращают внимание на ваши курсы, особенно если они не соответствуют вашему предыдущему опыту. 2️⃣Рассмотрите ваш текущий опыт и его применимость: ❌Если вы находитесь в декрете, долго не работали или работаете в областях, не связанных с IT (медицина, юриспруденция, наука, морская индустрия, консалтинг и т.д.), начните с основ. ❌Например, если вы не работали хотя бы с Excel, ваш путь в IT должен начинаться с базовых знаний. ➡️ Как проверить свою гипотезу? Создайте тестовое резюме. ❌Включите в него тот курс, который вы планируете пройти, и посмотрите на отклики работодателей. ❌Если интереса нет, то, вероятно, пройдя курс, вы не получите ожидаемого эффекта и ваше резюме останется незамеченным. 3️⃣С чего начать: ❗Изучите Excel и SQL: ❌Много бесплатных курсов доступно онлайн. Начните с основ и поймите, нравится ли вам это направление. ❌Попробуйте откликаться на вакансии, требующие знания Excel. Если будет упоминание SQL — это плюс. ❗Поиск вакансий начального уровня: ❌Ищите вакансии, где требуется аналитическая работа: сбор данных, работа с таблицами и т.д. ❌Это может быть аналитик в отделе продаж, помощник для маркетплейса, координатор онлайн-школы — любые должности, требующие знаний Excel. ❗Доступ к базам данных: ❌Работая в этих должностях, стремитесь получить доступ к базам данных и попрактиковаться с SQL-запросами. Постепенное освоение навыков значительно повысит ваши шансы на успешное трудоустройство! А уже с приобретением опыта вы сможете продвигаться дальше и продолжать развивать свои способности. Удачи! 🚀📈😊

🔈Мне написали из Центра научной коммуникации Университета ИТМО и попросили выложить пост с опросом. Дело полезное и нужное, так что выкладываю. Центр научной коммуникации Университета ИТМО проводит анализ профессионального сообщества ML- и DS-специалистов в России. Мы хотим узнать больше о том, как устроена профессиональная коммуникация в вашей сфере, кого вы считаете лидерами рынка на данный момент. Ваше участие поможет нам сформировать полную картину современного состояния индустрии. Мы гарантируем полную анонимность и конфиденциальность ваших ответов. Опрос займет не более 10 минут вашего времени. Ссылка на анкету: https://forms.gle/dHRsqQJteuty51Bp7 p.s. Я погуглила университет. Оказалось, что это национальный исследовательский университет, основанный в 1900 в Санкт-Петербурге. Это вам не игры. Тут все серьезно. Таким помогать - одно удовольствие. 💪

Хочу поделиться с вами возможностями🙌🏻 Ребята из Analytic Workspace (российская BI-платформа) проводят конкурс дашбордов. Участников ждёт: ⚡️призовой фонд 120 000 р.; крутые подарки от партнёров; ⚡️+1 кейс в портфолио, работать будем с датасетами от VK Cloud, Aviasales, ДОДО и не только; ⚡️в экспертном жюри HR-специалисты компаний-партнёров, кто хочет сменить место работы, проект или просто в поисках — есть возможность попасть на собес и получить оффер. Давайте участвовать! ☝🏻Кто только вначале своего BI-пути — прокачаете навыки визуализации, получите кейс в портфолио, ваш дашик прожарят эксперты. А кто давно в BI — освежите взгляд, посмотрите, что предлагают новички. Участие бесплатное. Ссылка на регистрацию. *Конкурсные работы принимаются до 6 июля включительно. Реклама. Рекламодатель ИП Кравченко С.П. ИНН: 2302123380020

🎉 Сохраняем порядок строк при объединении датафреймов в Pandas! 🎉 Привет, друзья! Сегодня я расскажу вам, как правильно объединить два датафрейма и при этом сохранить порядок строк первого! 🧩⬇️ 👉 Для этого мы используем df.index, чтобы порядок строк из первого датафрейма оставался неизменным, а из второго добавляем нужные данные. 💼📈 📄 Пример кода: Набросаю пару таблиц, на которых будем экспериментировать.

import pandas as pd

# Первый df
df1 = pd.DataFrame({
    'account_id': [1, 2, 1, 3, 4],
    'value_df1': [10, 20, 30, 40, 50]
})

# Второй df
df2 = pd.DataFrame({
    'account_id': [1, 2, 3, 5],
    'value_df2': ['1 from df2', 
                  '2 from df2', 
                  '3 from df2',
                  '5 from df2']
})

Добавим индексный столбец к исходному датафрейму.

df1['original_index'] = df1.index

Объединяем датафреймы:

df_merged = pd.merge(df1, df2, on='account_id', how='outer')

Видим, что строки левой таблицы идут сначала не в нужном нам порядке. Сортируем по исходному индексу:

df_merged = df_merged.sort_values(by='original_index').reset_index(drop=True)

Удаляем вспомогательный индексный столбец, если он больше не нужен

df_final = df_merged.drop(columns=['original_index'])

🔍 И получаем результат: df_final. Смотрим картинку с поэтапным процессом. Специально разбито все по частям, чтобы отследить результат. С помощью этих шагов мы сохраняем порядок строк из первого датафрейма и добавляем нужные данные из второго. 🚀✨

📊 Новая Задачка с Работы Недавно столкнулась с интересной задачей. У каждого клиента client_id есть параметр - подсчет чего-либо. Назовем эту колонку count. ✅ Быстренько создадим датафремчик с примером:

import pandas as pd

data = {
    "client_id": [111, 222, 111, 333, 333, 444, 444],
    "info": ['AAA', 'AAA', 'BBB', 'CCC', 'DDD', 'DDD', 'EEE'],
    "count": [10, 1, 9, 8, 6, 0, 1]
}

df = pd.DataFrame(data)

🎯Нужно для каждого клиента найти максимальное значение в колонке count с помощью метода idxmax. Казалось бы, можно использовать просто max(), но есть нюансы. ✅Группировка и нахождение индексов с максимальным значением. Группируем по client_id и находим строки с максимальным значением count для каждой группы (client_id).

idx = df.groupby('client_id')['count'].idxmax()

✅Фильтрация: Используем эти индексы для фильтрации исходного DataFrame, оставляя только строки с максимальными значениями count для каждого client_id.

df_filtered = df.loc[idx] #выбирает строки по индексам из idx.

Результат - df_filtered видим на картинке. ❓ А теперь поясню про вариант с max(): Да, задачу можно решить с помощью функции max() при группировке. Этот подход подходит для нахождения максимального значения count для каждого клиента, но не возвращает строку полностью! А мне нужно было видеть всю инфу по строке, так как там много колонок было.

df.groupby('client_id',as_index=False)['count'].max()

Эта строчка кода вернет только две колонки: client_id и count Смоделируем бизнес ситуацию, где такое можно было бы использовать: 🛍 Вы работаете в розничной сети, которая имеет программу лояльности для своих клиентов 🛍. Клиенты могут иметь несколько аккаунтов (например, основной аккаунт и семейные аккаунты). В каждом аккаунте фиксируется активность клиента (покупки, участие в акциях и т.д.). Вам необходимо анализировать наиболее активные аккаунты для предоставления специальных предложений и акций. Вот такой интересный случай из практики 🤪

✅ Всем привет! Я участвую в классной инициативе с другими аналитическими каналами! 📊 Андрон из Simulative обратился ко мне с предложением добавить этот канал в специальную папку. Всего участвуют 15 каналов, где эксперты делятся своим опытом и знаниями. На большинство из них я уже была подписана, поэтому сразу согласилась. Здесь представлены каналы про Data Science, «хардовые» советы для аналитиков 🖥, каналы о развитии софт-скиллов 🌟, а также каналы про визуализацию. 📈 То, что в подборке есть каналы Бабушкина и Михайлова, уже говорит о многом. Эти ребята действительно крутые! 💪 Ссылка на папку: https://t.me/addlist/dMeiok8FCdA3ZTMy Мне для обзора выпал канал Юрия Борзило https://t.me/y_borzilo, который я давно знаю и очень рекомендую всем, кто интересуется аналитикой! Юра – действующий продуктовый аналитик, и у него много информации про А/Б тесты. Вот подборка его постов про А/Б тесты за год: https://t.me/y_borzilo/477 Признавайтесь, у кого есть опыт A/Б тестов? В одном из постов Юра писал о двух крайностях: 1️⃣ Давайте ничего не будем АБ тестировать. 2️⃣Давайте АБ тестировать вообще все. Как всегда, нужна золотая середина. Сам по себе этот инструмент не хороший и не плохой, но у него есть ряд ограничений, которые надо учитывать при применении. Сейчас так много информации, что учиться и совершенствовать свои навыки стало проще, чем когда-либо. Правда, со временем всё так же сложно 😂

🤖 У нас теперь есть бот для анонимных сообщений! Если у вас есть вопросы или что-то, чем вы хотите поделиться, но не хотите раскрывать свою личность, просто напишите боту. Я постараюсь честно ответить (если это не будет под NDA) или как-то прокомментирую. 🗝 Пишите сюда: t.me/anonaskbot?start=UwPGvL1G1RVzcgu У меня много кода в блоге, но иногда хочется и порассуждать. 🤪

🥳 Ребята сделали крутой курс по API и проектированию архитектуры! Этот курс уникален, потому что содержит тщательно собранную информацию, которую сложно найти в одном месте. В нем объединили все, что нужно знать об API, SDK, WEB-сервисах, TCP/IP, JSON, HTTP, GraphQL, gRPC, микросервисах, сериализации данных, Proto, концепциях REST, архитектуре, stateless, кешировании и брокерах сообщений. 💡Это настоящий кладезь знаний о веб-архитектуре! Отзывы о курсе положительные, а цена вполне доступная. У меня для вас есть специальный промокод на скидку 1200 рублей! Используйте код ANALYSTSWORLD и приобретайте любую версию курса по сниженной цене. Акция действует до 1 сентября этого года 🔥 Есть три версии: Курс «Проектирование архитектуры и интеграций сервисов» (без ОС) https://stepik.org/a/175243 Курс «Проектирование архитектуры и интеграций сервисов (с проверкой)" https://stepik.org/a/176504?utm_medium=tg Курс "Проектирование архитектуры и интеграций сервисов (полный тариф)" https://stepik.org/a/170591?utm_medium=tg 👇Шаги для покупки курса: 1️⃣авторизоваться на платформе Stepik 2️⃣перейти по ссылке 3️⃣перед покупкой ввести промокод 4️⃣совершить покупку Авторы курса в своем канале пишут как заработать от 100 000 руб. специалисту по интеграции API на фрилансе! Друзья, в нем 15 модулей с теорией, видео и практикой - это мощно. 💪

Мы собрали для вас крутую папку с каналами о данных 📊! Там кроме меня еще четверо. Авторы делятся своим опытом и интересным контентом. 📚 Эта подборка – настоящий кладезь знаний и пул мудростей 🌟 Возможно, вы уже подписаны на некоторые каналы из этого списка. Но теперь у вас есть отличная возможность расширить свою коллекцию Telegram-каналов! Хороших каналов много не бывает! 🚀💡