Детектив данных

Вчера нейросеть помогала собрать выгрузку. Сегодня ее уже подключают к Airflow и дают запускать задачи Для аналитиков это пока звучит далеко. Но тема быстро приходит к тем, кто пишет SQL и небольшие пайплайны вместе с агентом. Главный вопрос — как не дать ему сойти с рельсов. Как это выглядит на уровне платформы, покажут 20 октября в 19:00 мск на бесплатном вебинаре karpovꓸcourses «Инженер данных в эпоху ИИ-агентов: как держать пайплайны под контролем». Разберут, почему агент с широкими правами делает неверное. Покажут проверки, которые работают надежнее, чем текстовая инструкция: правила кластера Airflow, контракты на данные. На примере Airflow Cluster Policies — как централизованно проверять задачи до запуска. Отдельно — что нового в Airflow 3.1 под работу с агентами. Ведет Михаил Онянов, ведущий разработчик MAGNITꓸTECH и магистр ИТМО. Присоединяйтесь к вебинару по ссылке: https://clc.to/erid_2W5zFGzRwSH   Всем участникам — карьерный гид в сфере данных и запись эфира. Реклама. ООО «КАРПОВ КУРСЫ». ИНН 7811764627. erid: 2W5zFGzRwSH 

Не хочу заваливать вас отпускными фотографиями из Сербии и Черногории, но не поделиться видео из этого места считаю преступлением. Крепость Голубац, Сербия.

Собираю виш лист на ДР. Через лет 20...

Айтишники, горит вакансия ❗️

Позиция: Дата-аналитик Компания: Aviasales Зарплата: 200,000-350,000₽

И вот вроде смотришь на такие вакансии и думаешь: «А может, попробовать?» А потом открываешь требования — и внутренний голос уже где-то на фоне: «не вывезу, скиллов не хватит, на техничке разнесут» 🫠 Знакомо? Тогда принесла вам канал коллеги-аналитика Вани. Он сам работал продуктовым аналитиком в крупных компаниях, а теперь пишет про то, как готовиться к собеседованиям и получать сильные офферы. Из полезного у него есть: - Как уверенно проходить собеседования? [Полный гайд] - Какие ошибки не позволяют тебе получать офферы от 250,000₽? [Читать] - Разборы задач с ваших будущих собеседований [Открыть] Короче, если вы как раз доросли до момента «хочу 250к+, но страшно идти проверять себя об рынок» — я бы заглянула 👀 А новым подписчикам Ваня ещё даёт бесплатную консультацию, где можно разобрать свою ситуацию. Заглянуть в DeMent0r Analyst 👇⁠

Ну а пока нет ссылки на линк, держите немножко балканской природы)

Да я легко зарегистрируюсь на линке. Тем временем линкедин... Короче как я понял новичков тут не жалуют...) В общем ссылку не даю пока, а то забанят. И не подписываюсь. Активно

А тем временем небольшая смена локации. Отпуск как никак 😁

Куда движется профессия аналитика в эпоху AI? 26 сентября Яндекс проводит Data Driven — юбилейную, десятую конференцию для аналитиков. Расследование ведём вместе: два трека докладов разберут, какие AI-инструменты реально экономят время, как генеративный AI меняет работу с данными и что вообще ждёт профессию дальше. Среди свидетелей — то есть спикеров — Роман Халкечев (CDO Поисковых сервисов и ИИ Яндекса) — расскажет о том, как AI меняет способ принятия решений в компании и трансформирует профессии аналитика и дата инженера; Олег Хомюк (CDO Яндекс Поиска) покажет, как объективно измерить качество работы агентов и инфраструктуры AI-ready-данных; и Александр Самусенко (CDO Alice AI и Умных устройств) поделится, как выстраивать аналитику под эффективное использование AI-инструментов. Дело дополнят: стенды с экспертами, Random Coffee с топовыми аналитиками, разбор резюме и вечерний афтерпати с музыкой и IT stand-up от аналитиков. Место проведения: Москва + онлайн, 26 сентября. 🕵Явка обязательна — регистрируйтесь по ссылке Новости конференции

🕵 Всем привет. Ох, как я люблю подобные письма. Вычислят напрямую или по ответам. В какую анонимность играем?✨ Помню на одной из прошлых работ (не буду показывать пальцем на гос службу), подобные анонимные опросы заполнялись от руки и сдавались руководителю. Оставалось только дописать ФИО. Искренне убеждён, что любой анонимный опрос никогда не будет анонимным. Для начинающих участников корпоративного мира - просто знайте - никогда не пишите ничего, что вы не можете озвучить в реальности, но лучший вариант - максимальные оценки всего и вся. 🧑‍💻Отщёлкались и спокойно работаем дальше.

Между запросом и выводом — четыре шага, о которых редко пишут Курс по SQL заканчивается на моменте, когда запрос собран и таблица подтянулась. А работа продуктового аналитика с этого места и начинается: договориться с заказчиком, проверить данные, обойти ошибки в расчете, собрать вывод. Именно этот кусок пути разбирают на бесплатном вебинаре karpovꓸcourses 25 августа. Пройдут его на реальных примерах: — какие вопросы задать до запроса, чтобы выгрузка отвечала на задачу; — как проверить данные после и поймать то, что SQL не подсвечивает; — какие типовые ловушки прячутся в расчетах; — как превратить таблицу в вывод, к которому у заказчика не остается лишних вопросов. Ведет Дмитрий Бакаев — продуктовый аналитик в «Передовых Платежных Решениях» и выпускник курса «Аналитик данных» karpovꓸcourses. В эфире можно задать ему вопросы про продуктовую аналитику и путь в профессию. За регистрацию сразу приходит карьерный гайд по профессиям в аналитике, после эфира — запись вебинара Регистрируйтесь по ссылке — https://clc.to/erid_2W5zFJkiMiq    Реклама. ООО «КАРПОВ КУРСЫ». ИНН 7811764627. erid: 2W5zFJkiMiq 

🕵 Когда начал пользоваться Жирой и уже на опыте планировать свои задачи...

🕵 всем доброго понедельника. Давно не писал, работа тихо спокойно, жизнь тоже. Решил поделиться способом решения одной из рабочих задач. 😵 Достался мне по наследству один из отчётов. Большой не очень красивый, тяжёлый многоэксельный, и довольно полезный для бизнеса. Вроде все автоматизированно, через питон скрипт, но занимает много ресурсов и отвлекает от другой работы. 💸 И в один прекрасный день ты признаешься себе, что отчёт можно ускорить, сделать более удобным и добавить функционал и вообще перенести в bi систему, в моем случае на fine bi. 👿 Самое страшное, на самом деле начать и разобраться в чужом коде (по понедельникам и в своем коде страшно разобраться). Для помощи себе в этом нелёгком деле решил первый раз попробовать доску (рандомной доской оказалось МТС). Можно постепенно идти по коду разбираясь что там происходит, в итоге понимая что скрипт то на самом деле белый и пушистый, что можно ускорить и переделать и наконец то сказать что этот отчёт становится не переданным по наследству а твоим детищем ) 👍 В целом пост про доски. Какими пользуетесь. Используете только на работе или в жизни? Какие сценарии? 🧚‍♀️ В первом комментарии приложу файл в более высоком качестве, может кому нибудь и начинающих будет интересно как это примерно выглядит в реальных задачах

🕵 Всем привет, что-то я давно тут не писал. Чуть стрессую, депрессую, и вроде как даже встретил свою первую паническую Натаху.👾 Наткнулся тут на информацию о чудесной визе цифрового кочевника.🧑‍💻 Я конечно не кочевник, да и не супер путешественник (детям нужна оседлость), но инфа то в целом интересная: 3 года шенгена, без налогов и обязательного проживания. Условия – доход 💰 (найм/ИП) + накопления, стаж удалённой работы (от трёх лет) / высшее образование по профессии. Суть, что страна принимает тебя, при учёте, что ты не будешь забирать рабочие места у местных, имеешь удалённый доход в среднем от 2-3 минимальных зарплат И вроде всё классно, начал изучать документы на сбор, есть нюансы но в целом они решаемы. Но всегда есть НО 🎁, и часть из них связанна непосредственно с работодателем От работодателя нужно два документа 1.       Справка подтверждение о том, что работодатель не против что ты работаешь с территории конкретной страны удалённо. 2.       Приказ об отправлении тебя в длительную командировку за свой счёт (3-5 лет) нужен для Соц. Фонда РФ – чтобы получить «свидетельство об отъезде», о том что работодатель делает взносы в сфр и продолжает их платить на всё время твоей командировки. Есть даже действующие договора между странами которые регулируют вопрос соц взносов. Но в современных реалиях не каждая компания, в том числе и моя, да и как я понял все бигтехи не готовы давать полную официальную удалёнку, а особенно из «недружественных 48 стран». 🔍 Сталкивались ли вы с этим, может кто получал кочевника в найме, или имеют офисы в других странах, или же все вокруг ушли на ИП, а один я тут сижу) 

Ты узнаешь его из тысячи…. по юморным постам/ по леопарду/ по таблиське Человек, который познал и зимовки на райских островах (не без происшествий🏍), и собесы в Яндекс, и суровую офисную жизу, и теперь с юмором обо всём этом рассказывает нам! ⭐️ Да-да, встречайте, тот самый Глеб Михайлов! Надо сказать, что его тг-канал особенный: один раз увидишь — не забудешь никогда. Вот самые сочные посты, которые достойны вашего внимания: ⚡️ главная ошибка в обучении Data Science ⚡️ топ-8 примеров как НЕПРАВИЛЬНО обучают алгоритмам ⚡️ редфлаги офисного кореша😀🚩 ⚫️Подпишись для хорошего настроения и рабочих лайфхаков: @mikhaylovgleb Реклама: ИП Михайлов Глеб Михайлович, ИНН 500125076224, erid: 2Vtzqwxt9jM

🕵 Кстати залил библиотеку на гит, теперь я как программист Чтобы воспользоваться , просто установите её в своем проекте:

# Сначала устанавливаем библиотеку 
%pip install git+https://github.com/detective-data/detective.git

# Затем вызываем  
from detective import det_sum
import pandas as pd

# и можем пользоваться 
# det_sum(ваш датафрейм без кавычек, "названия столбца для наблюдения в кавычках")
df = pd.DataFrame({'sales': [4553425552384.01]})
det_sum(df, "sales")

😁 В целом эту идею можно развивать, и добавлять ещё какие нибудь функции для наблюдения за данными. Ну чтож, будем думать )

Каждый раз слышу одно и то же: искусственный интеллект «заменит людей». На деле — он усиливает тех, кто умеет им пользоваться. Разрыв уже растёт не в знаниях, а между теми, кто работает с ИИ, и теми, кто его игнорирует. Это уже базовый уровень 💪🏻 Собрал папку с экспертами по ИИ — там практика и реальные инструменты: 👉 ссылка на папку ✅ доступ 48 часов

Сидеть и работать в корпорации — страшно, жизнь-то мимо проходит. Уходить строить бизнес — страшно, а вдруг прогорит. Один из вариантов — разрабатывать свой пет-проект по вечерам. Многие успешные компании, например, Twitter, создавались именно так. Это не значит, что ваш проект обязательно заработает миллиарды, но заработать больше, чем в найме, и получить ценный опыт — вполне реально. Перед началом разработки появляется множество вопросов, например: – Как выбрать идею для пет-проекта? – Что нужно знать про маркетинг? – Как запуститься и довести до первых продаж не имея бюджета на рекламу? В телеграм-канале «Твой пет проект», Михаил Табунов делится своим опытом с разработчиками и менеджерами. Он рассказывает, где искать идею для нового проекта, что нужно знать о маркетинге, как запустить стартап и привлечь первых 10 клиентов, а также о многих других важных вещах. Подписывайтесь на «Твой пет проект», получайте пользу от практиков рынка!

🎉 Результаты розыгрыша: 🏆 Победители: 1. Никита (@nick_phys_study) 2. Виктория (@analytics_girl) 3. Дмитрий (@catdem) 4. Natali (@ANatalid) 5. Неля (@NelyaNik) ✔️Проверить результаты

✨ А на канале прибавилось ещё 500 человек, а вы молчите) 💥 Спасибо что вы со мной!       В этот раз для розыгрыша, решил добавить небольшой детектив (сколько можно учить питон?) и уникальный лот - детская книга по визуализации данных с пожеланием от автора книги (помните я был в день на конкурсе) Итоги розыгрыша будут подведены автоматически через сутки. Будет выбрано пять победителей: каждый победитель в порядке очередности выберет себе любую книгу . Если по какой-либо причине победитель откажется от приза, или не выйдет на связь в течении суток - книга будет разыграна среди подписчиков, оставивших любой комментарий к предыдущему посту.  Посылка будет отправлена ТК СДЭК. Никаких оплат не потребуется    Ещё раз спасибо всем! 🙏  Жмём на кнопку!!! И через пару дней забираем книгу!