Аналитика данных / Data Study

Удалось заснять гнездо с птенцом, остановился в итоге минут 5 наблюдал за их жизнью. Увидел как прилетела вторая птица и принесла еду, и все это прямо в городе, стоит только голову поднять 😍

Делюсь подборкой фильмов на праздничные дни, которые недавно посмотрел и от которых становится не по себе от тяжести исторических событий. 📍Освобождение 📍Крик Тишины 📍Что скрывает Ирен 📍Сопротивление 📍Уроки Фарси 📍Война под землей 📍Красавица Поздравляю всех с Днём Победы, сильный но в то же время тяжелый на эмоции день. Это достижение и подвиг наших предков, который нужно ценить, абстрагируясь от всего что происходит в современном мире и не приплетая к этому дню никаких больше событий 🎗️

Всех с пятницей 😉

Часто спрашиваете когда будет следующий набор в группу курса «Продвинутый SQL и автоматизация витрин данных» Следующая группа стартует обучение 8 июня! Записываться нужно уже сейчас, потом будет поздно. Для этого делаем 3 простых шага 1️⃣ Посмотреть это видео 2️⃣ Изучить сайт с программой, форматом и тарифами 3️⃣ Оставить заявку на обучение в группе После этого я свяжусь с тобой лично, чтобы спросить про опыт и цель обучения. Если курс подходит чтобы достичь твоих целей, оплачиваешь и попадаешь в группу, чтобы 1.5 месяца активно работать и впитывать материалы как губка

Почему важно учитывать Timezone в SQL запросах Покажу на наглядном и реальном примере. У нас есть дата и время в UNIX-формате, которое выглядит изначально как целое число: 1776373200 А теперь представляем, я подготовил данные для дашборда, написал SQL-запрос и пошел создавать отчет. Запрос один и тот же, но стоит его запустить в разных местах и можно получить разные даты. Мой запрос SELECT to_timestamp(1776373200) AS dt, (to_timestamp(1776373200) AT TIME ZONE 'UTC') AS dt_utc, (to_timestamp(1776373200) AT TIME ZONE 'Europe/Moscow') AS dt_msk 1-й скрин показывает результат когда пишу запрос в DBeaver. 2-й скрин когда тот же самый запрос запускаю в Datalens под созданием датасета. В поле dt разные даты! Почему так получается? Это не ошибка, а разница часовых поясов, который в случае запуска в DBeaver учитывает мой текущий часовой пояс, а в случае запуска в Datalens дата и время отображаются в UTC. Если оставить запрос как есть в поле dt мы получим расхождение и неправильные метрики в отчете и в базе данных просто потому, что будем как-будто работать в разных часовых поясах. Поэтому важно приводить все временные поля к одному единому часовому поясу, а в запросах лучше указывать его в явном виде, чтобы он не зависел от системных настроек сервера. Ну и не забываем что поля с датами могут сравниваться между собой и также важно чтобы сравниваемые даты были в одном часовом поясе Ставьте реакции, если теперь будете думать про таймзоны 😉

В прошлом году в апреле ездили в Грузию и я тогда в рамках нового увлечения снимал наши дни в формате влога - ходили на индивидуальную экскурсию с гидом по Тбилиси - ездили на винодельни Кахетии - много гуляли, изучали колориты страны и местной кухни 🌟🥟🌚 Мне кажется я здесь еще писал историю как мы пропустили свой обратный самолет ✈️ и узнали об этом, поедая вкусное мороженое в парке 😂 Нам перенесли рейс на несколько часов раньше, а мы этого не заметили, в итоге подарили себе еще сутки в Грузии Руки дошли собрать наш трип в видео, которое можно посмотреть по ссылке ниже) 💙 Влог из Грузии 🔴 Влог из Грузии

У меня для вас отличные новости - коллаб года! С моей женой))) Полина активно набирает ортодонтических пациентов - проводит лечение на брекетах и элайнерах. Сейчас есть уникальная возможность пройти лечение по себестоимости (это в 2-3 раза ниже рынка на минуточку). В лечении используются только топовые американские системы Damon и H4 и самые современные протоколы лечения. Консультация бесплатная, на ней проведут полноценную диагностику по прикусу и по общему состоянию зубов. Прием проходит в клинике по адресу: 📍 Москва, Варшавское шоссе 72.2.

💝 Приятный бонус к вашему лечению - индивидуальная консультация со мной по теме аналитики данных и карьере 😉

Для записи пишите мне лично @daniildzheparov (дальше контакт передам Полине)

Такие вот у нас новости в домовом чате от управляющей компании 😂 Педальки поставили и целый инфоповод создали. А у меня инфоповод рассказать о том что они рассказали) Вот кстати шутки шутками, но выбрасывать мусор не выходя на улицу - кайф, за это респект 👍 (все на уровне подземного паркинга оборудовано)

Такая маленькая деталь, но такая важная 🧐 Пояснения кто не знаком с SQL В SQL запросы отделяются через точку с запятой «;» И если посмотреть на запрос выше, то после первой строки запроса поставили лишнюю точку с запятой, что отделило условие удаления строки по конкретному client_id и запрос запустился как просто удаление всех данных из таблицы client_data

23 апреля в Санкт-Петербурге пройдет вечерний митап для аналитиков — Analytics Party. Присоединяйтесь, чтобы вместе с экспертами поговорить о решениях сложных продуктовых и исследовательских задач — от оценки безопасности автопилота до экспериментов без A/B-тестов. В программе докладов: — «Сакральные тайны сбора датасетов для симуляции автономного транспорта». Елмурат Темиргалиев (команда автономного транспорта, Яндекс) расскажет, как они объединяют реальные и синтетические данные, чтобы получать доверительные выводы о безопасности. — «На что способны ИИ-агенты в аналитике». Иван Меренков (Data AI Lab, Яндекс) покажет, как собрать систему из ИИ-агентов под свои задачи. — «Propensity score matching: как строить аналоги A/B-тестов, когда эксперименты невозможны». Николай Олигеров (Яндекс Путешествия) разберет статистический метод Propensity Score Matching. Зарегистрироваться и посмотреть полную программу выступлений можно на сайте.

Тем кто в поиске работы Увидел в рилсе свежий сервис huntee.ru Посмотрел их Roadmap развития, ребята предлагают сервис с автоматизацией поиска релевантных вакансий с помощь AI. Дальше завезут приложение, генерацию сопроводительных писем. В общем уже пришли к тому что поиском работы и наймом с обеих сторон занимаются ИИ-помощники (составляют резюме, откликаются, отбирают кандидатов, проводят скрининги). Следующий шаг это когда тебя без твоего же участия устроят на работу, а ты только потом на этапе выполнения задач подключаешься. А еще лучше на этапе траты зарплаты 😂 Можете посмотреть сервис, попробовать, может вакансий есть больше чем на других площадках или какие-то фишки новые есть. Ну вот цифра 653 источника вакансий кажется завышенной, если только они каждого рекрутера как отдельный источник не считают, кто вакансии может публиковать 😁

И грустно и смешно) Почему-то некоторые люди с такой уверенностью идут в «аналитики данных» первым делом изучая Excel. Это разный масштаб работы с данными. Excel - выгрузку небольшую сделать, чтобы поделиться с коллегами. Сводную построить, прикинуть какой-нибудь план, накидать формул и посмотреть что по цифрам получается. Это удобный калькулятор в табличном виде. Но он загибается уже от объема ~1 Гб данных и просто не может работать нормально. Поэтому ни о какой нормальной системе аналитики, операционной отчетности, управления и менеджмента данных, data-driven подхода на Excel речи быть не может. Посмотрите на вакансии нормальных компаний и увидите что как правило там даже упоминания об Excel нет на должности аналитиков данных, аналитиков-инженеров. Если работа в Excel это ваша основная обязанность как аналитика данных в компании - бегите оттуда, никакого роста там не получите и просто утоните в болоте скучных задач. Сейчас так много бесплатных open source инструментов, что отговорка компании «у нас нет денег на нормальный BI, поэтому у нас отчетность в Excel» звучит максимально бредово. Скорее нет компетенций и нет денег на нормального аналитика, который может реализовать такие решения

Сегодня последний день когда можно записаться в группу и пройти обучение на курсе «Продвинутый SQL и автоматизация витрин данных»

Это «удочка», чтобы наловить много «золотых рыб». Без метафор это твердый инструментарий, чтобы делать более сложную работу с данными качественно и получать больше 💰

Запись на сайте https://datastudy.ru/

Работа индексов в базах данных, как результат ускорение запросов данных в 3 раза 🏎️

Я уже вам писал про Data Fusion, крупнейшую экспертную конференцию по работе с данными и ИИ-технологиями Вчера посетил множество интересных докладов и дискуссий, успел пообщаться со знакомыми и подписчиками (было приятно 😉) и даже встретил своего научного руководителя с магистратуры. На площадке была атмосфера, где представители науки, технологий, бизнеса и государства встретились обсудить вопросы эффективной работы с данными через применение ИИ и языковых моделей для разных целей: от цифровых помощников для директоров по составлению и оптимизации графика сотрудников в крупных торговых сетках, до кластеризации и обработки сотен тысяч обращений людей в Правительство с назначением ответственных по ним в правильном гос. органе. После конференции пришел домой и увидел запись планерной дискуссии про переход в «Бигданность» и как это влияет на нас с вами. Посмотреть можно здесь https://vkvideo.ru/video-214144682_456239274

Записал 3-минутное видео про процесс обучения построению и автоматизации витрин данных Смотрим здесь Для тебя, если хочешь: 📍самостоятельно реализовывать аналитические задачи и отчетность "под ключ" 📍научиться писать и оптимизировать комплексные SQL запросы 📍использовать Python для автоматизации широкого спектра задач 📍систематизировать знания в работе с DWH и ETL 📍расти профессионально и финансово Осталось 4 места, запись в группу 13 апреля на сайте https://datastudy.ru

Почему на собеседованиях проводят live-coding по SQL/Python Невозможно полноценно только по теоретическим вопросам оценить кандидата как он владеет навыком написания SQL-запросов или Python-кода, если хотя бы в ограниченном формате не посмотреть как он пишет код и размышляет в процессе решения задачи.

Это как электрика спрашивать про закон Ома или законы Кирхгофа, но при этом вообще не знать его прикладных компетенций как он может проводку проложить, розетку починить или что-то подобное сделать своими руками чем он будет на самом деле заниматься на работе, а не на теоретические вопросы отвечать.

По опыту применения SQL одну и ту же задачу можно решить десятком разных способов, чтобы получить одинаковый результат. Но только одни решения вам базу положат сразу и зависнут с блокировками, а другие отработают за доли секунд.

Особенно нет смысла спрашивать «на какой уровень оцениваешь себя в SQL?» в рамках личного общения без какой-либо конкретики. Человек может вообще неправильно оценивать свой уровень, просто потому что он умеет работать то как он привык и научился, а как сделать по другому и лучше он может даже не догадываться.

Я спрашиваю «какие задачи ты делаешь с помощью SQL. Или для каких целей ты используешь SQL, что конкретно и для чего в нем применяешь». Эти вопросы хотя бы копают саму суть что аналитик делает с помощью инструмента, а вот как он это делает нужно смотреть на live-coding. Поэтому на обучении у меня ты не просто учишься как писать комплексные запросы эффективно, а получаешь индивидуальное техническое ревью каждой реализованной практики. Это валидирование и развитие твоего навыка со стороны более опытного специалиста целых 1.5 месяца! Группа начинает обучение 13 апреля, присоединяйся https://datastudy.ru

Чем занимаются аналитики в Яндексе? Узнай в Школе аналитиков-разработчиков! Недавние выпускники и студенты старших курсов смогут научиться свободно работать с данными и принимать на их основе обоснованные решения. В программе: → лекции от экспертов и аналитиков Яндекса → домашки, чтобы закрепить материал и попробовать инструменты → работа в кросс-функциональной команде Участникам Школы нужно знать основы программирования на Python, уметь обрабатывать списочные данные и словари и иметь опыт решения прикладных задач с использованием любого диалекта SQL или Pandas. Не упускай возможность поработать над реальными бизнес-задачами и попасть в штат Яндекса — оставляй заявку.

Это ты, когда получишь повышение после моего курса или менторства 😁😎

Работать в корпорации VS в маленькой компании (часть 2) В первом посте рассказал про плюсы работы в корпорации и среднем-малом бизнесе. Сейчас поговорим о минусах 📍Минусы корпорации - бюрократия. долгие процессы согласований доступов, больших ресурсов, длинные цепочки коммуникаций. крупный аппарат становится менее гибким и неповоротливым в любом случае. опять же от компании к компании уровень вот этой "вязкости" может сильно отличаться, но к сожалению не всегда это можно распознать на этапе оффера. - высокие требования для кандидатов на старте. если мы говорим про IT-зрелую корпорацию, то как правило все простые задачи уже были решены и компания ищет "острые умы" для комплексных задач. там и объемы данных громадные, технологический стек соответствующий, поэтому компании ваши знания только экселя и базового sql не подойдут. - система оценки компетенций и пересмотра ЗП. здесь скорее всего будет процесс оценки сотрудников по их результативности, сравнения ЗП по сравнению с рыночными вилками и вас будут сравнивать со средними показателями в грейде по компании/рынку. если ты скромный или недооцениваешь свои силы - это может сыграть в плюс, чтобы тебе платили по рынку в среднем. а если ты по грейду мидл, а работаешь как синьор и круче большинства, то тебе будет сложней доказывать армии HR и руководителям выше почему тебе должны платить выше. другими словами, когда ты уже пришел в корпорацию и просто хочешь хорошего повышения, ты должен выпрыгнуть из штанов чтобы доказать это. почему? да потому что в принятии решения о пересмотре будут принимать участие не только твой руководитель, а еще множество людей, которые ответственны за этот отдельный бизнес-процесс. - много "так исторически сложилось". системы в компании работают уже скорее всего множества лет, куча разных спецов вносили свой вклад в это. и из-за этого особенно в аналитике выходит много особенностей, которые стоит учитывать. сначала считалось так, потом по-другому, а в ретро-данных надо учесть по третьему. а где-то был баг, который углядели через полгода и для его обхода налепили костылей. и вот таких моментов как правило очень много. если хотите работать с чистого листа, быть первопроходцем, то вам такая история не подойдет 📍Минусы маленьких компаний - ты один на проекте. как правило сотрудников мало, и ситуация когда ты окажешься одним аналитиком на всю компанию или большой проект - норма. если ты опытный - проблем возникнуть не должно. но если не уверен в своей профессиональной зрелости, то будешь скорее всего изобретать велосипеды, т.к. посоветоваться не с кем, а личного опыта может быть недостаточно. - bus-фактор. или сильная зависимость от сотрудника. если столкнуться с тем, что предыдущий сотрудник уволился или просто кто-то из нужных коллег ушел в отпуск, то скорее всего ты не найдешь никакой документации или заметок. все знания могут уйти вместе с человеком. поэтому пиши документацию всегда! - техническая незрелость. нужно быть готовым, что часть процессов в компании работают на ручном приводе, или неоптимально. либо просто нет привычных подходов, о которых мы слышим например в построении отчетов (ETL, BI, DWH) просто потому-что в моменте они являются избыточными для бизнеса - нет больших объемов данных, нужных компетенций, ресурсов, чтобы делать сразу "как надо". но прикол в том, что если компания хорошая и растет, то она к этому рано или поздно все равно скорее всего придет и ты можешь стать тем человеком, кто будет лидировать это развитие, если проявишься. по ЗП вопрос никуда выносить не стал как плюс или минус, т.к. нет явного деления что корпорации платят больше или наоборот, особенно если учитывать все уровни специалистов. поэтому этот вопрос останется за рамками сравнения и будет зависеть от конкретных вакансий ставьте реакции, если мысли полезны Кто я | Навигация | Обучение