LEFT JOIN

BI-аналитика в условиях ограничений Сейчас в России люди многих профессий вынуждены отказываться от удобных рабочих решений ввиду новых ограничений, которые появляются ежедневно. Как известно, ограничения эти вводятся почти молниеносно, а когда они будут отменены – не известно. Но мы не собираемся еще сильнее вводить вас в панику или тревогу. Наоборот, мы считаем важным помогать вам своими знаниями и опытом настолько, насколько это возможно. Например, многие сейчас ищут качественную замену таким сервисам как Tableau и Power BI. В нашем гайде вы можете посмотреть на часть BI-инструментов (платные и бесплатные) и реализованные в них дашборды, отдельное внимание стоит уделить open-source инструментам. У нас также готов дашборд по Superset, но пока не успели записать видео. Stay tuned! ⚡️

Хочу выходить из затишья и постепенно публиковать контент, относящийся к делу. Я знаю, что сейчас многие талантливые как начинающие, так и более опытные ребята начинают искать работу. Мы продолжаем делать свои проекты в рамках Valiotti Analytics по всем направлениям. Ищем и джунов и миддлов с крепким знанием SQL / Python. Поэтому если вам интересно, откликайтесь на вакансию, а если вы миддл присылайте свое резюме мне в ЛС, а в ответ получите тестовое задание.

Друзья, первые дни я находился в абсолютно шоковом состоянии от происходящего. Я не понимаю как в здравом уме можно так вредить собственной и соседней странам, вероломно нарушать все конвенции, прописанные в ООН, да и моральные устои в принципе. Кажется, не так много времени прошло с предыдущей трагедии? Я персонально и все проекты, которыми я руковожу, категорически против войны. Предполагаю, что эта заметка в телеграмме вряд ли как-то изменит ситуацию и вернет жертвы. Однако молчать и не высказаться тоже не могу. Половина родственников нашей семьи в Украине, эмоции захлестывают, мы хотим скорейшего прекращения огня. Публикации в канале пока будут остановлены до изменения ситуации. Желаю всем мира.

Автор опубликовал cheatsheet для Google big query и Google Analytics.

Выглядит полезно 🙂

Если визуализация – это инструмент анализа, который обеспечивает наиболее эффективную работу по изучению данных, то инфографика – это уже готовые выводы, оформленные и структурированные показатели и закономерности. Собрали небольшую подборку хороших работ с канала Инфографика и факты: - Индекс айфона 2021 - Чем богаты депутаты ГосДумы 2021 - Почему растут цены на бензин - Почему вакцинацию стали искать чаще футбола и порно

Нужен ли нам Airflow или куча отдельных инструментов? Несколько дней назад в сети появился пост, который активно обсуждают до сих пор. Давайте разберемся, в чем дело и из-за чего сыр-бор. ⚡️ Итак, автор поста обращает внимание на эволюцию любых больших платформ: старт, развитие и неизбежную фрагментацию на более удобные и узкоспециализированные инструменты. Автор приводит пример, что много лет назад такое случилось с платформой Craigslist, а теперь, вероятно, это случится (или уже случилось) с Airflow. Airflow сейчас позволяет выполнять множество задач, связанных с данными; от операций по выгрузке и загрузке данных до создания отчетов, обработки с помощью Python и SQL-скриптов и синхронизации данных с BI-инструментами. Однако, уже существуют отличные самостоятельные инструменты, которые выполняют все эти задачи гораздо лучше, чем Airflow. Например, Fivetran и Airbyte можно использовать для загрузки и выгрузки данных, dbt — для преобразования данных, Census и Hightouch — для обратного ETL, Transform, Metriql, Supergrain — для метрик, Eppo — для экспериментов, MLOps — для машинного обучения. Все эти инструменты “отбирают” часть задач у Airflow и значительно трансформируют современный стек, который раньше часто строился внутри одного инструмента (платформы). ⚡️ Некоторые компании пытаются создать улучшенную версию Airflow, упрощая развертывание задач, делая их более масштабируемыми и т.д. Самой важной и обсуждаемой частью этого рассуждения стало то, что автор сомневается, что вообще есть необходимость в улучшении Airflow. Как он сам говорит: “Это похоже на попытку оптимизировать написание кода, который вообще не должен был быть написан“. Тристан из dbt комментирует: ⚡️ Кейсы Craigslist и Airflow серьезно отличаются, как минимум потому, что пользователь первой платформы мог нуждаться лишь в одной из функций, а вот специалисты в сфере работы с данными нуждаются во всех инструментах платформы, поскольку они тесно взаимосвязаны. ⚡️ Затем, он предлагает свое видение развития Airflow: поскольку одному специалисту или даже команде не бывают нужны сразу все инструменты, удобнее было бы иметь 3 платформы с инструментами для задач инженеров данных, аналитиков и ML-разработчиков. Тристан, как и прежде форсирует свою тему аналитических инженеров и отделяет их от всех остальных, что, конечно, dbt-юзерам очень нравится. ❓А вы что думаете про Airflow? Используете ли, пробовали ли Airflow как сервис в managed-исполнении?

Любопытный пост на Observable и симпатичный график-гантелька о том, какие слова лучше знают мужчины, чем женщины (и наоборот). Признаться, большинства слов из списка не знаю, ну разве что кроме checksum, разумеется. 🙃 Такой же чарт есть про сравнение знания слов в UK и US.

Влюблены в аналитику? VK подготовил для вас что-то крутое :) 26 и 27 февраля компания проведёт Weekend Offer по двум направлениям: экосистемной и продуктовой аналитике. А теперь коротко, но подробно, чем занимаются ребята в Data Office: • Экосистемная аналитика. Вы можете погрузиться в мир growth hacking, исследований и формирований гипотез для роста, разбор в кросс-девайсном и кросс-продуктовом матчинге при работе с сервисами VK. • Продуктовая аналитика. Это про формулирование гипотез, проведение исследований и A/Б-экспериментов, настройку аналитических мониторингов и отчётов. Ну и, конечно, вместе с командой вы будете запускать фичи внешних и внутренних сервисов экосистемы. Звучит круто! Аналитики, интересно? Тогда, не пропустите — у вас появилась возможность поменять работу всего за два дня. Успейте отправить заявку на участие до 25 февраля. Удачи! #реклама

В коммьюнити часто обсуждается тема как интересно переквалифироваться и стать аналитиком / дата саентистом, но, например, есть и другая сторона медали. Недавно мне попался интересный пост на реддите, где чел рассуждает о том, что карьера дата саентиста крайне сложна и требует постоянного развития и улучшения навыков, просто чтобы оставаться "в игре". Автор пишет, что такая работа для него постоянный стресс и противопоставляет карьеру дата саентиста с водителем поезда / электрика, которые всего лишь каждый день выполняют свою работу. А дата саентист как будто всегда остается джуниором, если не улучшает свои навыки, потому что они регулярно устаревают. Что думаете? Согласны ли с этим утверждением?

Старенький, но прикольный тематический пост о том, как сделать диаграмму в виде сердца в Tableau. Актуально, чтобы порадовать свою вторую половину симпатичным датавизом ❤️ 🙂

Ремарка об исследовании онлайн-школ по аналитике данных Дискуссия по поводу исследования онлайн-школ оказалась оживленной — это объяснимо: мы громко заявили о себе, и с нас соответствующим образом спросили в комментариях. Ключевое: — я не делал это исследование по чьему-то заказу — нет органа, который меня контролирует в этом опросе и говорит мне как правильно, а как нет — я не планирую публиковать исследование в научном журнале и считать статистическую значимость различий в процентах на малой выборке. Если вам это интересно — возьмите данные и ответьте на свои вопросы с учетом статистической значимости, вся информация доступна. Если вы не верите в результаты или не видите ценности в этой работе — окей, это ваше право. Я хотел и получил реальный срез рынка от студентов основных школ индустрии, поделился результатами с коммьюнити. Почему я верю в результаты? Я абсолютно убежден в адекватности результатов, поскольку мы (я и моя команда) выборочно лично общались с респондентами, вручную проверяли и отсеивали ряд анкет на этапе подготовки данных перед созданием дашборда. Тем не менее, никаких гарантий. Может быть как на выборах: вбросы, карусельщики. Достоверных способов это определить у нас нет. В софтверной разработке это называется as-is. Ответственность за использование результатов на вашей стороне. Для меня все выводы имеют большую ценность, и я еще раз убедился в ряде своих гипотез относительно школ и их выпускников. Зачем я делал исследование? Я нанимаю людей к себе в компанию и вижу проблемы с компетенциями ряда школ, скоро расскажу об этом голосом в подкасте. Я хотел узнать, что думают сами студенты о качестве образования. Мне полезно понять как оценивают студенты эффективность трудоустройства, добились ли они своих целей, чем различаются школы в оценках между собой, насколько в них сложно учиться. На все вопросы я получил исчерпывающие ответы и интересные истории учащихся, о которых скоро расскажем в подкасте. P.S. Спасибо энтузиастам и профессионалам за ценные замечания: аргументированные комментарии по делу принимаются с благодарностью! P.P.S. Каждый раз удивляет токсичность рунета, в этом полностью согласен с Димой Аношиным. Все так и есть: делаешь что-то полезное, полностью за свой счет, получаешь в комментариях хейт, переход на личности, хейт пораждает следующий хейт в виде частных мнений людей, тотально не вникающих в материал (на военной кафедре у нас это называлось ОБС — «одна бабка сказала»).

💣💥⚡️Мы узнали абсолютно все про рынок онлайн-образования в России (и спешим вам рассказать) 🚀 Как вы помните (а если не помните, то кликайте сюда), несколько месяцев назад мы проводили большой опрос по российскому рынку онлайн-образования. Сегодня мы наконец-то можем поделиться с вами результатами, выводами и инсайтами, которые, на наш скромный взгляд, получились весьма крутыми! Но, обо всем по порядку. В нашем телеграм-канале мы собрали данные с помощью подробного анкетирования. После этого, не без помощи Романа Бунина, наша коллега Олеся структурировала информацию в дашборде Табло. В итоге, для тех, кто хочет быстро посмотреть на результаты на одной странице есть дашборд, а для тех, кому интересно увидеть все подробности, то ниже мы прикрепляем pdf-файл – презентацию результатов исследования, которой призываем делиться. Короткий How-To к дашборду для самостоятельного изучения: Дашборд разделен на две части: слева – панель фильтров, справа – результаты опроса. Панель фильтров содержит информацию об участниках опроса и курсах. Каждая группа участников опроса из панели слева фильтрует данные и графики обновляются. Если вы хотите отменить фильтрацию – щелкните еще раз на ту же строку или обновите страницу для сброса всех фильтров. На каждом графике (кроме графика с оценками) есть всплывающие подсказки, в которых указано количество участников, в выбранной категории. Теперь мы с гордостью можем рассказать обо всем, что обнаружили: ◼️ Всего в опросе приняло участие 457 человек. Из них – 90% проходят/проходили онлайн курсы, 7% планируют пройти, 3% не проходили и не планируют. Весьма впечатляет! Но, на самом деле, тут нет ничего неожиданного, мы лишь подтвердили свою гипотезу о широкой распространенности онлайн-курсов. ◼️ Самые популярные направления образования среди участников – Аналитика данных (66%) и Data Science (19%). Самые популярные платформы – Яндекс.Практикум (30%) и KARPOV.COURSES (14%). ◼️ В качестве целей прохождения курсов чаще всего указывали «Получение новой работы» (49,5%) и «Получение новых знаний/навыков» (25%). Что касается достижения поставленных целей, то наши результаты абсолютно совпали с цифрой, которую получили Яндекс и ВШЭ в своем исследовании (учитывая совершенно разные выборки респондентов, это – удивительно!). У них 78% достигли целей после прохождения Практикума и у нас тоже 78%. Мы сильно удивлены и рады, что данные совершеннно репрезентативно описывают опыт прохождения онлайн-курсов в России. ◼️ Все участники, которые не планируют проходить онлайн курсы считают важным для профессионального развития опыт и практику в реальном бизнесе. Такое мнение тоже имеет право на существование, ведь эти два направления – теоретические знания и практический опыт – два столпа, на котором основывается человеческий капитал. ◼️ Подавляющее большинство участников относятся положительно к онлайн-образованию (даже среди тех, кто не планирует проходить онлайн курсы). В данных еще можно найти множество более узких выводов. Однако, становится понятно, что стереотип о том, что онлайн-образование сильно уступает высшему образованию и “не котируется” в современном обществе постепенно отмирает. И это круто, потому что мир развивается, а онлайн курсы имеют ряд неоспоримых преимуществ, которые давно стоит перестать недооценивать! Небольшой спойлер: совсем скоро вы также сможете послушать первый эпизод нашего свежего, но все еще секретного подкаста (пока не можем раскрыть всех деталей), в котором мы поговорим об онлайн-образовании с несколькими участниками опроса, а также с ведущими экспертами рынка!

☕️ Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞 🧩 Список ежедневных дел пополняется После оглушительного успеха классического Wordle и продажи игры за весьма приличную сумму, многие разработчики с фантазией стали следовать примеру мастера и создавать подобные игры. Теперь у нас есть русский Вордли (отчаянно советую создателю поработать над названием!), немецкий, французский, испанский (если вы знаете эти языки, конечно), Nerdle (угадать арифметическое выражение) и Three Magical Words (угадать фразу из трех слов с некоторыми подсказками). Хоть последний сильно отличается от оригинала, все эти игры отлично разминают мозг перед началом рабочего дня или на кофе-брейке! 🕸 Кажется, подключить всех людей к одной сети не получится Если бы Facebook был человеком, то недавно он бы достиг совершеннолетия. А еще, впервые за свою 18-летнюю историю, в социальной сети снизился ежедневный поток пользователей: за последние три месяца примерно полмиллиона человек перестали заходить в фейсбук на ежедневной основе. Больше всего “отточных пользователей” в Африке, Латинской Америке и Индии. Новостные ресурсы пестрят заголовками “Мечты о подключении всего мира к одной соцсети мертвы“, однако, результаты, которых достиг Цукерберг и без того впечатляющи! 🥱 К чему приводит хронический недосып? (ни к чему хорошему) В период пандемии многие люди стали гораздо сильнее заботиться о своем здоровье. Однако, если вы все еще отчаянный трудоголик и спите недостаточно много, то вот вам пугающий (он таким и должен быть) список крайне неприятных последствий недостатка сна. Тут и потенциальный набор веса, нездоровые зависимости, ухудшение памяти и многое другое. Высыпайтесь, друзья! 🎤 Секреты и тайны Apple Podcacts Шон Холлистер заметил весьма странную закономерность. Во-первых, рейтинг приложения в App Store сильно вырос за последнее время, хотя в приложени не было никаких обновлений. Во-вторых, большинство пользователей в отзывах хвалят не само приложение, а сами подкасты, которые им нравятся. В итоге, у приложения невероятно высокий рейтинг, несмотря на то, что в нем куча мелких и крупных багов. А вам нравится приложение Apple Podcasts? Если нет, то какое приложение лучше? 👨‍🏫 Школьники, выдыхаем! На Open AI вышел интересный материал про нейронную сеть, которую обучили для решения теорем из школьных олимпиад по математике. Модель учится на всех примерах, которые она успешно решила и постепенно справляется с более сложными теоремами. В общем, если вы учитесь (или преподаете) в школе, то можете попробовать воспользоваться таким красивым методом для решения домашек. 🪁 Бонус: Увлекательный комикс о том, как не жить от отпуска до отпуска, а быть счатливым всегда #weekly #дайджест

В последнем выпуске рассылки от Benn Stancil есть абсолютно прекрасный абзац с кучей ссылок на современные инструменты в области данных и аналитики, поэтому хочется прямо его процитировать как есть: Instead, the front of the data stack is represented by an explosion of tools, all tacking in slightly different directions. There’s traditional BI; there’s modern BI; there’s headless BI; there’s open-source BI; there’s Bitcoin-based BI. There are notebooks for analysis, notebooks for SQL, notebooks for collaboration, notebooks for apps, and apps for notebooks. There are data visualization tools, data visualizations for notebooks, and notebooks for data visualizations. There are SQL editors for teams, SQL editors for people who don’t want to write SQL, and SQL editors for Snowflake customers. There are collaborative workspaces, and tools that combine lots of things together. There are spreadsheets we can’t get rid of and spreadsheets replacing the spreadsheets we can’t get rid of; there are rebuilt spreadsheets; there are spreadsheets, but BI. And more of everything is coming. #ссылка