LEFT JOIN

Пару полезных онлайн-сервисов, которые подглядел на HackerNews: * SQlime.org от Антона Жиянова

Наконец-то созрел сделать подборку аналитических блогов в телеграме в виде новой статьи блога. Однако, чтобы было интереснее подборка составлена не вручную, а на основе графа связей, построенного с помощью Python. В качестве стартовой точки были взяты тексты телеграм-канала Интернет-аналитика и выделены те аналитические каналы, на которые Леша Никушин в нем ссылался. Получился список таких каналов и процедура проделана еще раз, итеративно: мы взяли тексты всех записей этих каналов и распарсили их, нашли упоминания всех других аналитических телеграм-каналов. С парсингом текстов помогал стажер Андрей, а затем я построил граф связей на основе полученных данных, используя тулзу из Georgia Tech. В результате по показателю degree (количество связей), топ-10 каналов выглядит так: 1. Интернет-аналитика @internetanalytics 2. Reveal The Data @revealthedata 3. Инжиниринг Данных @rockyourdata 4. Data Events @data_events 5. Datalytics @datalytx 6. Чартомойка @chartomojka 7. LEFT JOIN @leftjoin 8. Epic Growth @epicgrowth_chat 9. RTD: ссылки и репосты @rtdlinks 10. Дашбордец @dashboardets По-моему, получилось супер-круто и визуально интересно (тул немного глючит, поэтому сделайте зум-аут в правом нижнем углу), а Андрей – большой молодец! Кстати, он тоже начал свой канал «Это разве аналитика?», где публикуются новости аналитики. Забегая вперед: у этой задачи имеется продолжение. С помощью Марковской цепи мы смоделировали в каком канале окажется пользователь, если будет переходить итеративно по всем упоминаниям в каналах. Получилось очень интересно, но об этом мы расскажем в следующий раз!

Абсолютно блестящая новость, достойная вечера пятницы: A single person answered 76k questions about SQL on StackOverflow

Кстати, у нас есть инстаграм, в котором контент несколько отличается от текущего, поэтому подписывайтесь тоже! И там сегодня конкурс проводим 🤩

Новость о появлении desktop-версии JupyterLab под Mac, Win и Linux.

Любопытная статья с провокационным названием Is BI dead? В статье о том, чем должны быть BI-инструменты сегодня, а чем быть не должны с точки зрения автора (спойлер BI сегодня — это точно не комбайн ETL/ELT, метаслоев и визуализации).

Ребята на Youtube-канале Listen IT рассказывают про различные IT-технологии в коротких роликах, и, в частности, делится про SQL/NoSQL базы данных и упоминают аналитические каналы, которые читают сами #кросспост

На предыдущих конференциях иногда начинал свой доклад с простых примеров в деятельности маркетологов, которые часто используют среднее как основной показатель для различных KPI. Самый типичный пример — средний чек. В ряде случаев использование среднего арифмитического вводило маркетологов, которые использовали эту метрику, в заблуждение, т.к. большой объем крупных покупок (юр.лица, замаскированные под физ.лица) не учитывался в этом расчете. В несложном новом материале блога рассматриваем и изучаем различия между медианой и средним арифметическим.

«Яндекс», Benchmark Capital и Index Ventures открыли компанию ClickHouse. Она будет делать коммерческие продукты на основе одноимённой системы управления базами данных. В сумме инвесторы вложили в проект $50 млн vc.ru/services/295690

Интересная новость для рынка

Интересная статья про ошибочное использование статистической значимости в контексте исследования в Бангладеше о ношении масок.

Конференция по современному open-source data stack в онлайне: пройдет 28-30 сентября. Можно зарегистрироваться на сайте.

Смена подгузников, отсутствие сна: новый baby-project dataviz Сегодня в блоге очень личная статья. Дело в том, что в декабре прошлого года я стал папой, а это значит, что наша с супругой семейная жизнь перевернулась с ног на голову. Кроме того, что это для меня большое событие, я подошел к нему еще и с аналитической точки зрения, а именно построил дашборд, используя данные о ребенке в течение первых 8 месяцев его жизни. И сегодня я хочу показать как круто меняется жизнь семьи на примере собственного анализа данных жизни первых 8 месяцев малыша. Данные я собирал с помощью приложения BabyTracker, а затем визуализировал их в Tableau, чтобы затем проанализировать их и поделиться своими выводами, которые у меня появились к настоящему моменту. Подробный пост со всеми графиками и нюансами их построения вы можете прочесть в блоге, а самый главный его вывод я вам расскажу уже сейчас: дети — это прекрасно! ❤️

ъ

Дашборд первых 8 месяцев жизни малыша В декабре прошлого года я стал папой, а это значит, что наша семейная жизнь колоссально изменилась. Разумеется, делюсь с вами не просто так, а в контексте тех данных, которые сегодня будем изучать и исследовать. Хочу на примере анализа данных жизни первых 8 месяцев малыша показать как круто меняется ваша жизнь и жизнь вашей супруги. Исходные данные: трекинг основных элементов заботы о малыше в первые 8 месяцев: сон, кормление, смена подгузника через приложение BabyTracker. Моя жена огромная молодец и первые 7 месяцев очень тщательно и исправно отслеживала все важные данные. Всего лишь несколько раз ночью она забывала отключить время кормления малыша, но я достаточно быстро увидел в данных эти моменты какстатистические выбросы и датасет был от них очищен. Изначально у меня в голове было несколько видов визуализации данных, и я попробовал их сразу же внедрить в дашборд. Мне хотелось показать интервалы сна малыша в виде такой вертикальной диаграммы Гантта, однако ночной сон переходил через сутки (0:00), и было совершенно непонятно как это можно исправить в Tableau. После ряда самостоятельных безуспешных попыток найти решение к этой проблеме, я решил посоветоваться с Ромой Буниным, и мы также пришли к заключению, что никак это не решить. Однако Рома прислал пример идентичный моей идее! Для меня это оказалось удивительно, т.к. выяснилось, что подобный способ визуализации - похоже, основной метод легко и быстро проиллюстрировать мысль, как непроста жизнь и сон родителей в первые месяцы появления ребенка. В том примере в истории утверждается, что муж подарил женщине полотенце с датавизом паттернов сна малыша, посмотрите в Ромином видео. В моем дашборде на Tableau Public получилось три смысловых блока и несколько "KPI", хочу про них рассказать детально и поделиться основными "житейскими" выводами/мудростями. В самом верху дашборда можно увидеть ключевые средние показатели часов сна днем и ночью, часов и количества кормлений малыша, а также число смен подгузника в первые три месяца. Я выделил именно три месяца, я ощущаю так, что это самый непростой период, так как в вашей жизни происходят существенные изменения, к которым нужно адаптироваться. Сон Левая диаграма aka "Полотенце" иллюстрирует как выглядит сон малыша, и на этой диаграмме важно обратить внимание на белые пропуски, особенно ночью. Это те часы, когда малыш бодрствует, а значит, бодрствуете и вы. Посмотрите, как меняется этот паттерн, особенно в первые месяцы, когда мы из своего стандратного режима лечь спать в 1-2 часа ночи переходили в более раннее время. Грубо говоря, первые три месяца до марта ребенок мог заснуть в 2 или 3 ночи, нам повезло ночной сон нашего ребенка оказался довольно длинный. Правый график наглядно иллюстрирует как меняется длина сна малыша ночью и днем со временем. График подтверждает вывод: "Это временно, скоро точно станет лучше!" А боксплоты под ним показывают распределение часов дневного и ночного сна. Кормление Из левой диаграммы заметно как меняется количество и продолжительность кормлений. Это число постепенно уменьшается, а их продолжительность сокращается. Эта диаграмма с моей точки зрения отличная возможность для девушки, планирующей беременность, избавить себя от иллюзий о перспективах работать или делать какие-то дела в первые месяцы после родов. Посмотрите частоту и продолжительность кормлений, все это время мама по существу занята ребенком. Со временем количество кормлений уменьшается. Мы изменили способ учета времени кормлений в середине июля (22ое число), поэтому данные начиная с этого времени не валидны. Смена подгузника Левая карта это изюминка данного дашборда. Как вы понимаете, это как раз та самая карта ваших веселых моментов смены подгузника. Звездочки - это моменты дня, когда нужно поменять подгузник, а светло-серым цветом снизу колмичество смен в сутки. Правый график показывает смены подгузникам в разбивке по части дня.

Бесплатное API для получения данных из Библии на разных языках ⛪

В сегодняшнем видео цикла гайдов по BI-инструментов говорим про Metabase – open-source инструмент, который умеет самостоятельно описывать датасеты, отправлять уведомления об изменениях в данных, и, конечно, писать запросы к данным и строить на полученных результатах визуализации и дашборды. Посмотрите на полученный результат в материале блога и ответьте на два небольших вопроса. Автор дашборда, член команды Valiotti Analytics — Мария Авдеева