LEFT JOIN

В новом видео цикла гайдов по BI-системам поговорим о Redash. Это SQL-консоль, которую можно подключить к множеству различных источников данных, писать запросы и составлять по результатам отчёты-визуализации. Посмотрите на полученный результат в материале блога и ответьте на два небольших вопроса.

Прошел этот курс, делюсь своими впечатлениями. Курс классный, в нем много практики. Я использовал Google BigQuery и публичные датасеты от dbt для решения описанных примеров, а в обучающих материалах все построено на Snowflake. В целом, узнал много нового и полезного о dbt, кратко summary: * Во введении ребята объясняют роль Analytics Engineer, о котором так много разговоров и ссылаются на их пост блога * Дается исчерпывающая информация о том, как подключить dbt к вашему хранилищу и .git * В dbt довольно тривиальными запросами реализовано тестирование данных на предмет уникальности, соответстия значениям (это реально базовые SQL-запросы, которые проверяют наличие / отсутствия поля или значений) И тут интересно следующее: когда пишешь самостоятельно похожие запросы иногда думаешь, что во всем остальном мире так никто не делает, ну, к примеру:

SELECT sum(amount) FROM ... HAVING sum(amount)>0

А оказывается еще как делают, вот даже публично внутри dbt все эти тесты так и реализованы. И, кстати, крайне удобно, что SQL-код каждого теста можно изучить (скомпилировать) * Круто и удобно формируется документация и DAG (directed acyclic graph), который показывает все шаги преобразований модели * Поскольку dbt построен на Liquid и использовании Jinja (движок шаблонов в python), то можно делать всякие невероятные вещи вроде написания внутреннего макроса (читай, условный операторы, циклы или создание функций) и применять этот макрос для автоматизации однотипных частей запроса. Это прям вау 🙂 * Многие вещи уже придуманы и разработаны коммьюнити, поэтому существует dbt hub, через который можно подключить интересующие пакеты и не изобретать велосипед. * Отдельного упоминания достойны алгоритмы формирования инкрементального наполнения таблиц и создания снэпшотов. Для одного из проектов абсолютно такой же алгоритм по созданию снэпшотов с date_form / date_to мне доводилось проектировать самостоятельно. Было приятно увидеть, что у ребят из dbt это работает абсолютно аналогичным образом. * Разумеется, используя Jinja и dbt, можно автоматизировать построение аналитических запросов, это так и называется Analyses. Скомпилированный код запроса, можно имплементировать в любимую BI-систему и наслаждаться результатами. Общие впечатления очень положительные: dbt ждет большое будущее и развитие, т.к. коммьюнити растет вместе с возможностями и ресурсами компании. Ждем коннекторов к другим СУБД помимо PostgreSQL, BigQuery, Snowflake, Redshift.

В прошлый раз мы говорили о PowerBI, а на этой неделе рассмотрим дашборд в SAP Analytics Cloud, который сделал для нас Алексей Салынин – ведущий BI консультант SAPRUN. Посмотрите на результат в материале блога и ответьте на два небольших вопроса.

Команда dbt запустила собственный курс по изучению, как ни странно, dbt. Курс бесплатный.

Внутри сервиса Тинькофф Инвестиции расположилась целая социальная сеть инвесторов «Пульс», где люди делятся своими прогнозами, мыслями и планами. В материале рассказываем, как спарсить частотный словарь и построить биграммы по постам пользователей, разделив их по объёму инвестиционного портфеля. https://leftjoin.ru/all/tinkoff-pulse-frequency-dict/

Подготовил новый выпуск «Лайфхаков в Табло». 0:00 — Как сделать удобную цветовую легенду 3:00 — Как подписать точки на графике по условию 7:12 — Как избежать проблем при работе с Табло на Windows ⚠️ Про последний пункт даже написал заметку. Он очень важен для тех, кто работает с Windows и с размером шрифта в системе больше 100%. #лайфхаки

Рома записал классный выпуск лайфхаков, в котором рассказывает как сделать удобную легенду, которая адаптируется в размерах, рекомендую. Вдогонку, таким же способом можно организовать фильтрацию дашборда в целом (на видео сейчас используется привычный хайлайт на графике).

Сегодня публикуем новую часть гайда по BI-системам — обзор дашборда в PowerBI. С отчетом нам помогла Анастасия Стефанова, аналитик Sravni.ru. Ознакомьтесь с результатом в материале блога и ответьте на два небольших вопроса.

Опубликован список докладов конференции Coalesce (да-да, от тех самых создателей dbt, которые недавно вновь привлекли инвестиции). Самое время зарегистрироваться и добавить интересующие доклады в свой календарь. Среди наименований встречаются интересные вещи типа: «Cleaning the fish: A sushi-inspired approach to clean datasets» 🍣🧹📁

Инструмент, который поможет правильно выбрать и настроить scale в D3 для вашего датасета. https://martingonzalez.net/mr-scale-maker/

Классный инструмент для примеривания цветовой гаммы диаграммы. Думаю, можно использовать и не только для D3.js 🙂

📌Ключевые темы сегодняшнего дня: Алексей Чернобровов - Как архитектура DWH влияет на Data Quality Петр Ермаков, Lamoda - Open Source BI: почему стоит выбрать Apache Superset Сергей Галактионов, JetStat - Как маркетологу настроить и автоматизировать отчетность когда нет аналитика Николай Валиотти, Valiotti Analytics - Современный облачный Data Stack Роман Бунин, Яндекс.Go - Развитие BI-системы компании с помощью продуктовых подходов Екатерина Колпакова, Head of DWH Ситимобил - Хочешь построить DWH? Спроси меня как! Яна Манухина и Алексей Ростоцкий, Bookmate - Как устроить архитектуру DWH и контролировать изменения в ней Начало в 11:00⏰ FREE: matemarketing.ru FULL: https://lms.matemarketing.ru @internetanalytics