LEFT JOIN

Altinity выпустили обзор сравнения перфоманса Clickhouse и Redshift, несколько ключевых выводов: + В Clickhouse появилась возможность загружать данные из S3 табличной функцией s3() + Clickhouse на одной ноде несколько проигрывает Redshift по скорости выполнения запросов, но выигрывает на сопоставивом количестве нод + Стоимость операционного использования Clickhouse ощутимо ниже, чем Redshift (однако в статье не указан необходимый ресурс на поддержку того и иного решения) + В Clickhouse по-прежнему остаются ряд особенностей, которые следует учитывать при построении запроса. Например, использование конструкции с JOIN до сих пор неэффективно, а замена JOIN на подзапросы дает значительный прирост в скорости.

В результате: дашборды у нас еще не могут быть мертвы, так как не успели родиться 😂 47% всё ещё отдают результаты аналитической работы в книжках Excel / Google Sheets или презентациях.

Сегодня в канале много разного контента, не обошлось и без статьи. Интересная библиотека pandas-profiling, которая за вас попробует автоматически построить EDA (exploratory data analysis). Подробности в материале блога. Результаты библиотеки на датасете Superstore отдельной .html-страницей.

Это что-то невероятное Анатолий Карпов @data_karpov берет интервью у Алексея Никушина @a_nikushin Говорим про образование, курсы, настроения в @analysts_hunter, Матемаркетинг @MateMarketing_official и нелегкую жизнь аналитиков https://www.youtube.com/watch?v=mome3DWQqg0

Интервью совершенно точно полезно начинающим и не только аналитикам. Алексей делится здравым смыслом, а Анатолий задает правильные вопросы. Самое то для просмотра в конце рабочей недели 🙂

опубликовали половину программы Матемаркетинга https://www.facebook.com/nikushin.av/posts/3476071119124454

Сентябрь наступил, и начинается активная пора всевозможных ивентов. Большая часть в этом году, как все уже понимают, будет в удаленном формате. На этой неделе опубликован список первой части докладов Матемаркетинга-2020, на котором в этом году приму участие. Из зарубежных конференций рекомендую обратить внимание на https://www.futuredata.org/, которая состоится уже через 4 дня. Чуть позже будут и другие анонсы. #events

Нашёл на Kaggle микрокурс по изучению Pandas, оформленный в виде ноутбуков. Включает в себя разбор всех базовых функций, так что для ознакомления с возможностями библиотеки отлично подходит https://www.kaggle.com/learn/pandas

Полезно ознакомиться по нескольким причинам: 1) отличная возможность познакомиться с kaggle тем, кто не знаком 2) повторить pandas никогда не бывает лишним 🙂 3) у Алексея отличные заметки по Python, рекомендую его канал к изучению

Недавно мне на глаза попалась статья про то, что дашборды мертвы. Интересная точка зрения, однако под соусом их смерти продается работа с notebooks в целом и на одном конкретном сервисе в частности. Подготовили перевод этой статьи на русский язык: http://leftjoin.ru/all/dashbords-are-dead/

Буквально пару дней назад завершили работу над сайтом консалтинговой аналитической компании имени меня. Мы занимаемся построением аналитических хранилищ данных и настраиваем аналитику в основном для мобильных и digital-стартапов. Приглашаю вас на наш новый сайт по адресу: https://valiotti.com. На сайте вы сможете узнать чем мы занимаемся, изучить наши кейсы и убедиться, что мы супер! 😜

Достаточно давно я уже описывал опыт работы с сайтом налоговой для получения данных из чеков. К сожалению, старый метод больше не работает. Нам пришлось изрядно потрудиться и соорудить новый метод получения данных. О нем — в новом материале: http://leftjoin.ru/all/nalog-ru-client/

Продолжаем разбираться с Untappd и перейдем к построению дашборда на основе Dash. Сегодня обсудим как можно использовать столь популярный в веб-разработке Bootstrap фреймворк для создания своего аналитического дашборда. http://leftjoin.ru/all/untappd-bootstrap-dashboard-part-1/

В сети стали доступны доклады с прошедшего Airflow Summit 2020. Безусловно все докладчики выступали удалённо (мы этот год запомним навсегда) Из докладов, которые хотелось бы отметить: - Advanced Apache Superset for Data Engineers - Data engineering hierarchy of needs - Airflow the perfect match in our analytics pipeline - Data flow with Airflow @ PayPal Смотреть весь плейлист

Спасибо каналу @dataeng за подбор ссылок с саммита Apache Airflow 🙂 Удалось ознакомиться с перечисленными докладами, делюсь своими впечатлениями. Автор доклада "Advanced Apache Superset for Data Engineers" из компании Preset рассказывает о возможностях Superset. Я предпочитаю Redash, но некоторые вещи в Superset из категории advanced features показались интересными: * Например, можно определить не только пользовательский параметр в рамках SQL-запроса, но и пользовательскую функцию (в Jinja). * Помимо этого в запросах по расписанию удобно можно задать output table для результатов, а сам запрос использовать в Airflow. * Можно определить пользовательский плагин визуализации * Можно динамически создавать графики через REST API (однако в самом докладе трюк не удался) Второй доклад в основном рассказывает о пирамиде потребностей в данных организации, достаточно известный концепт о сравнении с пирамидой потребностей Маслоу, где в основе пирамиды — Data engineering, а в вершине — Machine Learning. Доклад "Airflow the perfect match in our analytics pipeline" в большей степени об описании опыта использования Airflow в облачной инфраструктуре на больших массивах данных (десятки террабайт в дейтинге). В частности, автор рассказывает о том, как именно у них настроены DAGs в рамках аналитического пайплайна. Из интересного: динамическое создание задач в Airflow как часть пайплайна. Последний доклад из подборки посмотрел очень бегло, в частности, из-за менее понятного мне английского языка автора. Из ключевых хайлайтов в докладе: о месте Airflow в архитектуре, масштабировании. Отдельно можно отметить довольно подробное погружение в плагины Airflow (API).

В сегодняшнем материале учимся размечать готовый geojson файл с административными границами, чтобы визуализировать последние данные по коронавирусу на карте России. http://leftjoin.ru/all/plotly-russian-map/

Продолжаем разбираться с библиотекой Dash: разворачиваем дашборд из прошлого материала на сервисе AWS Elastic Beanstalk. http://leftjoin.ru/all/dashboard-python-2/

Вторая часть цикла материалов о библиотеке Dash: сегодня построим простой дашборд с двумя регулируемыми параметрами на основе графика, который мы сделали в предыдущем материале и запустим его на локальном сервере. http://leftjoin.ru/all/dashboard-python-1/