Python 🐍 Work With Data

Записи конференции Smart Data 2021 на Youtube Материалы конференции Apache Airflow, DWH как продукт, Каталог и озеро данных на базе MongoDB, ClickHouse, MLOps, Self-service BI, Apache Spark ☮️

Data50: The World's Top Data Startups | Future https://future.a16z.com/data50/

Apache Superset vs Metabase https://preset.io/blog/superset-vs-metabase/

Немножко мыслей про open-source Apache Superset Из моего небольшого опыта работы с этим BI могу дать следующую обратную связь: - Довольно зрелая система с хорошим набором фич. - Многое описано в официальной доке, либо на github в отдельных реквестах. Но без технического бекграунда будет ОЧЕНЬ сложно. - Это простая рисовалка графиков без ETL и модели данных внутри. Инструмент хорошо применим только для 1 готового датасета (прямая таблица, не схема звезда и уж подавно не снежинка). Поэтому могу смело утверждать, что построить сложные приложения, как например, в Qlik Sense или Power BI точно не выйдет. Либо придется костылять, придумывать технические приемы. Что в принципе возможно. - В Apache Superset можно добавлять custom plugins, но этот процесс ОЧЕНЬ трудоемкий и состоит из множества этапов, которые придется освоить (docker, npm, react, js, typescript). - Чтобы заменить Power BI или Qlik Sense этим инструментом, придется развернуть целый зоопарк других инструментов для data management & data delivery. - В команде желательно иметь devops, который бы помог все это поднять и настроить. - Довольно хорошо развивается, т.к. под крылом Apache. - Вероятно из-за санкций получит большее распространение в России, что приведет к появлению большего числа доступных визуализаций и фич (правда вопрос насколько сообщество разработчиков будет в свои ряды принимать российских контрибьютеров после текущих событий). - В отличие от Enterprise решений - можно добавить в функционал свою фичу (любую) и возможно даже отправить MR. - Любые найденные баги - ваша головная боль.

https://t.me/superset_ru альтернатива

Microsoft приостанавливает продажи товаров и предоставление услуг в России.

Немецкий разработчик программного обеспечения для организаций SAP прекращает работу в России.

Основательница The Question и бывшая руководительница «Яндекс.Кью» Тоня Самсонова уволилась из «Яндекса» в знак протеста против политики компании. «В связи с тем, что Яндекс не отображает на главной странице yandex.ru информацию о том, что Российские войска обстреливают города Украины и убивают мирных жителей, прошу уволить меня по собственному желанию. Действия компании я считаю преступлением и соучастием в войне и убийствах», — написала она в инстаграме.

👍 👏🏻

Открытое письмо представителей российской ИТ-индустрии против военной операции на территории Украины «Мы, работники российской ИТ-индустрии, категорически против военных действий на территории Украины, начатых вооруженными силами Российской Федерации. Мы считаем любое проявление силы, которое ведет к развязыванию войны, неоправданным и призываем отменить решения, которые могут неминуемо повлечь за собой человеческие жертвы с каждой стороны. Наши страны всегда были близки друг другу. И сегодня мы волнуемся за наших украинских коллег, друзей, родных. Мы обеспокоены и морально угнетены тем, что сейчас происходит в городах Украины. В своей работе мы делаем лучшие продукты, лучший сервис, мы искренне делаем все, чтобы российскими ИТ-решениям можно было гордиться. Мы хотим, чтобы наша страна ассоциировалась не с войной, а с миром и прогрессом. Прогресс и развитие технологий во благо человеку невозможны в условиях войны и угроз жизням и здоровью людей, они возможны только в условиях сотрудничества, разнообразия точек зрения, обмена информацией и открытого диалога. Просим руководство нашей страны обратить внимание на наш призыв, найти способы урегулировать эту ситуацию мирным путем и не допустить человеческих жертв.» Если вы работаете в российской IT-индустрии, то можете оставить свою подпись под открытым письмом по ссылке https://docs.google.com/forms/d/e/1FAIpQLScEsxsoXl_7R4aD5F8-B7fCCBVwU_BXBaOVJsKszbFyRHRkkw/viewform

Не всегда можно увидеть где-то нормальный финансовый дашборд, а тем более поделиться цифрами без замазывания) Ну да ладно, своим можно делиться. Так вот, я пользуюсь Google AdSense дашбордом, который сочетает в себе в одном месте всю необходимую информацию для понимания как трендов, так и текущих доходов по сайтам. Он мне нравится, поэтому решил поделиться. Очень нравится верхняя плашечка с KPI, где сравниваются разные периоды: - Текущий месяц к месяцу годом ранее (с учетом прошедших дней, т.е. можно оценить доход по сравнению с предыдущим годом). - Текущие 28 дней с предыдущими 28 днями - понимаешь, как растет/падает/не меняется доход (скользящий период). - Сравнение текущих 7 дней с предыдущими 7 днями (скользящий период). - Ну и динамика в разбивке по показателям эффективности - сравнение трендов текущих 3 месяцев с предыдущими - видимо 90 дней текущих с предыдущими сравниваются).

Симпатичная идея как мерять полезность дашбордов/отдельных вкладок в аналитических приложениях (подсмотрел в яндекс-метрике)

1

Премия Data driven проект года: открыт прием заявок Институт бизнес-аналитики принимает заявки на участие в премии «Data driven проект года». Приглашаются все, в чьей практике есть интересные кейсы. Есть номинации для менеджеров, интеграторов, вендоров, а также обычные аналитики, которые поделятся необычными визуализациями и кейсами. Вручение премии будет проходить на закрытой BI-вечеринке Института бизнес аналитики в начале февраля. Что дает участие? + Нетворкинг, полезные связи, обмен опытом с самыми успешными цифровыми компаниями. + Интеграторы смогут поделиться полезными кейсами, и познакомиться с потенциальными заказчиками. + Вендоры смогут показать потенциал своих платформ, показать успешные кейсы. + Рядовые аналитики смогут показать интересные проекты и визуализации, познакомятся с потенциальными работодателями. Не обязательно представлять крупную корпорацию и масштабные проекты. Смело подавайте свои заявки - https://bit.ly/30QQzwe

Презенташки по Clickhouse https://presentations.clickhouse.com/talks_index.html

Зимняя стажировка в Институте бизнес-аналитики: заявки принимаются до 10 декабря Это практика в полевых условиях. Без воды и гипотетических задач. Только реальные проекты и знания, которые понадобятся аналитикам в работе. - Работа с данными: такими, которые обычно бывают у заказчика. - Решение задач бизнеса с помощью визуализации данных. - Работа с заказчиками, которые сами не знают, чего хотят. Выстраивание коммуникации и презентация своего проекта. Кандидаты получают тестовое задание, а ориентировочно 15 декабря проведут первое занятие для всех, кто прошел тестовый отбор. Подробнее о стажировке можно узнать по ссылке 👇 https://bit.ly/2ZTEENU

Power BI Performance Tuning Cheatsheet! - Data Mozart https://data-mozart.com/power-bi-performance-tuning-cheatsheet/