Data Engineer

Подъехала новая архитектура ELTP. Extract, Load, Transform, and Publish. Этап publish похож на Reverse ETL, но как пишет автор статьи, вы не понимаете - это другое. All Reverse ETL destinations are Publish-type destinations, but not all Publish destinations are Reverse ETL. Сама статья в блоге Airbyte. Похоже теперь каждая компания хочешь придумать модный buzz word, как DBT делают с modern data stack. И потом продвигать новую концепцию на всех конференциях.

Подъехал "убийца DBT" Встречаем SQL Mesh SQLMesh можно использовать через CLI/ноутбук или в веб-IDE с открытым исходным кодом. SQLMesh создает эффективные среды разработки и промежуточного хранения с помощью «Виртуальных витрин данных» с использованием представлений, что позволяет вам плавно откатывать или накатывать изменения! С помощью простой замены указателя вы можете перенести свои «промежуточные» данные в рабочую среду. Это означает, что вы получаете неограниченные среды copy-on-write при записи, которые делают исследование данных и предварительный просмотр изменений дешевыми, простыми и безопасными. Основной концепцией SQLMesh является идея виртуальных сред данных, которые представляют собой набор представлений в схеме, указывающих на материализованные таблицы, хранящиеся в отдельной схеме Некоторые другие ключевые особенности: - Автоматическое создание DAG путем семантического анализа и понимания сценариев SQL или Python. - Модульные и интеграционные тесты CI-Runnable с возможностью преобразования в DuckDB. - Обнаружение и согласование изменений на уровне столбца - Нативная интеграция с Airflow - Импортируйте существующий проект DBT и запустите его в среде выполнения SQLMesh(в превью) Выглядит достаточно интересно

Вот еще интересная статья о том, как data-driven подход (не только он, конечно) помог превратить неудачника четвертого дивизиона в крепкий клуб английской премьер-лиги. С детства за Брайтон😁 https://www.sports.ru/tribuna/blogs/knedlikyapivo/3195611.html

Data-driven "Милан" Билли Бин и манибол в "Милане" - однозначно новость года для меня из мира данных. Хочется понаблюдать, что из этого получится, жаль, что времени не хватает матчи смотреть. Европейский футбол пока достаточно прохладно относится к продвинутым данным, предпочитая надеяться на "чуечку", и автор в статье объясняет почему. Поработать в спорте - моя детская мечта, с которой и началось увлечение данными. Вот только ФКСМ пока молчит... А, судя по летним трансферам и последним результатам, дата-офис им крайне необходим😁 https://www.sports.ru/tribuna/blogs/kleshchonok/3171782.html

РГСУ разрабатывает систему социального рейтинга для россиян по китайскому образцу. Студентов вуза заставляют принять участие в тестировании платформы  «Мы», формирующей социальный рейтинг. Авторы проекта предлагают связать скоринг-код (социальный рейтинг) со СНИЛСом, ИННом, паспортом и телефоном. В докладе год назад открыто говорилось о том, что вуз намерен предложить систему не только банкам, но и губернаторам для разделения граждан на классы по полезности для государства: «Если ресурсов мало, нужны понятные критерии их распределения»

#немогумолчать Это просто невероятные ощущения, когда тебе в рассылке приходит твоя же статья😁 Всех с пятницей!

Светлой памяти Майкла Гэмбона... Это ж надо было так совпасть. https://vc.ru/u/2214539-mathshub/856411-garri-potter-i-inzhenery-dannyh

Я впервые про эту фишку узнал в 2013 году. Как сейчас помню, коллега так делала. Уверяла, что их на предыдущей работе DBA заставляли так писать, дескать запросы быстрее работают. Сути она не знала, на плане разницы не было. Чуть позже я услышал версию, что в ранних версиях MS баг был, Merge Join на неравенствах не работал, а 1=1 равенство добавляло и некоторые запросы действительно ускорялись. Баг починили, а привычка осталась. Про то, что так удобнее условия закомментить, я додумался значительно позднее😀 https://t.me/rockyourdata/4325