🔋 Труба данных

https://www.youtube.com/watch?v=-YQZUUYOccY У этого канала непростительно мало просмотров и подписчиков! Челик выкладывает короткие видео (5-10 минут) про базовые концепции, подходы, темы в Data Engineering. Не смотря на очень кликбейтный заголовок, внутри все очень честно: если вы думаете, что везде сноуфлейками обмазались и MDS заадоптили, а только вы, центурион, сидите на своем хадупосраке и ковыряете умерший ORC - вы ошибаетесь. Отвратительные архитектуры, всратые модели и костыли есть везде, от ООО "Рога и Копыта" до ФААНГа. Не расстраивайтесь. (Кстати, если не верите не очень популярному инфлюенсеру, вот вам более популярный говорит про то же самое https://www.youtube.com/watch?v=l58yH2aOoJU) @ohmydataengineer

#пятничныйюмор Я знаю, вы здесь только ради этого контента! @ohmydataengineer

https://eng.lyft.com/from-big-data-to-better-data-ensuring-data-quality-with-verity-a996b49343f6 У Lyft (это который конкурент Gett 😂) есть собственное решение в Data Quality - называется Verity. Хорошая описательная статья про то, как это работает у них там. @ohmydataengineer

How it started (~2012) VS How it is going (2023) Кстати, текущую карту можно интерактивно покликать вот тут https://mad.firstmark.com/ @ohmydataengineer

Идеальный пайплайн данных! @ohmydataengineer

Airflow Summit https://www.youtube.com/playlist?list=PLGudixcDaxY29qXIXhd90htHp_BFk-Bqf Выложили видосики с прошедшего Airflow Summit. 36 докладов и выступлений про текущее и будущее Airflow. @ohmydataengineer | Поддержать автора на Patreon | на Бусти

New Generative AI Infra Stack Не знаю, что с этим roadmap делать. Предлагаю просто взглянуть на него, запомнить пару рандомных тулов и сервисов и отложить на годик. Можно еще посмотреть на тулмап от Sequoia - https://www.sequoiacap.com/article/generative-ai-act-two/ Потом принесут на поддержку и интеграцию. А пока можно не тратить на это времени. @ohmydataengineer | Поддержать автора на Patreon | на Бусти

https://aws.amazon.com/certification/certified-data-engineer-associate/ У AWS появилась сертификация по Data Engineering. Пока только Associate, думаю, Professional / Specialist тоже появится плюс-минус в скором времени. Наличие сертификата у вас может как и добавить вам плюсов в резюме, а может и вообще никак не повлиять. Возможно, вы и так уже все знаете, а мб при подготовке узнаете что-то интересное. @ohmydataengineer | Поддержать автора на Patreon | на Бусти

Статистика канала: Сентябрь 2023 Пост саморефлексии, не ожидайте тут откровений про пайплайны и хранилища, скоре это просто возможность для меня посмотреть на прогресс этого канала в количестве подписчиков, количестве 💩 что вы мне накидываете и в целом просто быть более открытым с вами про то, сколько это времени занимает, какие идеи дальше у меня в голове и вот это все. Что мы имеем: - Всего 11 сообщений я запостил в канал - Канал вырос примерно на 3% человек - В среднем 1800 людей видят посты (что же с остальными 800 😂) - Самый топовый пост был анонс про статью на Бусти (на этой неделе уже будет в открытом доступе) - Сам Бусти и Патрен пока в стартовом состоянии (5 платных подписчиков), Не самые плохие результаты, но есть куда двигаться. Эпизодически в комментах прилетают хорошие мысли и идеи, которые надо воплощать. Спасибо большое, что читаете меня, всегда буду рад и благодарен вашей поддержке - https://boosty.to/datapipeline и https://www.patreon.com/DataPipeline (это всего лишь 100 рублей в месяц или 4 евро, если вы с иностранной картой). "Труба Данных" @ohmydataengineer | Поддержать автора на Patreon | на Бусти

https://x.com/aliafonzy43/status/1705548273233109076 Если вы когда-нибудь переживали про качество своего кода, про баги, которые ваш код генерирует или ваши косяки на проде, сходите в ответы и репосты к твиту, вам станет сильно легче: народ рассказывает как роняли базы, убивали кластеры и вгоняли продакшен на много сотен тысяч юзеров в 50* ошибки на несколько часов. @ohmydataengineer | Поддержать автора на Patreon | на Бусти

Колесо Сансары, не иначе. Дагстер, как один из бенефициаров всей этой багадельни под названием Modern Data Stack, теперь будет рассказывать о том, сколько же проблем у MDS и как нам всем избежать этой ловушки. На отдельном эвенте! How to escape this Modern Data Trap, get back to the initial intent: to deliver a developer experience that is unified, streamlined, collaborative, and where you are in control of costs. Еще одно прекрасное подтверждение тому, что стоит переживать лишь о фундаментальных навыках, а всю мишуру вокруг в виде фреймворков и тулов - тщательно фильтровать. https://dagster.io/events/dagster-launch-week-oct-2023 @ohmydataengineer | Поддержать автора на Patreon | на Бусти

Нужно больше OpenSource! Видя счет за Tableau внутри компании, иногда мне хочется плакать. Или притащить и заменить это каким-нибудь OpenSource тулом (нежно намекаю на это тимлиду визуализации, которая читает мой канал ❤️). Но потом я останавливаюсь, взвешиваю текущие факторы "за" и "против" и пока откладываю эту идею. Разнообразие OpenSource тулов это хорошо, ведь каждый может себе подобрать то, что ему подходит. И пусть меня, как всегда, закидают 💩 в реакциях, факт того, что Яндекс сделал открытым DataLens - не может не радовать. Возможно, кому-то этот инструмент тоже подойдет. https://github.com/datalens-tech/datalens и https://datalens.tech/ и @YandexDataLens @ohmydataengineer | Поддержать автора на Patreon | на Бусти

Шо там по стандартам? Если вы не знаете, как начать внедрять Data Contracts, то вот наткнулся на open source Data Contract Specification. Прекрасно поясняется на базовом примере, как должен выглядеть контракт на данные. Доступно по ссылке https://datacontract.com/ Погодите, вот же еще стандарт ребят делали, другой, тоже с примерами https://github.com/AIDAUserGroup/open-data-contract-standard, Или вот https://dpds.opendatamesh.org/ Да не, вот же хороший... или нет? https://github.com/agile-lab-dev/Data-Product-Specification А не, вот правильная ссылка https://opendataproducts.org/ В общем, вы поняли 😂 @ohmydataengineer | Поддержать автора на Patreon | на Бусти

https://t.me/ohmydataengineer?boost Тут Телеграм форсит вот такую штуку, сторис от имени канала. Оно нам надо? Вы вообще смотрите сторис в Телеграме? Или, например, видео-кружочки, как вам такой контент? Лично мне кажется, что это все ерунда какая-то, но буду рад вашему мнению в комментариях. @ohmydataengineer | Поддержать автора на Patreon | на Бусти

Пятничный юмор и никакой рекламы! @ohmydataengineer | Поддержать автора на Patreon | на Бусти

Понты паруса наши Я тут во втором канале "Осторожно, карьерные работы" https://t.me/career_works/21 писал про то, что очень важно записывать свои достижения и писать про них в резюме. Вот, я например, бейджик на LinkedIn заработал 😝😝😝 @ohmydataengineer | Поддержать автора на Patreon | на Бусти

Пятничный юмор 😂 @ohmydataengineer | Поддержать автора на Patreon | на Бусти

Вопрос подписчика Среди бонусов на Бусти уровня “Сеньор” есть такой перк - задать вопрос. Автор задает очень интересующий его вопрос и получает на него мое развернутое мнение-ответ. Итак, вот тут появился первый такой вот вопрос: На чьи плечи ложится процесс моделирования данных при построении хранилища в европейских\американских компаниях? Аналитик, инженер или дата архитектор? Кто обычно этим занимается? Честный ответ доступен подписчикам по ссылке тут. В открытый доступ на разных платформах отформатированная и более нейтральная версия выйдет через 2 недели. P.S. На Patreon такая опция доступна всем подписчикам (потому что там один уровень 😂) @ohmydataengineer | Поддержать автора на Patreon | на Бусти

Пятничный юмор 🙄 @ohmydataengineer | Поддержать автора на Patreon | на Бусти