Data & IT Career

FREE LIVE STREAM | ВЕБИНАР по программе «Apache Spark и Scala для дата-инжиниринга» 📅Дата: 6 сентября 2023 🕗Время: 20:00 по МСК 🔵Место: Zoom Расскажем, как за 6 недель получить до года опыта в использовании Apache Spark для задач дата-инжиниринга Для кого вебинар подойдет? ✅ дата-инженеры, кому по работе надо погрузиться в Apache Spark и Scala, но не хватает практического опыта ✅ разработчики, если хотите сменить профессию, научиться строить пайплайны данных, то вебинар поможет разобраться с вектором обучения и профессионального развития ✅ дата-сайентисты, если вы пишите на PySpark, но нужно погружение в Scala API Спикеры: 🌴Сергей Гришаев, Сбермаркет - преподаватель программы 🕶Владимир Васев, Сбербанк - координатор программы 🧢Алексей Ница, руководитель образовательных программ NewProLab Всем участникам стрима будет доступен промокод со специальными условиями участия в программе (старт потока 13 сентября) 🔗[Записаться на бесплатный вебинар] https://t.me/newprolab_news/155

https://t.me/russianchatbi/28221 #airflow

https://t.me/ohmydataengineer/398?comment=2020 Мне, если что, можете любые реакшены - любым буду рад! 😁

#weeklydatanewsdump Build your data pipeline in your AWS modern data platform using AWS Lake Formation, AWS Glue, and dbt Core - Теперь в AWS Glue можно использовать dbt core (бесплатный который), как я понимаю для Spark SQL. Я все еще не могу согласиться, что для Spark нужно использовать dbt. 😱 Confluent Announces Intent to Acquire Immerok to Accelerate the Development of a Cloud Native Apache Flink Offering - Confluent купила компания, которая продавало другое популярное решение для стриминга Apache Flink. LLM Apps Are Mostly Data Pipelines - статья написано Meltano. Напомню, что это набор бесплатных connectors для ELT. Я на своем опыте уже зае заколебался использовать этот инструмент для Google Analytics, Google Ads, Google Search Console, Microsoft Bing. Каждый раз как в первый раз. Приходится лезть в source code, создавать баги в репозиторий и искать почему эта хреновина не работает. 👿 А про LLM я бы вообще помалкивал бы🤐 Does your organization have a culture of mediocrity? - про "посредственность" в организации Schedule and Invoke Notebooks as Web Services using Jupyter API - если вы уж так любите в ноутбуках творить 🧐 то можно уже и на расписание поставить ваше творение😙 Advantage Lakehouse - онлайн мероприятие для Databricks и вам еще дадут купон на 100$ для экзамена Riverbed: Optimizing Data Access at Airbnb’s Scale Prefect обещает прислать носки и кепку, или даже футболку и кружку, если вы им оставите хороший отзыв. Напоминает накрученный рейтинг от Амазона, где у китайской товара тысячи 5 звезд🫣 Effectively using the MERGE command in Snowflake - пример использования MERGE в Snowflake и возможность оптимизации

Business Insider проследил, как менялась риторика топовых CEO об удалёнке за последние три года. • Марк Цукерберг в 2020 году: «Удалённая работа повысит благосостояние в США». • Марк Цукерберг сейчас: вводит мандат на обязательное посещение офиса минимум 3 раза в неделю, за несоблюдение которого работника могут уволить. • Глава Snapchat Эван Шпигель в 2020 году: «Удалёнка позволит проводить больше времени с семьёй». • Эван Шпигель сейчас: обязал сотрудников посещать офис минимум 4 раза в неделю. • Глава Zoom Эрик Юань в 2020 году: «Когда пандемия закончится — мы сохраним гибридный график работы». • Глава Zoom Эрик Юань сейчас: обязывает сотрудников посещать офис минимум 2 раза в неделю (единственный CEO, который не переобулся). Хуже всего пришлось сотрудникам Твиттера. Прежний CEO и основатель соцсети Джек Дорси говорил в 2020 году, что его работники могут работать из дома столько, сколько им захочется. На смену Дорси пришёл Маск, который в первую же неделю полностью запретил удалённую работу.

В LinkedIn появились вакансии от нидерландской Yandex N.V — международной части Яндекса, пишет РБК. В описании вакансии сказано, что «новая компания намерена стать ведущим игроком на рынке технологий в Европе и на Ближнем Востоке». Запуск планируется в начале 2024 года, название новой компании пока неизвестно. Ранее я рассказывал, как именно будет существовать российский Яндекс и отпочковавшаяся от него международная компания.

Хорошие reference архитектуры дата платформы Хотя кое-где маловато примеров инструментов, но все мейджеры есть и выглядит чистенько. Ярким цветом выделены блоки, в которых произошли изменения за последние два года. Статья со словестными наблюдениями авторов и картинки в хорошем разрешении: https://a16z.com/2020/10/15/emerging-architectures-for-modern-data-infrastructure/

https://t.me/Products_Events/660 #webinar

когда тебе открыли удивительный мир линтеров.. 😅

А что вы думаете про #dbt + #spark? = ❤️ or not very? 😁 https://t.me/rockyourdata/4292?comment=29623

технари & стартаперы 😁 #meetup

А вы знаете, что Rust — "самый любимый ЯП"? (ещё и становится самым упоминаемым как ответ на вопрос "ну и на чём это можно переписать, по вашему?..", по крайней мере, в data-related сфере...) #Rust #meetup

Airflow 2.7.0 Вчера состоялся большой релиз новой версии самого популярного Workflow менеджера в Python: Apache Airflow 2.7.0 Из новых фишечек: — Setup and Teardown tasks — Cluster Activity UI — OpenLineage built-in integration Улучшения: — Убрали поддержку Python 3.7 — В рамках улучшения безопасности Airflow запретили функцию проверки Connections в UI — Новый Graph View теперь используется по умолчанию, старую версию удалили — При обновлении версии рекомендуется накатывать миграции через команду airflow db migrate Полный список можно посмотреть тут.