DataEng

​​Митап для сообщества MongoDB в России 9 декабря в 18:00 очно и онлайн На митапе архитектор MongoDB Inc расскажет о новых возможностях MongoDB 5.0. Также руководители ИТ-команд из apteka.ru, kp.ru, Urent поделятся своим опытом: какую архитектуру проектов на MongoDB выбрали, с чем столкнулись при росте нагрузок. Команда Yandex.Cloud расскажет о Performance Diagnostics кластеров MongoDB и сценариях репликации и миграции данных с помощью Yandex Data Transfer. 📍Место проведения — г. Москва, ул. Льва Толстого, д. 16. Для посещения мероприятия необходимо иметь QR-код. 📡 Будет онлайн-трансляция, и для участия нужна регистрация. 🚀Программа и регистрация »

🔥 Kubernetes отлично подойдет на роль центрального звена платформы для работы с данными. Не слышали о таком подходе? На VK Kubernetes Conference мы покажем, что K8s - это технология, которая не только способна помирить Dev, Sec и Ops, но и может быть интересна Data Scientist и инженерам данных. ⏰ Когда: 9 декабря, 10:00 MSK 📍 Регистрация: https://cutt.ly/ST99xgZ Из докладов вы узнаете: 🔹 Какие инструменты дата инженера можно запустить в K8s и какие тонкости стоит при этом учитывать. 🔹Сравнение классических и облачных архитектур при работе с данными. 🔹 Инструменты для построения DWH и Data Lake в облаках. В программе — доклады, воркшопы и, конечно же, нетворкинг, во время которого у самых активных зрителей будет возможность поделиться собственным крутым опытом! 👉 Зарегистрироваться: https://cutt.ly/ST99xgZ

Приглашаем Data и DevOps-специалистов уровня Middle+ принять участие в Data&DevOps Hiring Weeks и стать частью команды EPAM. Регистрация уже открыта: epa.ms/devops-hw-tg-17 ⠀ Что дает участие в Hiring Weeks? ⠀ ✅Оффер в течение 48 часов ✅Welcome-бонус в размере оклада, если вы примете оффер в течение 7 дней ✅Можно выбрать удобную дату выхода в EPAM ⠀ В числе клиентов EPAM крупнейшие международные фармацевтические и биофармацевтические компании, розничные сети и телекоммуникационные компании. Кандидатам предстоит решать масштабные задачи и использовать современный технологический стек. Узнать более подробную информацию о проектах и вакансиях вы можете на сайте! ⠀ Что еще мы предлагаем? 📌Прозрачные условия карьерного роста: матрицы компетенций, фидбэк-сессии, ассессмент 📌Бенефиты: доступ к 1700+ курсов и тренингов, бесплатные курсы английского, ДМС со стоматологией с первого дня работы 📌Профессиональные комьюнити 📌Возможность релокации в 35+ стран ⠀ Регистрируйтесь прямо сейчас👉 epa.ms/devops-hw-tg-17

Также решил сделать скидку в 35% на курс Apache Airflow 2.0: практический курс. Промокод BLACKFRIDAY, действует до 28.11

Всем привет! 🫂 Сегодня, в последнюю пятницу ноября, я решил сделать большие скидки на своей учебной платформе: — Введение в Data Engineering: дата-пайплайны, по промокоду BLACKFRIDAY скидка 50%, 345 RUB — Анализ медицинских изображений в Python по промокоду BLACKFRIDAY скидка 50%, 250 RUB Промокод необходимо вводить в момент оформления заказа. Всем приятной учебы и выходных!

Redshift диалект для SQLAlchemy: https://aws.amazon.com/ru/blogs/big-data/use-the-amazon-redshift-sqlalchemy-dialect-to-interact-with-amazon-redshift/

Хотел порекомендовать вам канал Олега (@oleg_agapov) — Папка "Избранное" https://t.me/folder_favorites, сам также подписан на него. Олег работает BI-инженером, делится опытом и знаниями. Я как то уже писал про его труд https://github.com/oleg-agapov/data-engineering-book, это бесплатная книга (ещё в процессе написания) про дата инжиниринг.

Учебник по машинному обучению от Школы Анализа Данных, Яндекс: https://ml-handbook.ru/

Про интеграцию Prefect и dbt: https://medium.com/the-prefect-blog/orchestrating-elt-with-prefect-and-dbt-a-flow-of-flows-part-1-aac77126473

Вебинар про Data Quality в Airflow: https://www.youtube.com/watch?v=6ib2gH4A0rI

Фейсбук (а ныне Мета) провели интересный саммит на тему Data Observability, так и называется Data Observability Learning Summit 2021. Доклады уже доступны в сети без регистрации и смс: https://www.facebook.com/watch/9445547199/490224945331402 Список отдельных докладов: - Data Quality at Uber - Data and ML observability in the public cloud - Data observability: Through a practitioner's lens - Observability: How to eliminate data downtime and start trusting your data - Defining reliability: SLAs for data platform teams - Multi-dimensional DO for modern data infra: Why today's AI and analytics workloads require E2E DO Тема интересная и актуальная, сегодня посмотрю парочку докладов.

Устали от многоэтапных собеседований, скринингов и тестовых заданий? Тинькофф готов дать оффер за 1 день Если вы — опытный системный аналитик DWH, работающий с базами данных и умеющий писать SQL-запросы, то присоединяйтесь к комьюнити DWH из более чем 300 человек. В Тинькофф 20 команд работают над 50 проектами, поэтому вы легко найдете интересное направление. Работайте удаленно или в офисе: комфортно пройти онбординг помогут менторы, общие встречи, внутреннее обучение и мероприятия. Все секции пройдут онлайн в Zoom 4 декабря. Вы узнаете о проектах, задачах, условиях работы и сможете задать любые, даже самые каверзные вопросы. Успейте оставить заявку до 1 декабря. Фидбэк об участии пришлют в течение 3 дней: https://u.tinkoff.ru/onedayoffer-dwh

Нашел новый венчурный фонд, инвестирующий в инженеров-основателей в области данных: аналитика, инфраструктура, AI/DL. Сайт фонда https://www.dcf1.vc/, если у вас есть идея или прототип, то можно попробовать подать заявку на получение инвестиций. Основатель фонда Pete Soderling, он же основатель Data Council. Насколько я понял, сейчас цель фонда это проинвестировать в 1 тысячу инженеров-основателей.

Amazon бесплатно курсы по AWS раздаёт: https://amzn.to/31XqYC8, правда для моей страны нет возможности посмотреть их. Пишет что только Kindle titles могу брать, но возможно для вас ситуация будет другой.

В начале сентября прошел PyCon RU 2021, в сети стали доступны доклады: https://www.youtube.com/user/videoitpeople/videos Среди них есть интересные презентации: — Обработка ошибок в Python — Pattern matching: польза или хайп? — Построение мониторинга python-приложений с использованием opentelemetry — Rефакторинг: Regулярный и ASTообразный

Компания Altinity (та, которая теперь активно развивает ClickHouse) 2 ноября провела конференцию под названием Open Source Analytics Conference, в качестве спикеров были такие звёзды как Maxime Beauchemin, Andy Pavlo, Пётр Зайцев. Доклады уже доступны в сети бесплатно и без смс. Наиболее заметные: — Analytic Trends & Data Engineering — Do We Still Need People To Write Database Systems? — Distributed Tracing Using ClickHouse at eBay — Data Rivers — The New Analytics Architecture — Managing Transactional and Analytical Workloads with Open Source Databases — Effective Dashboard Design Using Apache Superset — Succeeding with Apache Druid and Clickstream Data

Откопал свежее видео про Dagster от его автора на очередном митапе: https://www.youtube.com/watch?v=OYNPa_xxeho У меня никак руки не дойдут его пощупать, уж больно привлекательно он выглядит. Есть кто уже пробовал его в деле?

Неплохой гайд по подготовке к интервью по SQL с примерами от «Тамби Масаева»: https://www.youtube.com/watch?v=y6CWIBKEw_g

LAST CALL 🛎 11 ноября в robot_dreams стартует курс для начинающих BI-аналитиков, data-/product-аналитиков и SQL-разработчиков, которые хотят научиться проектировать Data Warehouse и предлагать бизнес-решения на основе аналитики. ⠀ После курса вы: ▪️ пишете и оптимизируете SQL-запросы; ▪️ проектируете хранилища данных разных типов в зависимости от задач; ▪️ умеете управлять данными и разбираетесь в отличиях ETL- и ELT-подходов; ▪️ визуализируете результаты анализа и собираете данные в понятные дашборды; ▪️ находите аномалии в данных, валидируете гипотезы и делаете прогнозы для бизнеса. ⠀ В результате ― получите полный стек знаний и навыков для развития в BI-аналитике и BI-разработке. Чтобы зарегистрироваться на курс, перейдите по ссылке и заполните форму 🔝 https://bit.ly/2ZwUUUN 🔝

На сайте ain вышла небольшая обзорная статья про дата-инженеров: http://bit.ly/article_for_dataenginners3 В ней есть краткое описание кто такие дата-инженеры, чем они занимаются, а также небольшая подборка полезных ресурсов откуда можно почерпнуть дополнительные знания. В этом списке в том числе есть ссылка и на мой канал 🤗