DataEng

Налетай, разбирай! На Udemy раздают двухчасовой курс по Redis бесплатно и без смс, но с регистрацией: https://bit.ly/3LeuoBQ

У ребят из Astronomer прошел очередной вебинар, на этот раз тема вебинара — Масштабирование Airflow Посмотреть можно в ютубе: https://www.youtube.com/watch?v=i9F0LFobejc Основной фокус сделали на двух самых популярных Executors: CeleryExecutor и KubernetesExecutor. Рассказали про нюансы и подводные камни каждого, в целом получилось полезно!

Яндекс.Практикум — это сервис онлайн-образования, доступный в России и Америке. Мы помогаем людям расти — на работе и в жизни. Если у вас есть знания и опыт в области Data Engineering — вы можете стать ревьюером, который проверяет, оценивает и комментирует самостоятельные работы студентов. Что делает ревьюер? Студенты учатся с помощью онлайн-тренажёра, а также выполняют самостоятельные работы, которые проверяет, оценивает и комментирует команда специалистов. Роль ревьюера в этом процессе очень важна: он проверяет задания студента и даёт обратную связь. Именно ревьюер решает: зачесть задание или нет. Также он даёт советы по улучшению задания, отмечает неточности, указывает на ошибки. Я хочу стать ревьюером. Меня возьмут? Скорее всего — да, если вы: — имеете опыт работы инженером данных, data scientist или аналитиком данных; — умеете работать с SQL, Python, AirFlow, Spark; — умеете доступно объяснять сложные вещи и оценивать чужую работу; — готовы посвящать проекту от 10 часов в неделю; Будет плюсом — Опыт работы с Grafana / MongoDB / ClickHouse / ElasticSearch / LogStash / — Kibana / HDFS / Kafka / Greenplum. Я подхожу. Что вы можете мне предложить? — удаленную работу с частичной занятостью, объём работы определяется индивидуально; — оклад 600 - 1 000 рублей за проверку одной работы; — обучение развивающей коммуникации и грамотному подходу к проверке проектов; — постоянную практику и углубление знаний; — возможность стать частью сообщества аналитиков, делающих образование качественным и доступным; — возможность помочь начинающим специалистам усвоить важные базовые вещи и поверить в себя. Откликнуться по ссылке Контакты: ТГ @HelenaTrishkina, trishkina-ev@yandex-team.ru

🔥 Залипательный тест по DataOps 🔥 — Ответьте на 20 вопросов и проверьте, насколько хорошо вы знаете SQL, Linux, Docker и т.п. Сможете сдать — пройдёте на продвинутый курс DataOps Engineer по спец. цене, где сможете изучить полный набор инструментов и практик Data Governance (управления данными). 👉🏻 ПРОЙТИ ТЕСТ: https://otus.pw/5qkF/ 📌 Хотите протестировать учебный процесс заранее? Регистрируйтесь на бесплатное демо-занятие «Spark. Обзор фреймворка» — 22.02, УЖЕ СКОРО, в 20:00 мск: https://otus.pw/FW3n/ — На вебинаре онлайн-курса посмотрим, что улучшили в Spark по сравнению с предыдущим фреймворком MapReduce. Рассмотрим как и для чего можно использовать сам Spark, как деплоить приложения на нем, а также посмотрим на примеры кода. Обсудим области применения данного фреймворка 🚀 Регистрируйтесь сейчас — напомним перед вебинаром!

Исследование data engineering позиций внутри биг-техов Наткнулся на небольшое исследование рынка dataeng позиций среди биг-тех компаний: Amazon, Google, Facebook (ой, Meta) и т.д. Автор вручную проанализировал 1К вакансий и выяснил некоторые инсайты: - основное требование это знать Python и SQL - чтобы расти дальше по технической части необходимо помимо Python/SQL иметь знания Java/Scala/C++ - биг-техи предпочитают code-heavy решения вместо новомодных low/no-code перделок - почему то автор в статье упоминает Airflow как low-code pipeline solution, думаю это опечатка - доля Amazon среди открытых вакансий по dataeng 65% - Tableau в 2 раза популярнее Power BI - Доли среди клауд провайдеров: AWS 53% (но стоит учесть, что 65% всех вакансий от Amazon), у Azure и GCP доли примерно одинаковые - стриминг становится всё популярнее (spark streaming, flink, kafka) - автор не забыл и про софт-скиллы, как ни крути, а работаем мы прежде всего с людьми У меня была идея сделать анализ dataeng вакансий среди популярных площадок для понимания наиболее актуальных требований и не ограничиваться только FAANG. Ждите в ближайшее время (это, кстати, также может стать неплохим data engineering проектом в копилку).

Стань дата-инженером с Яндекс Практикумом Сервис онлайн-обучения цифровым профессиям Яндекс Практикум запускает программу обучения по специальности «Инженер данных». Курс предназначен для студентов с как минимум базовым знанием SQL и Python – перед стартом необходимо пройти тест. Авторы и преподаватели – практикующие эксперты ведущих российских IT-компаний. Длительность – 6,5 месяцев. Курс на 75% состоит из практических занятий – по окончании программы в вашем портфолио будет не менее 10 проектов. Вы научитесь: - работать с технологиями Python, SQL, Metabase, Airflow, PostgreSQL, MongoDB, ClickHouse, Celery, Kafka, Hadoop, Apache Spark, Spark Streaming и Yandex.Cloud - извлекать, очищать и сохранять данные - создавать и поддерживать хранилища типов Data Warehouse и Data Lake - работать со стриминговой обработкой данных и облаками. Претендовать на работу по новой специальности студенты курса смогут уже в ходе обучения – с поиском вакансии помогут специалисты карьерного центра Яндекс Практикум. Запись на курс уже открыта, старт занятий для первого потока студентов – 21 марта. Стоимость курса: 95 000 рублей при разовой оплате, при оплате в рассрочку – 17 000 рублей в месяц. По завершении программы студенты получат сертификат о повышении квалификации. Запись на бесплатную вводную часть и подробности по ссылке.

​​📌 Развиваешься как дата-инженер? Тогда базы данных класса Massive Parallel Processing должны стать твоим неотъемлемым атрибутом. 📚 16 февраля в 16:00 (мск) пройдет вебинар «Введение в MPP-базы данных на примере ClickHouse». Эта технология — отраслевой стандарт для хранения Больших Данных и решения разнообразных аналитических задач на их основе. 🔥 Занятие проведет Максим Мигутин, эксперт пятилетним опытом в индустрии данных и аналитики в роли внешнего консультанта (IBM) и in-house лидера Data Engineering и Data Science-проектов. ✅ На открытом уроке мы подробно разберем: - Что такое mpp-БД - Какие решения есть сегодня на рынке - Практический пример использования одной из самых инновационных mpp-систем — ClickHouse 👉 Пройдите вступительный тест для регистрации на занятие - https://otus.pw/2MXn/

Wes McKinney, автор pandas, пишет 3-е издание своей книги Python for Data Analysis в рамках Open Edition: https://wesmckinney.com/book/ Мой опыт работы с pandas начинался именно с этой книги, хотя тогда она мне казалась далеко не дружелюбной для новичков.

​​🔥 Spark — неотъмелемый инструмент для работы с большими данными. Он используется в крупных компаниях, таких как Amazon, eBay и Yahoo. Хочешь узнать о нем больше? 📌 22 февраля в 20:00 пройдет бесплатный вебинар «Spark. Обзор фреймворка» в OTUS. Занятие проведет Дарья Абдуллина, TeamLead отдела BigData в DeltaSolutions. ✅ На открытом уроке мы обсудим: - Что улучшили в Spark по сравнению с фреймворком MapReduce - Как и для чего можно использовать сам Spark - Как деплоить приложения на Spark, а также посмотрим на примеры кода - Области применения фреймворка 👉 Для регистрации пройдите вступительный тест - https://otus.pw/LqWV/

Отличный ресурс про внутреннее устройство PostgreSQL: https://www.interdb.jp/pg/index.html

Отличный обзор storage layers: Apache Hudi/Iceberg и Delta Lake от AWS https://www.youtube.com/watch?v=fryfx0Zg7KA

Отличный доклад про настоящее и будущее JSON/JSONB в PostgreSQL от Олега Бартунова: https://www.youtube.com/watch?v=CPoNZRpcHf4

Нашел крутой обзорный видос Big Data движа в Китае: https://youtu.be/5vjFzZimEns Из видео узнал об инструментах с весьма забавными названиями: - Apache SeaTunnel: https://seatunnel.apache.org/ - Apache DolphinScheduler: https://dolphinscheduler.apache.org/

Нашел стандарт для описания метаданных Open Metadata: https://open-metadata.org/

Вышла первая лекция сего движа: https://www.youtube.com/watch?v=bkJZDmreIpA

Запись докладов ранее анонсированной конференции: https://youtu.be/WHN8bLSqebQ