DataEng

Ребята из IT Resume @it_resume собрали большую подборку авторских телеграмм-каналов для аналитиков. Там более 20 каналов на любой вкус - анализ данных, программирование, data engineering, data science и многое другое 👍 Теперь вам точно будет, что почитать на предстоящих выходных 🙃 Подробнее - в статье

Курсы по Redis стали доступны в режиме self-paced обучения бесплатно: https://university.redislabs.com/

Конференция о дата-инжиниринге SmartData 2021 ищет спикеров 🎙 Вам есть о чем рассказать и что обсудить с коллегами по цеху? Тогда вам нужно подать заявку на участие в конференции! В этом году SmartData пройдет 11-14 октября, онлайн (гибридный формат решили отложить из-за непредсказуемости ввода ограничений на офлайн мероприятия). Темы, которые ждут больше всего: ✔️ Стриминг; ✔️ СУБД и хранилища для больших данных; ✔️ Архитектура DWH; ✔️ Data governance; ✔️Технологии построения ETL; ✔️ Оркестрация и MLOps. Но этим списком не ограничивается — вы можете подать заявку с любой темой из области дата-инжиниринга. Если все-таки сомневаетесь, то программный комитет всегда готов обсудить актуальность темы и помочь выбрать правильный вектор доклада. Плюс, ребята помогут с прокачкой ваших ораторских навыков, если у вас мало опыта в публичных выступлениях.  👉Подать заявку и узнать подробности можно на сайте. ❓Вопросы присылайте на почту program@smartdata.ru

Ожидается серия постов про Kafka на службе у кибербезопасников: https://www.kai-waehner.de/blog/2021/07/02/kafka-cybersecurity-siem-soar-part-1-of-6-data-in-motion-as-backbone/

Крутейшие доклады с Python Web Conf 2021: https://www.youtube.com/playlist?list=PLt4L3V8wVnF4iB8pGfkR7eozIJPwCM7vv

Мы опубликовали материалы митапа DE or DIE #7: https://deordie.org/meetups/07/ (видео докладов + презентации в формате PDF).

Подготовил конспект курса по Spark. Поможет освежить важное в памяти или сэкономить время на просмотре. Сам курс к изучению рекомендую. #briefly #spark Spark Starter Kit https://telegra.ph/Udemy-Spark-Starter-Kit-part-1-06-19 What's inside: — Hadoop and Spark comparison: storage, MapReduce, speed, resources management. — Challenges Spark tries to address. — How Spark achieves high efficiency. — How Spark achieves fault-tolerance. — What is RDD. Ссылка на курс: Spark Starter Kit

Нашел видео про Dagster от одного из его авторов: https://www.youtube.com/watch?v=MF5OaQEOF2E Он у меня "на карандаше", хочу попробовать и написать небольшой туториал в блоге.

Сказка про Apache Kafka: https://www.gentlydownthe.stream/

Прямо сейчас идёт митап по dataeng: https://www.youtube.com/watch?v=KzVFf65owck

Про новую роль Analytics Engineer: https://youtu.be/C5UcxBwdCEg

Работаете с данными и аналитикой? 15 июня в OTUS для вас пройдет demo-занятие «Практическое качество данных». Преподаватель Артемий Козырь разберет вопрос актуальности и своевременности данных. Поговорим про тесты схемы и бизнес-логики, получение статусов и уведомлений в Slack и многое другое. Еще больше best practice ждет вас на курсе «Data Warehouse Analyst», а demo-урок в рамках курса позволит вам оценить формат обучения. Регистрируйтесь на вебинар и подключайтесь 15 июня, будет интересно и полезно 👉 https://otus.pw/qK4O/

DE or DIE #7 Ребята, мы рады анонсировать митап #7 нашего сообщества DE or DIE! Дата и время: 16 июня (среда) 18:00 Формат: Онлайн (трансляция на YouTube) Регистрация по ссылке: https://deordie.timepad.ru/event/1669693/ Темы: 18:00-19:00. Handling late data. How to make the right choice? - Дарья Буланова 19:15-20:15. Ingestion and historization in the Data Lake? - Илья Тодор 20:15-20:45. After Show - организаторы DE or DIE и спикеры (*): Несмотря на англоязычные названия доклады будут на русском языке. Ждем вас в следующую среду. Ссылку на трансляцию опубликуем за час до мероприятия.

8 июня Иван Трусов - Solution Architect Databricks в Берлине расскажет нам про платформу Databricks и Lakehouse. У нас запланирована целая серия вебинаров с русскоговорящими архитекторами Databricks, stay tuned! Хочу рассказать как со всеми ними познакомился. Так как я внедряю Azure Databricks в Microsoft Gaming/Xbox, то спустя какое-то время я устал париться с поддержкой Azure и ждать неделями их бесполезные ответы, я написал директору Azure Databricks в Microsoft и попросил помочь с CI/CD, в итоге наc соединили с командой архитекторов в Берлине и Амстердаме и я рассказал им про datalearn и попросил выступить. Мир тесен! PS CI/CD pipeline уже работает!

Интересные, на мой взгляд, доклады PyCON US 2021: — Hacking Dask: Diving Into Dask Internals — Dask-SQL: Empowering Pythonistas for Scalable End-to-End Data Engineering — Event-driven applications: Apache Kafka and Python — Python Performance at Scale - Making Python Faster at Instagram — Data Processing on Ray — Large Scale Data Validation with Spark and Dask