Data Engineering / Инженерия данных / Data Engineer / DWH

Data Engineering with Apache Spark. A Hands-On Guide for Building Mission-Critical Streaming Applications.pdf

gRPC: Запуск и эксплуатация облачных приложений - Go и Java для Docker и Kubernetes Год от года обретая новых сторонников, облачно-ориентированные и микросервисные архитектуры стали основой современного IT. Такой переход значительно повлиял и на структуру коммуникаций. Теперь приложения часто подключаются друг к другу по сети, и это происходит с помощью технологий межпроцессной коммуникации. Одной из наиболее популярных и эффективных технологий такого рода является gRPC. В книге разбирается, как технология gRPC устроена «под капотом».

Как вытащить из данных максимум Навыки аналитики для неспециалистов (Джордан Морроу)

Ansible: Up and Running - Automating Configuration Management and Deployment the Easy Way, 3rd Edition 🔹 Explore Ansible configuration management and deployment 🔹 Manage Linux, Windows, and network devices 🔹 Learn how to apply Ansible best practices 🔹 Understand how to use the new collections format 🔹 Create custom modules and plug-ins 🔹 Generate reusable Ansible content for open source middleware 🔹 Build container images, images for cloud instances, and cloud infrastructure 🔹 Automate CI/CD development environments

Data Analysis with Python and PySpark (Final Release) (Jonathan Rioux) 👉 @devops_dataops In Data Analysis with Python and PySpark you will learn how to: • Manage your data as it scales across multiple machines • Scale up your data programs with full confidence • Read and write data to and from a variety of sources and formats • Deal with messy data with PySpark’s data manipulation functionality • Discover new data sets and perform exploratory data analysis • Build automated data pipelines that transform, summarize, and get insights from data • Troubleshoot common PySpark errors • Creating reliable long-running jobs

Обработка больших данных с Apache Spark– СПб: Университет ИТМО, 2019г. Учебно-методическое пособие содержит теоретический материал и примеры выполнения задач для курса «Введение в технологии обработки больших данных». Пособие составлено с учётом проведения лабораторных работ с помощью фреймворка Apache Spark. Содержание дисциплины охватывает круг вопросов, связанных с организацией построения ETLконвейеров на основе Spark SQL и DataFrame API для распределенного выполнения на кластерных вычислительных система, включая использование итеративных вычислений, важных для машинного обучения, рассмотрения shuffle механизмов и принципов организации управлением памятью в Spark. В результате освоения дисциплины студенты приобретают способности разработки программ и построения конвейеров обработки различных данных, навыки по работе с распределенными кластерными системами, а также способности к применению машинного обучения на распределенных наборах данных.

Инженерия машинного обучения Содержит множество рекомендаций и паттернов проектирования надежных и масштабируемых решений в области машинного обучения.