Data Engineer

Еще #напочитать - "Fundamentals of Data Engineering". На мой взгляд, главная настольная книга инженера данных, первая книга, которую я бы хотел перевести на русский. Основное достоинство состоит в том, что авторы, переосмыслив годы развития профессии от ее корней до наших дней, обобщают накопленный опыт и приходят к простому и понятному, но вместе с тем и всеобъемлющему определению, из которого, в свою очередь, можно сделать логичный вывод: Инженер данных – это не про технологии и даже не про объемы, это просто про перемещение данных из одной точки в другую. Авторы проводят читателя через весь жизненный цикл данных от их появления в системе-источнике до превращения в красивые картинки и рекомендации для лиц, принимающих решения. И именно в этом контексте они объясняют функционал, поясняя, как инженер может быть полезен на данном конкретном этапе, с кем и как нужно выстраивать рабочие отношения, какие "подводные течения" его ожидают. Новичкам эта книга поможет выстроить карьерный трек, опытным специалистам - систематизировать свои знания, а различного рода руководителям – понять своих инженеров. https://www.oreilly.com/library/view/fundamentals-of-data/9781098108298/

Я очень люблю читать, читаю много, иногда даже техническую литературу. Поэтому периодически буду оставлять свои рекомендации #напочитать, касающиеся тематики данного канала. Numero uno в данном списке пусть будет "97 things every Data Engineer should know". Книга представляет собой сборник эссе на тему того, что каждый автор для себя считает важным в профессии, чем ему хочется поделиться с коллегами. Развлекательное чтиво на ночь, авторы ухитряются объяснять сложные вещи простым языком без помощи этих ваших “чатов гопоты”. Для опытных инженеров может показаться пустой тратой времени, разве что в английском попрактиковаться. Мое любимое: Chapter 84. Bob Geerdink - Tools Don’t Matter, Patterns and Practices Do. Отличный совет для тех, кто не знает, как построить свое обучение. Chapter 85. Ami Levin – What is Big Data? Тут лучше дать слово автору (в моем вольном переводе) "Гонка за "большими данными" напоминает преследование собственной тени. Это отвлекает организации от того, что реально необходимо для получения пользы от данных, подталкивает их на вложения в технологии для хранения и обработки, вместо улучшения качества данных и процесса принятия решений, что может быть достигнуто лишь благодаря знанию предметной области, умению строить модели данных, критическому мышлению и навыкам общения. Это требует обучения, практики и времени. Что не так легко и привлекательно, как фальшивое обещание "больших данных" стать "серебряной пулей", одним махом решающей все ваши проблемы." Chapter 95 - Why Data Science Teams Need Generalists, Not Specialists. Для меня инженер, утверждающий, что настоящим специалистом может быть признан только тот, кто познал Spark, Hadoop, Kafka или любую другую технологию, подобен футболисту, который умеет забивать голы только "в падении пяткой через себя". Да, красиво и эффектно, но побеждают чаще те, кто умеет лучше других использовать сложившиеся обстоятельства и протолкнуть мяч в ворота из любой позиции. https://www.amazon.com/Things-Every-Data-Engineer-Should/dp/1492062413