Я – Дата Инженер | Евгений Виндюков

Спасибо за стрим! Запись была, кто пропустил, всегда можете посмотреть в записи. Запись скоро будет на YouTube! если остались вопросы, то здесь можно задать - @bootcampych_bot

https://telemost.yandex.ru/live/5ea3216116e14a1888a9be12bb047e56 заходим на стрим

Подлюкчаемся к стриму https://telemost.yandex.ru/j/36138409850196

Го начинаем СТРИМ! Поговорим за Буткемп Сентбярь! Вот ссылка на стрим - https://telemost.yandex.ru/live/afa760a8b2b349369d0290a40cb0c984 Запись будет. Не переживайте.

СТРИМ в 14:00 МСК Расскажу про BootCamp Сентябрь - что нового мы добавили и пару инсайтов от тех ребят, кто устроился через 2 месяца после буткемпа. По факту, оффер получают просто те, кто был настойчив и бесстрашен, а не самый умный и скиловый. Время — главный ресурс. Короче чем быстрее выйдете на рынок и начнется наступать на грабли, тем быстрее возьмете оффер. Я вам отвечаю, это прям БАЗА. Типа вы выходите на рынок, как есть.. начинаете позориться на собесах, но зато быстрее начинаете привыкать к вопросам и ваша самопрезентация достигает максимального уровня. Вы же понимаете, что люди всегда перфекционисты и нифига не будут выходить на рынок, пока все книжки не прочитают. Поэтому нужен оффер - выходите на рынок. я все. Вот ссылка на стрим - https://telemost.yandex.ru/live/afa760a8b2b349369d0290a40cb0c984 Запись будет. Не переживайте. Сейчас сложный период, но мы должны пробивать себе дорогу всегда. Не сдаваться!

Набор на BootCamp Сентябрь ОТКРЫТ! ВОСЬМОЙ ПОТОК стартует уже 1 сентября! Успей записаться через @bootcampych_bot и жми Хочу на BootCamp Для тех, кто не знает, что такое BootCamp DE. Мы сделали супер интенсив за 2 месяца в DE. Это буквально копия вашей будущей работы. Представьте, что вы приходите на новое место работы, и увольняющийся коллега передаёт вам дела. У него есть две недели, чтобы показать, что и как делать. Вы буквально впитываете всё как губка, потому что потом спрашивать будет не у кого. Так вот именно эту идею мы и вложили в Bootcamp! За короткое время вы погружаетесь в работу инженера данных, осваиваете современный стек и получаете навыки прохождения собеседований и составления резюме. Мы реально вычеркнули большую часть бесполезной теории. Упор исключительно на практику. Чтобы вы пришли на работу и сказали: "Мы это уже делали" 🔴 Уже в это воскресенье 2 августа делаем СТРИМ, где покажем, как сейчас выглядит BootCamp и что нового мы туда внесли! А пока можете посмотреть ▶️ видео с прошлого потока Ссылку на стрим скину ближе к 2 августа!!! Ближайший старт потока — 1 сентября Переходите в наш бот @bootcampych_bot и жми Хочу на BootCamp Кол-во мест ограничено!

Не знаешь AWS — не получишь оффер! Два дня назад в Тбилиси (Грузия) я пообщался с тимлидом DE из одной компании. Название не скажу. Это не банк. Сокращенная аббревиатура звучит как «Телевизор» на английском. ИХ стек и стек на рынке РФ — это параллельные вселенные. Буквально, вы разговариваете на разных языках. Из общего у нас только Airflow. Дальше идут Glue, Glue Catalog, Redshift, Athena, Lambda и еще ряд сервисов, о которых я СЛЫШАЛ, но ДО СИХ ПОР НЕ ЗНАЮ! (это просто позор). Конечно, под капотом это те же Spark, Greenplum и ClickHouse. Но знающие люди скажут, что я ЦКАТИНА такая и все неверно написал. Но кто, если не я, напишет вам понятным и доступным языком об этой душной теме? Я спросил, как они нанимают. Вы должны знать либо AWS, либо Azure, либо аналоги. Дальше можно будет уже вкатиться в процессы. Приоритет отдают тем кандидатам, которые могут привнести свою допэкспертизу в команду. Например, вы копали в своей карьере то, как работает Spark или Airflow (ну, прямо сильно копали), и можете закрыть какие-то пробелы в команде — тогда, может быть, возьмут. Тут релокация в Тбилиси и ОФИС. Ну, либо гибрид. Компания вас перевезет. Ищут на LinkedIn, HH. Нанимают и из РФ соответственно... короче, если вы говорите на языке команды. Но не все соглашаются, потому что все хотят ВАЛЮТНУЮ УДАЛЕНКУ. Хотя тут, возможно, играет большой фактор зарплаты. Например, а если вам предложат +1 млн долларов? Ладно... Короче, я думаю, насыпать денег — тоже может помочь завлечь. Что еще? Я спросил, а где учить? Roadmap? Bootcamp? Мне сказали, только курсы AWS внутри. Причем с сертификатом или без — это на твое усмотрение. Какие-то компании просят сертификат. Какой-то доступный ресурс, чтобы более-менее понятно было объяснено, я не услышал. Ну, возможно, Amazon действительно хорошо и так преподносят. Но для меня пока это все еще на уровне, когда я только начинал учить DE. Есть идея зайти и на этот стек и познакомить вас с ним. Но сейчас все выглядит как огромное кол-во инструментов, у которых есть тысячи аналогов, и на тему выбора которых могут спорить в ТРУШНЫХ чатах DE-шников. Вообще, иногда смотришь на все эти инструменты и кажется, что это инопланетные технологии, о которых должны знать только избранные. А обычные люди пусть страдают сами! Не гоже дело! Мы страдали и ты страдай!

▶️ Все инструменты Дата Инженера! https://youtu.be/H2afgcadVHg https://youtu.be/H2afgcadVHg https://youtu.be/H2afgcadVHg Рассказываю, ЗАЧЕМ ТАК МНОГО ИНСТРУМЕНТОВ для этого Дата Инженера! АСТАНАВИТЕСЬ! По факту раскидывал вам примеры использования на завайбкоженом сервисе — ссылка в описании к видосу. Кстати если будут вопросы или пожелания — пишите в лс. Или если есть вопросы и хочется видео на определенную тему, тоже пишите!

Грузия (Тбилиси) 22 июля - 28 июля Ребят, я буду в Тбилиси скоро на неделю. Если кто хочет пересечься, напишите в лс. Соберемся в одном месте, да за ДЕ поговорим) А может кто из вас знает хорошие места интересные, подскажите)

Типичные вопросы с собесов на Дата Инженера Часть 2 Hadoop | Spark | DWH https://youtu.be/BWSXh1Ussms https://youtu.be/BWSXh1Ussms https://youtu.be/BWSXh1Ussms Кстати, мы уже набираем поток на BootCamp сентябрь @bootcampych_bot

Базовый минимум для VS CODE Если у тебя нет этих расширений, то нам не о чем с тобой разговаривать. Это так на Патриках мне сказали, однажды, когда я убирал улицу от мусора. Еще и пять тысяч кинули в лицо из гелика.. Это был самый неоднозначный день в моей жизни. Ближе к делу. Есть VSCode. Программа, где программисты-душнилы пишут свой никому ненужный код. Либо вайбокодят и делают вид, что работают. Хочу поделиться самыми основными плагинами для этой програмы, которые помогают мне ПО СЕЙ ДЕНЬ БЫТЬ почти программистом. Сразу скажу: я не собирал сюда 150 расширений, которые показывают погоду, настроение разработчика и фазу Луны во время деплоя. Только то, чем реально пользуюсь. Black Formatter Чтобы код не выглядел как будто его писали во время высадки в Камбодже. Автоматически делает аккуратным. Пишете код ногами, сохраняете файл — Black его форматирует. Можно включить форматирование при каждом сохранении:

"[python]": {
  "editor.defaultFormatter": "ms-python.black-formatter",
  "editor.formatOnSave": true
}

Flake8 Если Black молча исправляет форматирование, то Flake8 ходит за вами и говорит: «Вообще-то здесь импорт не используется». «Вообще-то переменная не определена». «Вообще-то строка слишком длинная». «Вообще-то ваш код нарушает правила». То есть Flake8 — это линтер. Он анализирует код и показывает потенциальные ошибки, подозрительные места и нарушения стиля. Открываете Python-файл — расширение автоматически запускает проверку. DBCode Чтобы не переключаться постоянно на DBeaver или DataGrip DBCode превращает VS Code практически в программу для баз данных. Можно подключиться к PostgreSQL, ClickHouse, MySQL, SQLite, MongoDB и ещё огромному количеству баз, открыть таблицы, посмотреть колонки, написать SQL-запрос и сразу увидеть результат. По ощущениям — DBeaver встроили прямо в редактор. Очень удобно, когда одновременно пишете Python, SQL и смотрите данные. Parquet-viewer Чтобы посмотреть файл формата Parquet. Если что, паркет нельзя открыть и посмотреть содержимое. Это вам не CSV или TXT. Там внутри из коробки будет нечеловекочитаемая ерунда. Dracula Theme Это просто тёмная тема. Там есть розовый цвет, поэтому если вы мощный мужик — это для вас. Codex Это coding agent от OpenAI, встроенный в VS Code. Главное отличие от обычного ЧатаГПТ: ему не нужно вручную отправлять каждый файл по отдельности. Он может работать с репозиторием, находить нужные файлы, разбираться в связях между модулями, объяснять незнакомый код и вносить изменения. Например, можно попросить: - рассказать, как устроен новый репозиторий; - найти, откуда запускается конкретный процесс; - объяснить непонятный файл; - добавить проверку; - исправить ошибку; - написать тесты; - поменять логику сразу в нескольких связанных файлах; - проверить изменения. Особенно полезно, когда открываете чужой проект, видите 300 папок и понимаете, что сегодня можно было просто не просыпаться. Но есть нюанс. Работает только, если вы не в РФ. А как быть не в РФ, но при этом в РФ — думаю все понимают. Но кодекс правда у меня платный. Я плачу по 20 долларов в месяц на подписку GPT Plus. И я в восторге. Если есть какие-то ваши находки, делитесь, че еще удобное можно использовать?

Подтверди скилл в Yandex Cloud со скидкой 50% 🚀 Коллеги, у нас всего пара недель, чтобы закрыть вопрос с сертификацией на льготных условиях. До 25 сентября включительно действует скидка полцены на два экзамена от Yandex Cloud. Для дата-инженеров — самое то, чтобы официально зафиксировать свой уровень и получить весомый плюс к резюме. Что предлагают: 1️⃣ Yandex Cloud Certified Data Engineer База для тех, кто уже плотно работает с облачной платформой. Экзамен покрывает всё основное: загрузка и приём данных, ETL/ELT-процессы, оркестрация, мониторинг и безопасность. Хороший способ систематизировать знания и подтвердить их на практике. 2️⃣ Yandex Cloud Certified Lakehouse Data Engineer Для тех, кто ушёл глубже и работает с архитектурой Lakehouse. Тут уже спрашивают про проектирование решений, трансформацию данных и построение пайплайнов в этой парадигме. Продвинутый уровень для серьёзных проектов. Как проходит экзамен? Онлайн-тестирование с прокторингом — запись на камеру, контроль нарушений. Всё прозрачно и без вариантов "списать". 📌 Успей зарегистрироваться до 25 сентября 2026: Ссылка Ссылка Потом цена вернётся к обычной, так что не тяните. Удачи на экзамене! 💪

Типичные вопросы на собесе на Дата Инженера Выпустил ролик про вопросы на собесах. Далеко не весь пулл, но постарался объяснить свои ответы. Вопросы брал из нашего Roadmap. Внутри вопросы по SQL, Python, Spark и Airflow ▶️ Смотреть на Youtube Кстати, у нас открыта запись на следующий поток BootCamp (Сентябрь 2026) @bootcampych_bot

Учить инженерию данных по курсам и роликам — это как собирать пазл без картинки на коробке: детали вроде бы есть, а как они складываются вместе — не всегда понятно karpovꓸcourses сделали тест-квест, который эту картинку как раз и показывает: вы сами, шаг за шагом, собираете дата-платформу стартапа — от Excel до Kafka, Spark и ClickHouse — и видите, как отдельные инструменты складываются в цельную архитектуру. Прохождение построено как игра: выбираете следующий шаг, растет уровень зрелости платформы, накапливается ваш опыт, от которого вы получается звание в инженерии данных. Узнайте, какой вы инженер данных: https://clc.to/erid_2W5zFGaGrnd Реклама. ООО «КАРПОВ КУРСЫ». ИНН 7811764627. erid: 2W5zFGaGrnd

Только 2% людей на планете знают об этом! Если вы знаете об этой фишке, прошу только дополнить. Многим людям, кто с Airflow только знакомятся, эта инфа будет полезна. О чем я? Вот у вас есть DAG в Airflow, который запускает код по расписанию. Просто грузит данные за вчера или за прошлую неделю. Но что если вам надо прогрузить РЕТРО данные, например за прошлый месяц или с 2026-01-10 по 2026-04-02? Иногда это требуется, когда данные в источнике (например в Postgres) могли обновиться, а Стриминг для этой задачи излишен. Короче, в Airflow можно добавить пару строчек и запускать ваш DAG с вашими параметрами вручную. Причем это может делать любой человек, даже без знания КОДА! Не надо идти в Jupyter Hub и запускать спарк джобу с конифгами. Любой аналитик зашел, вбил нужные даты и нажал кнопку PLAY Понятное дело, что вы наверняка знали про это еще 15 лет назад и у вас даже сосед по лестничной клетке шарит за это и вообще тетя Люда на даче этим пользовалась во времена Петра Первого.. но дайте шанс новичкам, кто только знакомится с инструментом. Че писать в коде? Чтобы удобно было запускать DAG с параметрами, надо дописать параметр params

dag = DAG(
    dag_id="DEMO__API_to_S3_to_CH__weather_temp_rain_pipeline",
    default_args=default_args,
    schedule_interval="0 10 * * *",
    catchup=False,
    params={
        "start_date": Param(
            "",
            type="string",
            pattern=r"^$|^\d{4}-\d{2}-\d{2}$",
            description="Начальная дата ретро-загрузки в формате YYYY-MM-DD. Пусто = ds.",
        ),
        "end_date": Param(
            "",
            type="string",
            pattern=r"^$|^\d{4}-\d{2}-\d{2}$",
            description="Конечная дата ретро-загрузки в формате YYYY-MM-DD. Пусто = start_date.",
        ),
    },
    description="API weather to S3 and ClickHouse pipeline",
    tags=["demo", "weather", "temp", "rain", "api", "s3", "clickhouse", "pipeline"],
)

Кстати можно добавить еще и валидацию дат, чтобы нельзя было вбить случайно неправильно. А ну еще придумал кейс. Вот представьте у вас работает витрина и там добавилось поле или чуть поменяли подсчет метрики. Вы выкатили в прод изменения, а данные-то старые не обновлены. В этом случае можно просто запустить прям в Airflow с нужными датами и все обновиться. Ну и надо уточнить, чтобы ваш пайплайн не плодил дублей, а перезаписывал данные в хранилище. Это я так, просто уточнить.

Системный аналитик помогает бизнесу и разработке говорить на одном языке: разбирает задачи компании, описывает требования, проектирует IT-решения и следит, чтобы система работала на реальные цели бизнеса. Онлайн-магистратура СПбГУ и Нетологии «Системный анализ и интеллектуальные системы управления бизнес-процессами» готовит специалистов на стыке IT и управления. В программе сочетаются академическая база СПбГУ и прикладные инструменты Нетологии. Студенты изучают математическое моделирование, алгоритмы, системный анализ, Python, BI-системы, no-code-инструменты, управление проектами и подходы к внедрению искусственного интеллекта. Такой набор навыков помогает работать со сложными бизнес-процессами: находить узкие места, снижать риски при разработке, формулировать требования к системам и сопровождать внедрение IT-решений. Обучение проходит полностью онлайн. После выпуска вы получаете диплом магистра СПбГУ очного образца по направлению «Прикладная информатика». Подробнее о программе Реклама. ООО “Нетология” ОГРН 1207700135884 Erid: 2VSb5ygAFF8

BootCamp Июль НАБРАН! Друзья, мы набрали июльский поток полностью! Стартуем уже 1 июля. Продажи на июльский поток мы АСТАНАВЛИВАЕМ! Потому что BootCamp, как Москва, НЕРЕЗИНОВЫЙ. У нас с каждым новым потоком появляются все более свежие идеи. Теперь у нас есть ТРИ ПЕТ проекта, которые можно реализовать за время обучения. От простого к сложному. Т.е. буквально базовый делают все, а вот более сложные свзязки инструментов можно собрать добровольно.. но я рекомендую пробовать ВСЕ! По поводу следующего потока! Он БУДЕТ! По датам сообщим в районе 10-15 июля. У нас есть мысли добавить опцию "Собираем легенду индивидуально". Это про то, чтобы переупаковать ваш опыт в релевантный и подходящий рассказ. Возможно мы сделаем буткемп длиннее и добавим дополнительные варианты оплаты в плане рассрочек. Также будет больше времени на тестирование своих пет проектов и постройку бОльшего числа пайплайнов. Плюс я навайбкодил небольшой конструктор Пет Проектов, чисто для Дата Инженеров, чтобы можно было собрать связку под себя, под свой опыт. Потому что основная боль, которая возникает у ребят: "Много инструментов, но как все связано между собой, непонятно!" КСТАТИ Если вы хотите на BootCamp, но пока еще не знаете python и sql, то приглашаем на БуткемпИК! Это для тех, кто совсем сейчас в нулевой точке и хочет спокойно со всеми разобраться в программировании. Старт 1 июля. Записаться, оплатить и попасть сразу в чат можно тут ➡️ @bootcampych_bot

Почувствовал себя одиноким YouTube предложил видео о том, как стать ДЕ без опыта. Зашел в комментарии, а там всего один — и то от меня.

▶️ Пет Проект для Дата Инженера https://youtu.be/pC9AvMwv10Y https://youtu.be/pC9AvMwv10Y https://youtu.be/pC9AvMwv10Y Презентация + код проекта уже доступны в нашем боте Пиши боту /pet и он пришлет тебе материалы по пет проекту ➡️ @bootcampych_bot