Инженерообязанный🫡 | Владимир Шустиков | Инженер Данных | Аналитик Данных

🟠ВОТ ЧТО БЫЛО И ВОТ ЧТО СТАЛО🟠 На первом скрине — наш Буткемп год назад. На втором — то, во что он превратился сегодня. Если честно, когда мы с Женей только начинали, всё было намного проще. Тогда мы работали со Spark, ClickHouse и Airflow, показывали ребятам реальные процессы из своей работы и вели всех через один небольшой и простой пет-проект. Для этого двух месяцев было более чем достаточно. Мы сами ещё многого не знали. Учились, набивали шишки, меняли работу, попадали на новые проекты и каждый раз приносили этот опыт обратно в Буткемп. За этот год программа сильно изменилась. Появились: 🌟 GreenPlum 🌟 DBT 🌟 Trino 🌟 Iceberg + S3 🌟 дополнительные проекты 🌟 больше практики 🌟 больше домашних заданий И это ещё не конец! Уже сейчас мы активно работаем со стримингом и практически уверены, что в будущих потоках появятся Kafka, Flink, NiFi и другие инструменты потоковой обработки данных.😈 Но вместе с этим появилась и другая проблема.🤢 Когда-то мы говорили, что для комфортного обучения понадобится 7–10 часов в неделю. Сегодня реальность такая, что многим требуется уже 10–15 часов.😠 Материала стало настолько много, что два месяца перестали быть идеальным форматом. Нам даже пришлось сократить количество мок-собеседований, чтобы успевать проходить всю техническую программу. Поэтому после завершения 7 потока(июль-август) мы планируем взять паузу и подумать над дальнейшим развитием проекта. 🤔Возможно, Буткемп станет длиннее. 🤔Возможно, обучение инструментам и подготовка к собеседованиям станут отдельными продуктами. 🤔Возможно, появятся совершенно новые форматы. 😭А возможно его больше вообще не будет! Но одно можем сказать точно. За этот год Буткемп перестал быть просто набором лекций. Сегодня это уже полноценный путь от SQL и Python до современного Data Engineering стека. И всё это благодаря Вам — людям, которые доверили нам своё обучение и свое будущее ❤️ Попасть на 7 поток можно здесь: @bootcampych_bot

🚀 Data Engineer за 2 месяца Не кликбейт. Мы реально сделали супер интенсив за 2 месяца в DE. Это буквально копия вашей будущей работы. Представьте, что вы приходите на новое место работы, и увольняющийся коллега передаёт вам дела. У него есть две недели, чтобы показать, что и как делать. Вы буквально впитываете всё как губка, потому что потом спрашивать будет не у кого. Так вот именно эту идею мы и вложили в Bootcamp! За короткое время вы погружаетесь в работу инженера данных, осваиваете современный стек и получаете навыки прохождения собеседований и составления резюме. Мы реально вычеркнули большую часть бесполезной теории. Упор исключительно на практику. Чтобы вы пришли на работу и сказали: "Мы это уже делали" Что внутри буткемпа Вы получаете доступ к инфраструктуре, максимально приближенной к продакшену: • Postgres • ClickHouse (распределённый, 2 шарда) • GreenPlum (8 сегментов) • Spark • S3 • AirFlow • Kafka • DBT • GitHub • Jira • Confluence Как часто занятия? • 3 раза в неделю (Живые лекции, на которых можно задать вопрос и сразу получить ответ) • Вечером (после работы) в 20:00 по МСК • Все лекции записываются и доступны навсегда Поддержка и практика • Чат с ответами почти 24/7 • Можно задать любой вопрос • Можно попросить задачу сложнее • Разбор ваших решений на созвонах Подготовка к работе • Mock собеседования • Прожарка резюме • Разбор реальных кейсов После буткемпа все выпускники приглашаются в чат, где мы делимся ситуацией на рынке, вопросами с собесов, а также поддерживаем друг друга! Кстати, мы добавили классную фишку — доступ к лекциям из новых потоков. Даже после окончания буткемпа вы остаетесь в обучении и можете следить за обновлениями. А если не успеваете? У нас есть InfraSharing. Это тот же самый буткемп, но без лекций. Просто готовая инфраструктура. Даже если не успеваете сделать все задачи в Bootcamp, можете продолжить в InfraSharing. Тем более для всех выпускников мы даем огромную скидку! Ближайший старт потока — 1 июля Переходите в наш бот @bootcampych_bot и жми Хочу на BootCamp

Большой подкаст про дата-инжиниринг и аналитику! Обсудили, чем на практике отличаются дата-инженеры, дата-аналитики и продуктовые аналитики, какие задачи у каждой роли, какие инструменты нужно знать и почему между аналитиками и инженерами иногда возникают конфликты. ▶️ https://youtu.be/rNkFGDsvCog ▶️ https://youtu.be/rNkFGDsvCog ▶️ https://youtu.be/rNkFGDsvCog О чем: — зарплаты Data Engineer и Data Analyst — SQL, Python, Airflow, Spark и другие инструменты — собеседования, резюме и карьерный рост — AI в Data-сфере — обучение, курсы и переход в IT после 30+ Про деньги, вход в профессию, накрутку опыта, возраст, курсы, софт-скиллы, ответственность и реальную работу с данными. Если думаете, куда идти — в аналитику или дата-инжиниринг — этот выпуск поможет лучше понять обе профессии изнутри. ссылки на авторов: Я — Дата Инженер Инженерообязанный Аналитический джаз

Всем ёуууу!😎✌️ Давно не писал ничего нормального и душевного. А знаете почему? Я обленился до нельзя. Вот прям максимально. Работа ещё как-то держит меня на плаву — и всё. Сейчас мой день выглядит примерно так: Проснуться -> открыть комп -> сходить на встречки -> поделать задачки -> лечь спать. И самое забавное — когда-то я о таком графике мечтал. Но, как оказалось, когда у тебя пропадает какая-либо движуха, ты начинаешь потихоньку превращаться в овоща. Я перестал развиваться как физически, так и умственно. Из-за этого начинаешь сам себя загонять в какой-то депресняк: тяжело вставать по утрам, ничего не хочется делать, энергия на нуле и так далее. Но хватит это терпеть! Если с физической частью всё понятно — пойду куплю абонементик в зал, и на вас это никак не повлияет, то вот с МОЗГАМИ ситуация интереснее.⚪️ Хотя кого я обманываю… Я просто купил такой же “абонемент”, только для мозга — записался на курс Глеба Михайлова по алгосам. Почему именно туда: 1. Глебушка — один из первых IT-блогеров, которого я начал смотреть ещё когда хотел стать “Аналитиком Данных”. У него какая-то уникальная харизма, он как родной человечик. Чего только стоит объяснение матстата на примере “Виноградного дня”(Кто помнит — тот сейчас пустил скупую слезу. И это я про напиток). 2. Да, я мог просто открыть LeetCode и решать задачки сам. Но мне захотелось именно какого-то группового и дружеского вайба. 3. Это ещё и повод снова писать вам про обучение. А то блог про учёбу\работу\продукты – есть, а когда я сам в последний раз рассказывал, что чему-то учусь — уже и не помню. 4. Ну и как говорил один дед: “Алгосы для того учить надо – потому что они ум в порядок приводят”. Я уже пообщался с Глебом лично, и мы оба пришли к выводу, что я сутулая псина🐶🐶, которой срочно нужно трансформироваться в леопарда 🐆 Так что с 1 июня стартует процесс – ЭЭЭВВВООООООЛЛЛЛЮЮЮЮЦЦЦИИИИИИИИИ.(тут типо замеднение) А ещё у меня в планах начать подрубить стримы на YouTube и Twitch с процессом моего обучения. Начну как раз с прохождения этого курса, а дальше буду разбавлять всё интересным и весёлым контентом. Идей уже накопилось прилично. А исполнять их лень. Вон вторую часть про движки клика уже 2 месяца сделать не могу! Но об этом чуть позже!

Сняли выпуск подкаста! Почти смонтирован. О чем? - Почему из аналитиков уходят в Дата Инженеры? - Накрутка опыта - AI и когда уже наконец-то заменит всех Ну и собственно, самое главное — Кто такие Дата Аналитики и почему их там много?

Сегодня проводим "Онбординг", расскажем что вас ждём первого июля на Буткемпике и то как будут проходить занятия на тестовом прогоне. Врямя: 20:00 по МСК. Записи не будет!! Присоединяйся к таким же новичкам, как и Ты! Ну что пришло время изменить свою жизнь к лучшему! Решайся пока не поздно!

Дорогие друзья!!! 🎉 Совсем скоро проекту Roadmappers исполнится 1 год. Первого июля будет ровно год с того момента, как мы начали рассказывать про технологии, да и в целом продвигать в массы профессию "Инженеру данных". Но про годовщину поговорим отдельно. Сейчас о другом. За этот год мы увидели огромное количество людей, которые хотели попасть к нам на Буткемп с нуля. Но проблема в том, что для Буткемпа всё-таки нужны хотя бы базовые знания Python и SQL. Поэтому мы честно отправляли людей: — учить Python на Stepik — проходить SQL у Карпова И нам было абсолютно нормально рекомендовать даже другие площадки, потому что важнее всего был результат человека! Но спустя время мы начали замечать одну и ту же историю. Люди начинали обучение… и сливались. Не потому что «не способны». А потому что: — нет дисциплины — нет окружения по интересам — непонятно, что реально важно, а что можно пока пропустить — и никто не даст того самого батиного леща, чтобы ты сел и продолжил учиться 😄 И тогда мы поняли: Нужен отдельный формат для людей, которые только заходят в IT. Так появился «Буткемпик» Что это такое? По сути — тот же вайб, что и на основном Буткемпе, только для новичков: — готовая инфраструктура (можно заниматься хоть с телефона) — живые лекции в 20:00 МСК (после работы очень удобно) — домашки и практика — помощь с задачами — комьюнити людей, которые идут в одном направлении Без записанных курсов «на 300 часов», которые потом лежат мёртвым грузом. Мы решили начать с тестового прогона длиной в 2 недели, чтобы вы могли: — познакомиться с форматом — понять, подходит ли вам обучение — познакомиться с лекторами — задать все вопросы Уже завтра будет первое занятие, где мы подробнее расскажем, как всё устроено, кто будет обучать, сколько будет практики и чего вообще ждать от обучения. Вся информацтия о заняниях будет тут. Если давно хотели войти в IT, но постоянно что-то останавливало — возможно, это как раз тот самый момент!

НЕ РЕКЛАМА, а рекомендация!!! Ребят напомню, что сегодня в 17:00 пройдёт открытое собеседование в компнию Х5 Tech. Проводить собеседование будет один из моих руководителей (Архитектор-Техлид) и вы реально можете посмотреть, как проходят собеседования в команды Транспорта и Логистики.(Вдруг кого-то позвали на эти позиции) Очень надеюсь, что в большинстве своём вопросы будут связанные с опытом и кейсами, как ни как Сеньорская позиция, но в любом случае посмотрим, что да как! Трансляции будут тут: 📱 VK Видео 📱 YouTube P.S. Будет ли запись, я не вкурсе, поэтому лучше хотябы на фоне подрубить и послушать!

Ребзя, хочу показать, какая у нас красота творится на Буткемпе. Сегодня для всех Буткемперов доделал очередную лекцию по S3 и форматам хранения данных, которую будем читать перед блоками по Iceberg и Trino. Это поможет понять: — почему Iceberg работает именно так; — в каких случаях лучше использовать AVRO, Parquet или ORC; — как вообще устроено хранение данных под капотом. Поверьте, мы реально отдаём себя полностью, чтобы создать КРУТЕЙШИЙ продукт на рынке менторства, буткемпов и курсов по Data Engineering. На этой неделе объявим о запуске нового продукта — «Буткемпик» — и пригласим всех желающих на двухнедельный тест. Но об этом завтра. А ещё на работе я всё чаще сталкиваюсь со стримингом. Пришлось уже плотно покопаться в документации Debezium и Flink CDC. А это знаете что означает? А-а-а......... В следующих потоках потихоньку начнём добавлять стриминг: будет и теория, и задания, и полноценный проект на эту тему. Интенсив реально превращается в АДовую пушку по вынесу вашего мозга знаниями и умениями общаться с различными инструментами. По секрету, но за наш буткемп уже шарят некоторые работодатели и прям без шуток приходили из компаний и просили кого-нибудь порекомендовать и даже было все равно на опыт. Может всё таки мы будет первые, кто победит поиск людей по годам опыта! кто знает, кто знает! Да и в целом — не стесняйтесь, вписывайтесь: @bootcampych_bot

Ребзя, хочу показать, какая у нас красота творится на Буткемпе. Сегодня для всех Буткемперов доделал очередную лекцию по S3 и форматам хранения данных, которую будем читать перед блоками по Iceberg и Trino. Это поможет понять: — почему Iceberg работает именно так; — в каких случаях лучше использовать AVRO, Parquet или ORC; — как вообще устроено хранение данных под капотом. Поверьте, мы реально отдаём себя полностью, чтобы создать КРУТЕЙШИЙ продукт на рынке менторства, буткемпов и курсов по Data Engineering. На этой неделе объявим о запуске нового продукта — «Буткемпик» — и пригласим всех желающих на двухнедельный тест. Но об этом завтра. А ещё на работе я всё чаще сталкиваюсь со стримингом. Пришлось уже плотно покопаться в документации Debezium и Flink CDC. А это знаете что означает? А-а-а......... В следующих потоках потихоньку начнём добавлять стриминг: будет и теория, и задания, и полноценный проект на эту тему. Интенсив реально превращается в АДовую пушку по вынесу вашего мозга знаниями и умениями общаться с различными инструментами. По секрету, но за наш буткемп уже шарят некоторые работодатели и прям без шуток приходили из компаний и просили кого-нибудь порекомендовать и даже было все равно на опыт. Может всё таки мы будет первые, кто победит поиск людей по годам опыта! кто знает, кто знает! Да и в целом — не стесняйтесь, вписывайтесь: @bootcampych_bot

📸 Отзывы участников #BootCampDE — Март-Апрель 2026 Тимофей, тебе удачи с повышением собственного грейда. Мок-собес с тобой показал, что ты не просто херачил, а херачил в квадрате! ________ Запись на 7 поток(Июль-Август) уже в самом разгаре! Записывайся @bootcampych_bot

Смотри, как проходят собеседования в бигтехе 👀 20 мая в 17:00 проводим публичное интервью на позицию data-инженера — в прямом эфире, без сценария. Кандидат — специалист с 7-летним опытом. Интервьюер — тимлид X5 Tech с 10+ годами в индустрии: от разработчика до архитектора и CTO, отвечает за ключевые data-проекты в логистике и цепочках поставок. В конце — фидбек и ответы на твои вопросы из чата. 📆 Бронируй слот в календаре И подключайся к трансляции: 📱 VK Видео 📱 YouTube

Я конечно не уверен🤔, что это прям на 100% по мой вине, но я сегодня активно работал в продовой базе. Сейчас ДБА сидят поднимаю PSQL и восстанавливают слоты репликации для стриминга😂 В любом случае: с почином меня🐾

📸 Отзывы участников #BootCampDE — Март-Апрель 2026 Это уже не отзыв, это прям подскат😁 ________ Запись на 7 поток(Июль-Август) уже в самом разгаре! Записывайся @bootcampych_bot

#ClickHouse_ну_ёпт_опять Особенности оптимизации ClickHouse. (Автор @alexxxxxxela) Покажу один прикол с кликом и велик шанс, что это пригодится, если будете трогать большие таблицы или что-либо оптимизировать. Вот основные моменты: есть большая таблица на >1kkk записей ключевое поле chrt_id UInt64, order by chrt_id Нужно выполнить операцию тяжелую, поэтому нужно брать кусками данные. Куски берем через разделение всех chrt_id на равные промежутки. Это делается через quantiles. получаем числа [417248015.8, 642524841, 880088631, 1249379586.8] ну и делаем запрос:

select chrt_id, col2, col3 
from table
where chrt_id < 417248015.8 
  and *тяжелое условие*

Встает вопрос, какая у этого запроса проблема? Ответ: Не используется индекс сортировки из-за неприведенных типов данных в фильтрации. Столбец приводится к типу float для сравнения, поэтому запрос читает каждую строку, чтобы сперва сделать каст и затем сравнить. Если убрать дробную часть, тогда условие будет корректно и будет читаться только 1/5 строк

#мне_тут_скинули Минут 20 угадал над этой темой😂