Инженерообязанный🫡 | Владимир Шустиков | Инженер Данных | Аналитик Данных
Відкрити в Telegram
Привет! Я Шустиков Владимир, Data Engeneer | Data Analytic 👉 RoadMap: https://roadmappers.ru/ 👉 Общий чат: https://t.me/+p-0NiSWmQ5ZhZmEy 👉 Youtube канал: https://www.youtube.com/@shust_de По сотрудничеству и рекламе: @ShustDE
Показати більше4 308
Підписники
+824 години
+127 днів
+9230 днів
Триває завантаження даних...
Схожі канали
Немає даних
Виникли проблеми? Будь ласка, оновіть сторінку або зверніться до нашого support-менеджера.
Хмара тегів
Вхідні та вихідні згадування
---
---
---
---
---
---
Залучення підписників
вересень '26
вересень '26
+131
в 0 каналах
серпень '26
+173
в 2 каналах
Get PRO
липень '26
+237
в 0 каналах
Get PRO
червень '26
+192
в 2 каналах
Get PRO
травень '26
+247
в 2 каналах
Get PRO
квітень '26
+300
в 1 каналах
Get PRO
березень '26
+507
в 3 каналах
Get PRO
лютий '26
+510
в 3 каналах
Get PRO
січень '26
+101
в 1 каналах
Get PRO
грудень '25
+76
в 1 каналах
Get PRO
листопад '25
+119
в 2 каналах
Get PRO
жовтень '25
+120
в 1 каналах
Get PRO
вересень '25
+116
в 1 каналах
Get PRO
серпень '25
+184
в 4 каналах
Get PRO
липень '25
+181
в 2 каналах
Get PRO
червень '25
+181
в 2 каналах
Get PRO
травень '25
+243
в 5 каналах
Get PRO
квітень '25
+236
в 2 каналах
Get PRO
березень '25
+247
в 3 каналах
Get PRO
лютий '25
+252
в 5 каналах
Get PRO
січень '25
+353
в 4 каналах
Get PRO
грудень '24
+313
в 7 каналах
Get PRO
листопад '24
+249
в 2 каналах
| Дата | Залучення підписників | Згадування | Канали | |
| 22 вересня | +8 | |||
| 21 вересня | +5 | |||
| 20 вересня | +5 | |||
| 19 вересня | +4 | |||
| 18 вересня | +5 | |||
| 17 вересня | +5 | |||
| 16 вересня | +6 | |||
| 15 вересня | +5 | |||
| 14 вересня | +7 | |||
| 13 вересня | +3 | |||
| 12 вересня | +1 | |||
| 11 вересня | +5 | |||
| 10 вересня | +12 | |||
| 09 вересня | +5 | |||
| 08 вересня | +7 | |||
| 07 вересня | +10 | |||
| 06 вересня | +8 | |||
| 05 вересня | +7 | |||
| 04 вересня | +5 | |||
| 03 вересня | +8 | |||
| 02 вересня | +8 | |||
| 01 вересня | +2 |
Дописи каналу
Repost from Я – Дата Инженер | Евгений Виндюков
Собес на Дата Инженера + Лайвкодинг! (Middle)
▶️ https://youtu.be/fypWIMVBKxg
На самом деле большинство собесов на ДЕшника конечно похожи друг на друга за исключением тех, где собеседующие реально готовятся по резюме и спрашивают архитектурные моменты или кейсы. Можете послушать (лица там не показаны) собес и оценить насколько вы готовы выходить на рынок.
На нашем BootCamp мы проводим такие мок собеседования каждый поток, поэтому каждый из вас может протестировать себя перед выходом на рынок. Это очень полезная вещь. Даже если ты не готов.. можно проверить свои навыки презентации, особенно в стрессовом режиме. Это сильно бустит вас. Потом реальные собесы будут казаться проще по прохождению!
Это запись мок собеса с нашего BootCamp
Кстати, мы уже набираем Ноябрьский поток! Не пропусти!
@bootcampych_bot
| 2 |  300к в наносекунду от нашего ученика!
Я хз как это работает, но это уже второй рекордсмен, который залетает в IT после нашего буткемпа так быстро. Дальше отзыв от него.
Запись на ноябрьский BootCamp
➡️@bootcampych_bot
Прошёл буткэмп на Data Engineer у roadmappers и хочу поделиться своим опытом.
Я пришёл в феврале с полного нуля. Начал учиться по Roadmap, сразу пошёл в SQL — около месяца занимался на курсе карпова, затем примерно три месяца учил Python на Stepik. К середине июня закончил с базой и связался с Женей, после чего с 1 июля попал на буткэмп.
Сам буткэмп мне в целом зашел. Особенно крутая штука — инфраструктура, на которой можно самостоятельно всё потрогать и попробовать. При этом честно скажу: я использовал её далеко не на максимум. По сути, мой основной проект был достаточно простой — пайплайн, который забирал данные из API, складывал их в S3, а затем загружал в ClickHouse. Глубже в инфраструктуру я особо не погружался.
Но самое большое значение для меня в итоге имел именно Roadmap. Я прошёлся по всем основным вопросам, подробно разбирал их с ИИ, дополнительно изучал материалы и банк собеседований. В результате этого материала мне оказалось более чем достаточно для подготовки к реальным интервью.
Я вышел на рынок 1 сентября, а уже сегодня получил оффер. В начале октября выхожу на работу с зарплатой 300 000 ₽ на руки. Конечно, мне, возможно, немного повезло с тем, насколько быстро всё получилось, и у каждого этот путь может занимать разное время. Но для меня Roadmap + буткэмп действительно сработали.
Главный совет начинающим: не надо пытаться выучить каждый инструмент от и до. Не нужно месяцами зубрить ClickHouse или пытаться запомнить весь Airflow вместе со всеми видами Executor’ов, это никому не нужно, с литкодом та же история. На собеседованиях гораздо важнее понимать основную теорию, уметь объяснить, как устроены процессы, и уверенно отвечать на вопросы.
И ещё очень важно — не бояться собеседований. Я бы вообще советовал ходить на каждое интервью, даже если кажется, что пока не готов. Единственное - шлите нахуй сразу тех, кто просит проходить собеседование с двумя камерами, чтобы вы якобы не использовали ИИ, это сразу ред флаг того, что собеседующие беспросветные долбоебы. Каждое собеседование — это практика. С каждым новым интервью вы начинаете лучше понимать, что спрашивают, учитесь вести диалог и постепенно становитесь увереннее.
На самом собеседовании тоже не стоит просто механически отвечать на вопросы. Нужно стараться поддерживать диалог с интервьюером, добавлять что-то от себя и показывать, что ты понимаешь не только техническую сторону, но и то, зачем бизнесу всё это нужно: сколько стоит решение, какие у него плюсы и минусы, почему выбрать одну технологию, а не другую и т.д.
В общем, если вы готовы самостоятельно учиться, не боитесь разбираться в материале и быть волчарой, то Roadmap и буткэмп — действительно очень крутая связка для входа влета в ИТ с двух ног.
Запись на ноябрьский BootCamp
➡️@bootcampych_bot | 822 |
| 3 |  Ищу себе короче стоит и тут бах.... ИИ. Зачем в подстолье ИИ? 😂 | 1 687 |
| 4 |  🚀 8-й поток стартует уже ЗАВТРА!
Ребят, кто хотел залететь на BootCamp по Data Engineering, но всё откладывал — вот он, тот самый последний момент 😁
Сегодня и завтра — последняя возможность присоединиться к 8-му потоку.
Дальше закрываем набор и начинаем учиться: SQL, Python, DE-стек, много практики, домашки, pet-проекты и живые занятия.
Кто с нами — погнали в Буткемпыч бот 🚀 | 691 |
| 5 |  Обзор BootCamp для Data Engineer
Подходит к завершению 7-ой поток Буткемпа от Жени и Вовы.
К сожалению я не успел полностью пройти буткем, сделать все задания и пет проект.
Я занимался переездом и были некоторые карьерные изменения (о них расскажу потом).
Поэтому расскажу немного поверхностные впечатления.
Что мне понравилось:
Хорошая подача материала.
Это у ребят не отнять - лекции максимально понятные. Рассказывают суть технологий, что и как устроено в реальности в компаниях, приводят примеры, на экране тоже постоянно что-то стримят показывают. Я думаю многие видели видосы Жени по Спарку и по DE. Разборы вопросов по гринпламу, клик, оптимизация от Вовы. Вот лекции в буткемпе в таком же стиле. Записи конечно сохраняются. Я смотрел в записи, на прямом эфире ни разу не был.
Лекции
Сам материал опять же понятно написан, не сгенерирован весь нейронкой (вроде бы). Упор сделан больше на понимание и объяснения базовой информации. Какие-то тонкости и сеньорные глубокие вопросы особо не разбираются, хотя мне было б интересно это почитать.
Инфраструктура
Прикрепил скрин с инфрой. Со всем можно работать из браузера. Ничего поднимать/настраивать не нужно. Удобно
Пет проект и задачи
У вас есть джира с тасками, потихоньку делаете задачи и выполняете пет проект.
У пет проекта тоже есть несколько уровней - базовый легкий и посложнее.
Базовый выглядит так:
Прочитать файл из S3 -> Прочитать данные через Spark -> Привести типы колонок и добавить технические поля: -> Создать реплицируемую и распределённую таблицу в ClickHouse -> Загрузить данные в ClickHouse -> Все это упаковать в DAG Airflow.
Задачи несложные, для кого-то это плюс, для кого-то минус.
Карьерные консультации и собесы
Ребята рассказывают как делать резюме и разбирают резюме учеников. Проводят собесы с желающими в прямом эфире. Это 100% полезно, но недостаточно для трудоустройства.
Поддержка в чате и Дружеский вайб
Конечно есть отдельный чатик. Я кстати думал будет гораздо больше сообщений и флуда. Но в основном общение только по делу.
Ребята оперативно отвечают на вопросы и у них есть помощник.
Цена
Я не знал сколько стоил буткемп, мне дали доступ к буткемпу, чтоб я протестил его. Цену спросил совсем недавно и был удивлен))
60к. Я думал он стоит около 100к
Минусы
Сразу скажу, что в целом цена перекрывает минусы. 60к это не дорого относительно других курсов.
Здесь просто упор сделан больше, чтоб научить новичков/перекатышей/джунов. Им буткемп полезен, как по мне.
Мидлам DE, сеньорам буткемп будет не так полезен. Только если кто-то хочет сменить, расширить стэк, лень заморачиваться с инфрой, хочет пообщаться с ребятами и позадавать вопросы - то тоже ок.
Я с ребятами общаюсь и знаю, что они серьезно относятся к делу.
В общем, пингвин одобряет BootCamp для Data Engineer👍
it пингвин | data engineer 🐧 | 2 436 |
| 6 | Хочу написать отзыв про буткемп. Меня зовут Тимур, я проходил курс буткемпа и разделил бы свой отзыв о курсе на несколько направлений:
1) Преподаватели
Женя и Володя — классные ребята, которые очень хорошо подают материал, объясняют всё максимально понятно. Даже если возникают какие-то тупые вопросы, они подробно на них ответят и помогут донести информацию максимально понятно. Почти всегда находятся на связи вне уроков в чате в Telegram и всегда готовы помочь.
2) Формат и структура курса
Очень классная идея, что курс максимально похож на рабочий процесс: есть Jira, Wiki, общий репозиторий и т. д. Благодаря этому те, кто с нуля приходит в профессию, будут гораздо увереннее чувствовать себя при устройстве на работу и в целом на собеседованиях.
Отдельно хочется отметить идею с крупным пет-проектом. Это очень классный опыт, который позволяет поработать со всеми возможными задачами, которые могут встретиться в работе Дата инженера. Конечно, глубина погружения зависит от самого ученика — захочет ли он усложнять проект или глубже разбираться в каких-то темах. Но за счёт того, что пайплайн строится с нуля и от начала до конца, можно хорошо понять, что и как происходит на каждом этапе работы деешника.
3) Инфраструктура
Очень круто настроена инфраструктура. За время обучения я вообще не сталкивался с проблемами, когда что-то падает или не работает, ресурсов более чем хватает. Также есть довольно широкий спектр инструментов на выбор, поэтому можно попробовать поработать практически со всеми актуальными «игрушками» дата-инженера в песочнице.
Исходя из моего опыта, далеко не на каждой работе DevOps так хорошо настраивали инструменты.
4) Учебные материалы
Мне нравится, что в видео даётся базовая, понятная и, наверное, самая необходимая информация по каждому из инструментов. А уже более глубокие темы можно изучить в Wiki — там довольно подробно и хорошо описаны различные детали. Если этого недостаточно, всегда можно обратиться к официальной документации. Но на первых этапах Wiki обычно вполне хватает.
При этом важно понимать, что желательно иметь хорошую базу по SQL и Python — это обязательно. Также желательно иметь хотя бы общее представление о базах данных и принципах работы с данными, чтобы было проще усваивать и понимать информацию. Но это не является обязательным условием: если что-то непонятно, всё объяснят и помогут разобраться.
В целом моя общая оценка крайне положительная. Мне всё понравилось, ставлю 10 из 10, всем советую) | 4 264 |
| 7 | Хочу написать отзыв про буткемп. Меня зовут Тимур, я проходил курс буткемпа и разделил бы свой отзыв о курсе на несколько направлений:
1) Преподаватели
Женя и Володя — классные ребята, которые очень хорошо подают материал, объясняют всё максимально понятно. Даже если возникают какие-то тупые вопросы, они подробно на них ответят и помогут донести информацию максимально понятно. Почти всегда находятся на связи вне уроков в чате в Telegram и всегда готовы помочь.
2) Формат и структура курса
Очень классная идея, что курс максимально похож на рабочий процесс: есть Jira, Wiki, общий репозиторий и т. д. Благодаря этому те, кто с нуля приходит в профессию, будут гораздо увереннее чувствовать себя при устройстве на работу и в целом на собеседованиях.
Отдельно хочется отметить идею с крупным пет-проектом. Это очень классный опыт, который позволяет поработать со всеми возможными задачами, которые могут встретиться в работе Дата инженера. Конечно, глубина погружения зависит от самого ученика — захочет ли он усложнять проект или глубже разбираться в каких-то темах. Но за счёт того, что пайплайн строится с нуля и от начала до конца, можно хорошо понять, что и как происходит на каждом этапе работы деешника.
3) Инфраструктура
Очень круто настроена инфраструктура. За время обучения я вообще не сталкивался с проблемами, когда что-то падает или не работает, ресурсов более чем хватает. Также есть довольно широкий спектр инструментов на выбор, поэтому можно попробовать поработать практически со всеми актуальными «игрушками» дата-инженера в песочнице.
Исходя из моего опыта, далеко не на каждой работе DevOps так хорошо настраивали инструменты.
4) Учебные материалы
Мне нравится, что в видео даётся базовая, понятная и, наверное, самая необходимая информация по каждому из инструментов. А уже более глубокие темы можно изучить в Wiki — там довольно подробно и хорошо описаны различные детали. Если этого недостаточно, всегда можно обратиться к официальной документации. Но на первых этапах Wiki обычно вполне хватает.
При этом важно понимать, что желательно иметь хорошую базу по SQL и Python — это обязательно. Также желательно иметь хотя бы общее представление о базах данных и принципах работы с данными, чтобы было проще усваивать и понимать информацию. Но это не является обязательным условием: если что-то непонятно, всё объяснят и помогут разобраться.
В целом моя общая оценка крайне положительная. Мне всё понравилось, ставлю 10 из 10, всем советую) | 1 |
| 8 |  У нас украли Буткемп. Но есть один нюанс — походу, люди сами не поняли, что именно они украли💩
Сегодня нашли наш Roadmappers BootCamp на одном сайте со слитыми курсами.
Стоит 500 рублей.
Ну думаем, ладно. Дожили. Буткемп слили!
Захожу посмотреть описание.
И тут выясняется, что мы, оказывается, всё это время преподавали...
СИСТЕМНОЕ АДМИНИСТРИРОВАНИЕ 😂
Цитирую описание нашего Буткемпа:
«Востребованный курс по администрированию. Осваивайте системное администрирование, сетевые технологии и управление серверами».
Блять! 7 потоков. Больше года:
Spark. Kafka. Airflow. ClickHouse. PostgreSQL. GreenPlum. Iceberg. Trino.
Строили ETL-пайплайны. Поднимали инфраструктуру. Работали с хранилищами. Разбирали архитектуру.
А оказывается, готовили – сисадминов.
Спасибо пиратам, хоть объяснили, чем мы занимаемся 😂
Но если серьёзно, эта ситуация очень хорошо показывает одну вещь.
Слить Буткемп невозможно!
Можно слить видеозаписи лекций. И если вам нужны именно они — ребят, ну вот они, оказывается, стоят 500 рублей.(покупка на свой страх и риск, мы не знаем чем на самом делел они там торгуют)
Только сам Буткемп никогда не был набором видео. Ты можешь посмотреть 50 часов про Spark, GreenPlum и ClickHouse и остаться ровно на том же месте.
Потому что самое важное начинается после лекции. Когда тебе нужно самому:
1. Написать пайплайн.
2. Сломать его.
3. Получить ошибку.
4. Не понять, почему оно не работает.
5. Разобраться.
6. Прийти к нам с вопросом.
7. Переделать.
8. Сделать домашку.
9. Собрать pet-проект.
А потом соединить всё это в одну из работающих систем:
📍 API → S3 → ClickHouse
📍API → S3 → GreenPlum → DBT → ClickHouse
📍API → Spark → Iceberg → Trino → ClickHouse
Вот это уже Буткемп!💪
Плюс менторы, обратная связь, разборы, инфраструктура, дополнительные блокноты, комьюнити, проекты и работа над тем, как потом весь полученный опыт нормально упаковать и выйти с ним на рынок.
Этого в папку на торренте не положишь!
Так что если хотите купить «курс системного администратора»(за ваш переход по сторонним ссылкам администраторы каналов, где находится пост отвественности не несут) за 500 рублей — велком ⚪️
А мы пока продолжим работать в направлении Data Engineer.
Видео можно скачать.
Опыт придётся получить самому.
__________
И, кстати, раз уж пираты бесплатно подогнали нам рекламную интеграцию 😂
1 сентября стартует 8-й поток Буткемпа.
Осталось — 7 мест.
Записаться можно через нашего бота Буткемпыч. | 1 860 |
| 9 |  На 8-й поток Буткемпа осталось 10 мест.
Уже через неделю — 1 сентября. И вместе с новым учебным годом стартует новый поток Буткемпа 🚀
За время 7-го потока мы успели очень сильно докрутить программу.
Доработали материал по Iceberg и Trino и выстроили полноценный рабочий пайплайн:
API → Spark → Iceberg → Trino → ClickHouse
Плюс мы подготовили систему для формирования легенды и описания опыта в резюме.
Причём сделали её так, что она подойдёт даже охраннику, который вчера сидел на шлагбауме, а сегодня решил залететь в IT.💪
Кому вообще нужен Буткемп?
Если ты уже знаешь SQL и Python, но дальше смотришь на Spark, Airflow, ClickHouse, Trino, Iceberg и думаешь:
«Так... а как всё это изучать и как вообще между собой связано?»
— тебе к нам.
Если ты уже работающий Data Engineer / Data Analyst или на смежных IT вакансиях и хочешь расширить стек, закрыть пробелы и структурировать знания — тебе тоже к нам!
На онлайн-занятиях мы подробно разбираем технологии, механизмы их работы и, самое главное, учимся структурно мыслить и понимать, зачем мы вообще используем тот или иной инструмент.
А материала уже стало настолько много, что физически запихнуть всё в лекции невозможно. Поэтому по технологиям мы дополнительно подготовили отдельные блокноты: можно открыть нужную тему, пройти её самостоятельно, посмотреть примеры и разобраться глубже.
Короче.
1 сентября — старт 8-го потока.
Осталось 10 мест.
Для записи переходи в бот Буткемпыч 👈 | 2 297 |
| 10 |  Легенда для Дата Инженера за 1 промпт! Составляем Резюме
Буквально 1 промпт, который из любой твоей истории сделает готовую легенду для Дата Инженера. Это не кликбейт. Я реально на вайбкодил готовый сервис для сборки вашего рассказа на собесе и резюме. А также показал, как его составить, чтобы вас не скипали.
Смотрите на Youtube
▶️ https://youtu.be/okvu18S7h2U
Кстати, мы уже набираем поток на BootCamp. Старт 1 сентбяря
@bootcampych_bot | 2 055 |
| 11 |  😱Буткемпик – ВСЁ!😱
Читейший Кликбейт, только без клика!😂
У нас сейчас идёт Буткемпик, и там проводится просто огромная работа над ошибками, как в лекциях, так и в материалах. По факту продукт по обучению SQL и Python с нуля получается — супербомбический!
Но, к сожалению, у меня сейчас физически не хватает времени на дополнительные созвоны и занятия с ребятами, которые не входят в рамки обязательной программы, но они нужны для дополнитеьльного объяснения и т.д. Для таких созвонов я реально ищу хотя бы час свободного времени и иногда предупреждаю ребят о них буквально за пару часов.
Нехватка времени связана с рядом объективных причин.
В первую очередь, у меня сейчас идёт ремонт в квартире, и я каждый день с утра до вечера езжу по магазинам, выбираю товары, ищу рабочих, что-то делаю сам. И в целом — ремонт это ещё та морока. 😂 Если есть желание, могу прям рассказать, поскидывать видосы с квартиры: как и что мы там делаем и в какую копейку мне всё это обходится!
А через неделю у меня заканчивается отпуск😢, и в это же время значительная часть команды пойдёт в свои отпуска. Задач на это полугодие было прям много, поэтому времени на раскачку особо не будет.👨💻
Опять же, параллельно будет идти Буткемп☺️. (Кстати, поторопитесь записываться: уже почти половина потока набрана, а количество мест ограничено!!!) Я готовлюсь к каждому занятию, плюс постоянная поддержка ребят, плюс постоянное улучшение контента.
Так же сейчас проживаю с семьёй в небольшом съёмном жилье, где не очень удобно проводить занятия из-за постоянных шумов на фоне во время лекций.
В общем и целом, это главные причины, почему я подзабил на Telegram-канал, не снимаю видосы на YouTube, не провожу стримы и т. д. Поверьте наслово – идей дофига и куча, а времени нет⚪️
Как только хоть немножко освобожусь, хотя бы относительно ремонта квартиры, ибо именно он сжирает большую часть времени, — сразу начну снова делать контент.
На данный момент Буткемпик (не путать с Буткемпом) ставим на паузу!
Уже сейчас мы убрали возможность записаться на Буткемпик в нашем боте. В октябре запись будет возобновлена.
Ну а пока, если есть желание, могу рассказывать, как продвигается ремонт, показывать дизайн, сколько всё это стоит, какие решения принимаем и сколько косяков встречается по дороге 😂
Ибо сейчас голова забита в основном только этим. | 2 976 |
| 12 | Спасибо за стрим!
Запись была, кто пропустил, всегда можете посмотреть в записи. Запись скоро будет на YouTube!
если остались вопросы, то здесь можно задать - @bootcampych_bot | 2 570 |
| 13 | Го начинаем СТРИМ!
Поговорим за Буткемп Сентбярь!
Вот ссылка на стрим - https://telemost.yandex.ru/live/afa760a8b2b349369d0290a40cb0c984
Запись будет. Не переживайте. | 83 |
| 14 |  Набор на BootCamp Сентябрь ОТКРЫТ!
ВОСЬМОЙ ПОТОК стартует уже 1 сентября!
Успей записаться через @bootcampych_bot и жми Хочу на BootCamp
Для тех, кто не знает, что такое BootCamp DE. Мы сделали супер интенсив за 2 месяца в DE.
Это буквально копия вашей будущей работы.
Представьте, что вы приходите на новое место работы, и увольняющийся коллега передаёт вам дела. У него есть две недели, чтобы показать, что и как делать. Вы буквально впитываете всё как губка, потому что потом спрашивать будет не у кого.
Так вот именно эту идею мы и вложили в Bootcamp!
За короткое время вы погружаетесь в работу инженера данных, осваиваете современный стек и получаете навыки прохождения собеседований и составления резюме.
Мы реально вычеркнули большую часть бесполезной теории. Упор исключительно на практику.
Чтобы вы пришли на работу и сказали: "Мы это уже делали"
🔴 Уже в это воскресенье 2 августа делаем СТРИМ, где покажем, как сейчас выглядит BootCamp и что нового мы туда внесли!
А пока можете посмотреть ▶️ видео с прошлого потока
Ссылку на стрим скину ближе к 2 августа!!!
Ближайший старт потока — 1 сентября
Переходите в наш бот @bootcampych_bot и жми Хочу на BootCamp
Кол-во мест ограничено! | 2 797 |
| 15 | Ребят у Жени вышел шикарный видос 2я часть вопросов собеседований на Инженера Данных.🙀
https://youtu.be/BWSXh1Ussms
Берём и залетаем👍
Комментарии, лайки и подписка, репосты – приветствуется все, что продвигает канал!🫰 | 2 686 |
| 16 |  +7Самое сложное в получении премии – это не работа
А написать самому про себя. 😂
Сейчас у меня в компании проходит мероприятие, так называетмое "Оценка 360 – Review". И когда приходит время, начитается: А что ты делал? Чем занимался? Каких успехов достиг?
Нууу... работу делал.
Потом открываешь список своих задач за полгода:
🤢Миграция
🤢Стриминг
🤢ClickHouse
🤢Flink
🤢Iceberg
И вроде понимаешь, что работы было дохрена, но писать про себя всё равно максимально неловко и не знаешь от чего оттолкнуться.
И в конце концов еще нужно описать коллег и коллеги пишут о тебе.
Я думал, что люди будут писать что-то вроде:
— Володя сделал миграцию.
— Володя шарит в ClickHouse.
— Володя настроил стриминг.
Но если почитать отзывы они в целом вообще были не про технологии.
Они про то, что:
• всегда можно прийти спросить
• объясняю сложные вещи простыми словами
• провожу митапы
• помогаю быстрее разобраться в новых технологиях
• и т.д. (можете почитать сами)
И в этот момент я поймал себя на мысли. Еще пол года назад думал, что премия зависит от количества закрытых карточек и от быстры выполнения задач.
На самом деле — нет!
Во многих компаниях оценивают не только что ты сделал, но и какое влияние оказал на команду.
Код рано или поздно перепишут. А вот то, что благодаря тебе люди стали работать быстрее и сильнее, — обычно запоминают надолго.
Мне кажется, это вообще одна из самых недооценённых тем в IT. Многие думают, что главное — закрывать тикеты. А потом удивляются, почему человек, который сделал меньше задач, получает выше оценку и большую премию. Очень часто разница именно в софт-скиллах и в том, какое влияние ты оказываешь на команду.
Софты решают! | 2 537 |
| 17 |  Ну всё, ухожу из IT на стройку. 👷
На самом деле просто давно не выходил на связь. Каюсь! Но, кажется, у меня есть уважительные причины. 😄
1️⃣ Работа
В последнее время на работе образовался настоящий завал. Новые задачи, новые направления, пришлось во всё это активно погружаться и разбираться.
2️⃣ Буткемпик
У нас сейчас идёт первый поток, и оказалось, что создать программу — это только половина дела. После каждой лекции собираем обратную связь и спрашиваем: что улучшить, где-то перестроить объяснение, добавить реальные кейсы, но при этом сохранить формат обучения с полного нуля. Приходится находить время и повторно читать лекции.
Короче говоря, курс для начинающий постоянно становится лучше!
3️⃣ И самое приятное...
🎉 Я ПОЛУЧИЛ КЛЮЧИ ОТ СВОЕЙ КВАРТИРЫ!🎉
А дальше всё как положено: приёмка, документы, замеры, дизайнер, бесконечные поездки в квартиру и ощущение, что ремонт — это ещё одна полноценная работа.
Теперь после основной работы, Буткемпа, менторства и созвонов начинается вторая смена — ремонт. 🔨
Так что если вдруг в канале начнут появляться стены, электрика, мешки с клеем и прочие радости взрослой жизни — не удивляйтесь. 😂
Если честно, тема ремонта меня уже начинает затягивать. Вчера, например, несколько часов с дизайнером бегали с рулеткой, размечали стены, окна и будущую мебель. И оказалось, что там тоже куча интересных нюансов.
Так что, если вам интересна тема ремонта или у вас есть опыт, которым готовы поделиться, — с удовольствием пообщаюсь. Думаю, ошибок я ещё успею наделать достаточно. 😄
И, кстати...
Нас уже больше 4000 человек! ❤️
Честно, до сих пор не верится. Хотя если бы каждый скинулся всего по 2000 рублей, я бы уже ипотеку закрыл... 😂
Ладно-ладно, это была шутка. (Ну почти.) | 1 973 |
| 18 |  ⏰ Сегодня последний день набора на Буткемпик!
Хочешь освоить **SQL и Python с нуля** и получить базу для старта в аналитике данных или Data Engineering?
За 2 месяца мы пройдем путь:
✅ от первого `SELECT` и `print()`;
✅ до оконных функций, ETL-процессов, работы с API и реальных задач.
Никакой воды — только практика, домашние задания, живые занятия и поддержка на протяжении всего обучения.
🚨 Сегодня набор закрывается.
Если давно хотел начать — сейчас самое время.
Подробности здесь – /bootcampik | 1 |
| 19 |  #кейсы
Как мы сократили время OPTIMIZE в ClickHouse почти в 2 раза
Есть таблица на ReplacingMergeTree, для которой регулярно выполнялся:
OPTIMIZE TABLE schema.table FINAL
SETTINGS optimize_throw_if_noop = 1;
Поначалу всё работало отлично. Но со временем таблица выросла примерно до 200 ГБ (в сжатом виде).
В какой-то момент начались инциденты.
📌Что произошло
Таблица была непартиционированной, поэтому OPTIMIZE FINAL каждый раз фактически проходил по всей таблице. Когда объем данных вырос, оптимизация перестала укладываться в таймаут драйвера с ClickHouse. На графике это видно как серию падений DAG (оранжевая область).
Чтобы восстановить работу, пришлось просто увеличить timeout драйвера. Выполнение стабилизировалось, но появилась другая проблема – каждая оптимизация стала занимать 3–4 часа. По итогу Time to Market у нас пошел по одному месту.
📌Решение
Так как нужно было удалять дубли в рамках ключа, применили хеш-партиционирование по ключу сортировки разбив её на 16 частей:
PARTITION BY cityHash64(id) % 16
После этого:
1) пересобрали таблицу;
2) выполнили EXCHANGE TABLE;
3) оптимизация стала выполняться параллельно по каждой партиции отдельно, а не по всей таблице сразу.
📌Итог
📊 На графике хорошо видно три этапа:
🟠 Инциденты – OPTIMIZE перестал укладываться в таймаут и начал падать.
🔵 Временное решение – Увеличили timeout соединения. Проблема исчезла, но время выполнения выросло до 3–4 часов.
🔴 Я тут как раз пересобирал таблицу
🟢 Окончательное решение – Перешли на хеш-партиционирование.
В результате время выполнения OPTIMIZE FINAL сократилось примерно в 1.5 раза, а сама операция стала значительно стабильнее.
Понятное дело, что мы можем еще поработать над параллельностью, над кодеками самих колонок, разложить не на 16 частей, а например на 32 и т.д. но важно понимать это инцидент, а не полноценная задача. Соответсвенно нужно сделать быстро и чтобы работало исправно, как только и тут зайдём на SLA в 2 часа, то начнём думать что делать дальше, вплоть до того чтобы оставлять только нужные данные, а остальные отправлять в архив.
_____________________
Хочешь изучить Python и SQL записывайся на 1й поток "Буткемпик" через @bootcampych_bot, старт через 2 дня – 1 июля! | 2 323 |
| 20 |  +2🎉 У меня сегодня день рождения — исполнилось 29 лет!
Если бы можно было дать совет себе из прошлого, я бы сказал всего одну фразу:
Красавчик. Ты и так всё делаешь правильно и добьёшься всего чего хочешь!
За последние несколько лет произошло столько всего, что вернувшись назад я(из прошлого) бы в это просто не поверил.
Так что погнали дальше. Инсульт в 40 сам себя не получит🤣 | 2 029 |
