Инженерообязанный🫡 | Владимир Шустиков | Инженер Данных | Аналитик Данных
رفتن به کانال در Telegram
Привет! Я Шустиков Владимир, Data Engeneer | Data Analytic 👉 RoadMap: https://roadmappers.ru/ 👉 Общий чат: https://t.me/+p-0NiSWmQ5ZhZmEy 👉 Youtube канал: https://www.youtube.com/@shust_de По сотрудничеству и рекламе: @ShustDE
نمایش بیشتر4 296
مشترکین
+424 ساعت
+307 روز
+11530 روز
در حال بارگیری داده...
کانالهای مشابه
هیچ دادهای
مشکلی وجود دارد؟ لطفاً صفحه را تازه کنید یا با مدیر پشتیبانی ما تماس بگیرید.
ابر برچسبها
اشارات ورودی و خروجی
---
---
---
---
---
---
جذب مشترکین
سپتامبر '26
سپتامبر '26
+99
در 0 کانالها
اوت '26
+173
در 2 کانالها
Get PRO
ژوئیه '26
+237
در 0 کانالها
Get PRO
ژوئن '26
+192
در 2 کانالها
Get PRO
مه '26
+247
در 2 کانالها
Get PRO
آوریل '26
+300
در 1 کانالها
Get PRO
مارس '26
+507
در 3 کانالها
Get PRO
فوریه '26
+510
در 3 کانالها
Get PRO
ژانویه '26
+101
در 1 کانالها
Get PRO
دسامبر '25
+76
در 1 کانالها
Get PRO
نوامبر '25
+119
در 2 کانالها
Get PRO
اکتبر '25
+120
در 1 کانالها
Get PRO
سپتامبر '25
+116
در 1 کانالها
Get PRO
اوت '25
+184
در 4 کانالها
Get PRO
ژوئیه '25
+181
در 2 کانالها
Get PRO
ژوئن '25
+181
در 2 کانالها
Get PRO
مه '25
+243
در 5 کانالها
Get PRO
آوریل '25
+236
در 2 کانالها
Get PRO
مارس '25
+247
در 3 کانالها
Get PRO
فوریه '25
+252
در 5 کانالها
Get PRO
ژانویه '25
+353
در 4 کانالها
Get PRO
دسامبر '24
+313
در 7 کانالها
Get PRO
نوامبر '24
+249
در 2 کانالها
| تاریخ | رشد مشترکین | اشارات | کانالها | |
| 16 سپتامبر | +6 | |||
| 15 سپتامبر | +5 | |||
| 14 سپتامبر | +7 | |||
| 13 سپتامبر | +3 | |||
| 12 سپتامبر | +1 | |||
| 11 سپتامبر | +5 | |||
| 10 سپتامبر | +12 | |||
| 09 سپتامبر | +5 | |||
| 08 سپتامبر | +7 | |||
| 07 سپتامبر | +10 | |||
| 06 سپتامبر | +8 | |||
| 05 سپتامبر | +7 | |||
| 04 سپتامبر | +5 | |||
| 03 سپتامبر | +8 | |||
| 02 سپتامبر | +8 | |||
| 01 سپتامبر | +2 |
پستهای کانال
Ищу себе короче стоит и тут бах.... ИИ. Зачем в подстолье ИИ? 😂
| 2 |  🚀 8-й поток стартует уже ЗАВТРА!
Ребят, кто хотел залететь на BootCamp по Data Engineering, но всё откладывал — вот он, тот самый последний момент 😁
Сегодня и завтра — последняя возможность присоединиться к 8-му потоку.
Дальше закрываем набор и начинаем учиться: SQL, Python, DE-стек, много практики, домашки, pet-проекты и живые занятия.
Кто с нами — погнали в Буткемпыч бот 🚀 | 691 |
| 3 |  Обзор BootCamp для Data Engineer
Подходит к завершению 7-ой поток Буткемпа от Жени и Вовы.
К сожалению я не успел полностью пройти буткем, сделать все задания и пет проект.
Я занимался переездом и были некоторые карьерные изменения (о них расскажу потом).
Поэтому расскажу немного поверхностные впечатления.
Что мне понравилось:
Хорошая подача материала.
Это у ребят не отнять - лекции максимально понятные. Рассказывают суть технологий, что и как устроено в реальности в компаниях, приводят примеры, на экране тоже постоянно что-то стримят показывают. Я думаю многие видели видосы Жени по Спарку и по DE. Разборы вопросов по гринпламу, клик, оптимизация от Вовы. Вот лекции в буткемпе в таком же стиле. Записи конечно сохраняются. Я смотрел в записи, на прямом эфире ни разу не был.
Лекции
Сам материал опять же понятно написан, не сгенерирован весь нейронкой (вроде бы). Упор сделан больше на понимание и объяснения базовой информации. Какие-то тонкости и сеньорные глубокие вопросы особо не разбираются, хотя мне было б интересно это почитать.
Инфраструктура
Прикрепил скрин с инфрой. Со всем можно работать из браузера. Ничего поднимать/настраивать не нужно. Удобно
Пет проект и задачи
У вас есть джира с тасками, потихоньку делаете задачи и выполняете пет проект.
У пет проекта тоже есть несколько уровней - базовый легкий и посложнее.
Базовый выглядит так:
Прочитать файл из S3 -> Прочитать данные через Spark -> Привести типы колонок и добавить технические поля: -> Создать реплицируемую и распределённую таблицу в ClickHouse -> Загрузить данные в ClickHouse -> Все это упаковать в DAG Airflow.
Задачи несложные, для кого-то это плюс, для кого-то минус.
Карьерные консультации и собесы
Ребята рассказывают как делать резюме и разбирают резюме учеников. Проводят собесы с желающими в прямом эфире. Это 100% полезно, но недостаточно для трудоустройства.
Поддержка в чате и Дружеский вайб
Конечно есть отдельный чатик. Я кстати думал будет гораздо больше сообщений и флуда. Но в основном общение только по делу.
Ребята оперативно отвечают на вопросы и у них есть помощник.
Цена
Я не знал сколько стоил буткемп, мне дали доступ к буткемпу, чтоб я протестил его. Цену спросил совсем недавно и был удивлен))
60к. Я думал он стоит около 100к
Минусы
Сразу скажу, что в целом цена перекрывает минусы. 60к это не дорого относительно других курсов.
Здесь просто упор сделан больше, чтоб научить новичков/перекатышей/джунов. Им буткемп полезен, как по мне.
Мидлам DE, сеньорам буткемп будет не так полезен. Только если кто-то хочет сменить, расширить стэк, лень заморачиваться с инфрой, хочет пообщаться с ребятами и позадавать вопросы - то тоже ок.
Я с ребятами общаюсь и знаю, что они серьезно относятся к делу.
В общем, пингвин одобряет BootCamp для Data Engineer👍
it пингвин | data engineer 🐧 | 1 849 |
| 4 | Хочу написать отзыв про буткемп. Меня зовут Тимур, я проходил курс буткемпа и разделил бы свой отзыв о курсе на несколько направлений:
1) Преподаватели
Женя и Володя — классные ребята, которые очень хорошо подают материал, объясняют всё максимально понятно. Даже если возникают какие-то тупые вопросы, они подробно на них ответят и помогут донести информацию максимально понятно. Почти всегда находятся на связи вне уроков в чате в Telegram и всегда готовы помочь.
2) Формат и структура курса
Очень классная идея, что курс максимально похож на рабочий процесс: есть Jira, Wiki, общий репозиторий и т. д. Благодаря этому те, кто с нуля приходит в профессию, будут гораздо увереннее чувствовать себя при устройстве на работу и в целом на собеседованиях.
Отдельно хочется отметить идею с крупным пет-проектом. Это очень классный опыт, который позволяет поработать со всеми возможными задачами, которые могут встретиться в работе Дата инженера. Конечно, глубина погружения зависит от самого ученика — захочет ли он усложнять проект или глубже разбираться в каких-то темах. Но за счёт того, что пайплайн строится с нуля и от начала до конца, можно хорошо понять, что и как происходит на каждом этапе работы деешника.
3) Инфраструктура
Очень круто настроена инфраструктура. За время обучения я вообще не сталкивался с проблемами, когда что-то падает или не работает, ресурсов более чем хватает. Также есть довольно широкий спектр инструментов на выбор, поэтому можно попробовать поработать практически со всеми актуальными «игрушками» дата-инженера в песочнице.
Исходя из моего опыта, далеко не на каждой работе DevOps так хорошо настраивали инструменты.
4) Учебные материалы
Мне нравится, что в видео даётся базовая, понятная и, наверное, самая необходимая информация по каждому из инструментов. А уже более глубокие темы можно изучить в Wiki — там довольно подробно и хорошо описаны различные детали. Если этого недостаточно, всегда можно обратиться к официальной документации. Но на первых этапах Wiki обычно вполне хватает.
При этом важно понимать, что желательно иметь хорошую базу по SQL и Python — это обязательно. Также желательно иметь хотя бы общее представление о базах данных и принципах работы с данными, чтобы было проще усваивать и понимать информацию. Но это не является обязательным условием: если что-то непонятно, всё объяснят и помогут разобраться.
В целом моя общая оценка крайне положительная. Мне всё понравилось, ставлю 10 из 10, всем советую) | 3 723 |
| 5 | Хочу написать отзыв про буткемп. Меня зовут Тимур, я проходил курс буткемпа и разделил бы свой отзыв о курсе на несколько направлений:
1) Преподаватели
Женя и Володя — классные ребята, которые очень хорошо подают материал, объясняют всё максимально понятно. Даже если возникают какие-то тупые вопросы, они подробно на них ответят и помогут донести информацию максимально понятно. Почти всегда находятся на связи вне уроков в чате в Telegram и всегда готовы помочь.
2) Формат и структура курса
Очень классная идея, что курс максимально похож на рабочий процесс: есть Jira, Wiki, общий репозиторий и т. д. Благодаря этому те, кто с нуля приходит в профессию, будут гораздо увереннее чувствовать себя при устройстве на работу и в целом на собеседованиях.
Отдельно хочется отметить идею с крупным пет-проектом. Это очень классный опыт, который позволяет поработать со всеми возможными задачами, которые могут встретиться в работе Дата инженера. Конечно, глубина погружения зависит от самого ученика — захочет ли он усложнять проект или глубже разбираться в каких-то темах. Но за счёт того, что пайплайн строится с нуля и от начала до конца, можно хорошо понять, что и как происходит на каждом этапе работы деешника.
3) Инфраструктура
Очень круто настроена инфраструктура. За время обучения я вообще не сталкивался с проблемами, когда что-то падает или не работает, ресурсов более чем хватает. Также есть довольно широкий спектр инструментов на выбор, поэтому можно попробовать поработать практически со всеми актуальными «игрушками» дата-инженера в песочнице.
Исходя из моего опыта, далеко не на каждой работе DevOps так хорошо настраивали инструменты.
4) Учебные материалы
Мне нравится, что в видео даётся базовая, понятная и, наверное, самая необходимая информация по каждому из инструментов. А уже более глубокие темы можно изучить в Wiki — там довольно подробно и хорошо описаны различные детали. Если этого недостаточно, всегда можно обратиться к официальной документации. Но на первых этапах Wiki обычно вполне хватает.
При этом важно понимать, что желательно иметь хорошую базу по SQL и Python — это обязательно. Также желательно иметь хотя бы общее представление о базах данных и принципах работы с данными, чтобы было проще усваивать и понимать информацию. Но это не является обязательным условием: если что-то непонятно, всё объяснят и помогут разобраться.
В целом моя общая оценка крайне положительная. Мне всё понравилось, ставлю 10 из 10, всем советую) | 1 |
| 6 |  У нас украли Буткемп. Но есть один нюанс — походу, люди сами не поняли, что именно они украли💩
Сегодня нашли наш Roadmappers BootCamp на одном сайте со слитыми курсами.
Стоит 500 рублей.
Ну думаем, ладно. Дожили. Буткемп слили!
Захожу посмотреть описание.
И тут выясняется, что мы, оказывается, всё это время преподавали...
СИСТЕМНОЕ АДМИНИСТРИРОВАНИЕ 😂
Цитирую описание нашего Буткемпа:
«Востребованный курс по администрированию. Осваивайте системное администрирование, сетевые технологии и управление серверами».
Блять! 7 потоков. Больше года:
Spark. Kafka. Airflow. ClickHouse. PostgreSQL. GreenPlum. Iceberg. Trino.
Строили ETL-пайплайны. Поднимали инфраструктуру. Работали с хранилищами. Разбирали архитектуру.
А оказывается, готовили – сисадминов.
Спасибо пиратам, хоть объяснили, чем мы занимаемся 😂
Но если серьёзно, эта ситуация очень хорошо показывает одну вещь.
Слить Буткемп невозможно!
Можно слить видеозаписи лекций. И если вам нужны именно они — ребят, ну вот они, оказывается, стоят 500 рублей.(покупка на свой страх и риск, мы не знаем чем на самом делел они там торгуют)
Только сам Буткемп никогда не был набором видео. Ты можешь посмотреть 50 часов про Spark, GreenPlum и ClickHouse и остаться ровно на том же месте.
Потому что самое важное начинается после лекции. Когда тебе нужно самому:
1. Написать пайплайн.
2. Сломать его.
3. Получить ошибку.
4. Не понять, почему оно не работает.
5. Разобраться.
6. Прийти к нам с вопросом.
7. Переделать.
8. Сделать домашку.
9. Собрать pet-проект.
А потом соединить всё это в одну из работающих систем:
📍 API → S3 → ClickHouse
📍API → S3 → GreenPlum → DBT → ClickHouse
📍API → Spark → Iceberg → Trino → ClickHouse
Вот это уже Буткемп!💪
Плюс менторы, обратная связь, разборы, инфраструктура, дополнительные блокноты, комьюнити, проекты и работа над тем, как потом весь полученный опыт нормально упаковать и выйти с ним на рынок.
Этого в папку на торренте не положишь!
Так что если хотите купить «курс системного администратора»(за ваш переход по сторонним ссылкам администраторы каналов, где находится пост отвественности не несут) за 500 рублей — велком ⚪️
А мы пока продолжим работать в направлении Data Engineer.
Видео можно скачать.
Опыт придётся получить самому.
__________
И, кстати, раз уж пираты бесплатно подогнали нам рекламную интеграцию 😂
1 сентября стартует 8-й поток Буткемпа.
Осталось — 7 мест.
Записаться можно через нашего бота Буткемпыч. | 1 860 |
| 7 |  На 8-й поток Буткемпа осталось 10 мест.
Уже через неделю — 1 сентября. И вместе с новым учебным годом стартует новый поток Буткемпа 🚀
За время 7-го потока мы успели очень сильно докрутить программу.
Доработали материал по Iceberg и Trino и выстроили полноценный рабочий пайплайн:
API → Spark → Iceberg → Trino → ClickHouse
Плюс мы подготовили систему для формирования легенды и описания опыта в резюме.
Причём сделали её так, что она подойдёт даже охраннику, который вчера сидел на шлагбауме, а сегодня решил залететь в IT.💪
Кому вообще нужен Буткемп?
Если ты уже знаешь SQL и Python, но дальше смотришь на Spark, Airflow, ClickHouse, Trino, Iceberg и думаешь:
«Так... а как всё это изучать и как вообще между собой связано?»
— тебе к нам.
Если ты уже работающий Data Engineer / Data Analyst или на смежных IT вакансиях и хочешь расширить стек, закрыть пробелы и структурировать знания — тебе тоже к нам!
На онлайн-занятиях мы подробно разбираем технологии, механизмы их работы и, самое главное, учимся структурно мыслить и понимать, зачем мы вообще используем тот или иной инструмент.
А материала уже стало настолько много, что физически запихнуть всё в лекции невозможно. Поэтому по технологиям мы дополнительно подготовили отдельные блокноты: можно открыть нужную тему, пройти её самостоятельно, посмотреть примеры и разобраться глубже.
Короче.
1 сентября — старт 8-го потока.
Осталось 10 мест.
Для записи переходи в бот Буткемпыч 👈 | 2 028 |
| 8 |  Легенда для Дата Инженера за 1 промпт! Составляем Резюме
Буквально 1 промпт, который из любой твоей истории сделает готовую легенду для Дата Инженера. Это не кликбейт. Я реально на вайбкодил готовый сервис для сборки вашего рассказа на собесе и резюме. А также показал, как его составить, чтобы вас не скипали.
Смотрите на Youtube
▶️ https://youtu.be/okvu18S7h2U
Кстати, мы уже набираем поток на BootCamp. Старт 1 сентбяря
@bootcampych_bot | 2 055 |
| 9 |  😱Буткемпик – ВСЁ!😱
Читейший Кликбейт, только без клика!😂
У нас сейчас идёт Буткемпик, и там проводится просто огромная работа над ошибками, как в лекциях, так и в материалах. По факту продукт по обучению SQL и Python с нуля получается — супербомбический!
Но, к сожалению, у меня сейчас физически не хватает времени на дополнительные созвоны и занятия с ребятами, которые не входят в рамки обязательной программы, но они нужны для дополнитеьльного объяснения и т.д. Для таких созвонов я реально ищу хотя бы час свободного времени и иногда предупреждаю ребят о них буквально за пару часов.
Нехватка времени связана с рядом объективных причин.
В первую очередь, у меня сейчас идёт ремонт в квартире, и я каждый день с утра до вечера езжу по магазинам, выбираю товары, ищу рабочих, что-то делаю сам. И в целом — ремонт это ещё та морока. 😂 Если есть желание, могу прям рассказать, поскидывать видосы с квартиры: как и что мы там делаем и в какую копейку мне всё это обходится!
А через неделю у меня заканчивается отпуск😢, и в это же время значительная часть команды пойдёт в свои отпуска. Задач на это полугодие было прям много, поэтому времени на раскачку особо не будет.👨💻
Опять же, параллельно будет идти Буткемп☺️. (Кстати, поторопитесь записываться: уже почти половина потока набрана, а количество мест ограничено!!!) Я готовлюсь к каждому занятию, плюс постоянная поддержка ребят, плюс постоянное улучшение контента.
Так же сейчас проживаю с семьёй в небольшом съёмном жилье, где не очень удобно проводить занятия из-за постоянных шумов на фоне во время лекций.
В общем и целом, это главные причины, почему я подзабил на Telegram-канал, не снимаю видосы на YouTube, не провожу стримы и т. д. Поверьте наслово – идей дофига и куча, а времени нет⚪️
Как только хоть немножко освобожусь, хотя бы относительно ремонта квартиры, ибо именно он сжирает большую часть времени, — сразу начну снова делать контент.
На данный момент Буткемпик (не путать с Буткемпом) ставим на паузу!
Уже сейчас мы убрали возможность записаться на Буткемпик в нашем боте. В октябре запись будет возобновлена.
Ну а пока, если есть желание, могу рассказывать, как продвигается ремонт, показывать дизайн, сколько всё это стоит, какие решения принимаем и сколько косяков встречается по дороге 😂
Ибо сейчас голова забита в основном только этим. | 2 976 |
| 10 | Спасибо за стрим!
Запись была, кто пропустил, всегда можете посмотреть в записи. Запись скоро будет на YouTube!
если остались вопросы, то здесь можно задать - @bootcampych_bot | 2 570 |
| 11 | Го начинаем СТРИМ!
Поговорим за Буткемп Сентбярь!
Вот ссылка на стрим - https://telemost.yandex.ru/live/afa760a8b2b349369d0290a40cb0c984
Запись будет. Не переживайте. | 83 |
| 12 |  Набор на BootCamp Сентябрь ОТКРЫТ!
ВОСЬМОЙ ПОТОК стартует уже 1 сентября!
Успей записаться через @bootcampych_bot и жми Хочу на BootCamp
Для тех, кто не знает, что такое BootCamp DE. Мы сделали супер интенсив за 2 месяца в DE.
Это буквально копия вашей будущей работы.
Представьте, что вы приходите на новое место работы, и увольняющийся коллега передаёт вам дела. У него есть две недели, чтобы показать, что и как делать. Вы буквально впитываете всё как губка, потому что потом спрашивать будет не у кого.
Так вот именно эту идею мы и вложили в Bootcamp!
За короткое время вы погружаетесь в работу инженера данных, осваиваете современный стек и получаете навыки прохождения собеседований и составления резюме.
Мы реально вычеркнули большую часть бесполезной теории. Упор исключительно на практику.
Чтобы вы пришли на работу и сказали: "Мы это уже делали"
🔴 Уже в это воскресенье 2 августа делаем СТРИМ, где покажем, как сейчас выглядит BootCamp и что нового мы туда внесли!
А пока можете посмотреть ▶️ видео с прошлого потока
Ссылку на стрим скину ближе к 2 августа!!!
Ближайший старт потока — 1 сентября
Переходите в наш бот @bootcampych_bot и жми Хочу на BootCamp
Кол-во мест ограничено! | 2 797 |
| 13 | Ребят у Жени вышел шикарный видос 2я часть вопросов собеседований на Инженера Данных.🙀
https://youtu.be/BWSXh1Ussms
Берём и залетаем👍
Комментарии, лайки и подписка, репосты – приветствуется все, что продвигает канал!🫰 | 2 686 |
| 14 |  +7Самое сложное в получении премии – это не работа
А написать самому про себя. 😂
Сейчас у меня в компании проходит мероприятие, так называетмое "Оценка 360 – Review". И когда приходит время, начитается: А что ты делал? Чем занимался? Каких успехов достиг?
Нууу... работу делал.
Потом открываешь список своих задач за полгода:
🤢Миграция
🤢Стриминг
🤢ClickHouse
🤢Flink
🤢Iceberg
И вроде понимаешь, что работы было дохрена, но писать про себя всё равно максимально неловко и не знаешь от чего оттолкнуться.
И в конце концов еще нужно описать коллег и коллеги пишут о тебе.
Я думал, что люди будут писать что-то вроде:
— Володя сделал миграцию.
— Володя шарит в ClickHouse.
— Володя настроил стриминг.
Но если почитать отзывы они в целом вообще были не про технологии.
Они про то, что:
• всегда можно прийти спросить
• объясняю сложные вещи простыми словами
• провожу митапы
• помогаю быстрее разобраться в новых технологиях
• и т.д. (можете почитать сами)
И в этот момент я поймал себя на мысли. Еще пол года назад думал, что премия зависит от количества закрытых карточек и от быстры выполнения задач.
На самом деле — нет!
Во многих компаниях оценивают не только что ты сделал, но и какое влияние оказал на команду.
Код рано или поздно перепишут. А вот то, что благодаря тебе люди стали работать быстрее и сильнее, — обычно запоминают надолго.
Мне кажется, это вообще одна из самых недооценённых тем в IT. Многие думают, что главное — закрывать тикеты. А потом удивляются, почему человек, который сделал меньше задач, получает выше оценку и большую премию. Очень часто разница именно в софт-скиллах и в том, какое влияние ты оказываешь на команду.
Софты решают! | 2 537 |
| 15 |  Ну всё, ухожу из IT на стройку. 👷
На самом деле просто давно не выходил на связь. Каюсь! Но, кажется, у меня есть уважительные причины. 😄
1️⃣ Работа
В последнее время на работе образовался настоящий завал. Новые задачи, новые направления, пришлось во всё это активно погружаться и разбираться.
2️⃣ Буткемпик
У нас сейчас идёт первый поток, и оказалось, что создать программу — это только половина дела. После каждой лекции собираем обратную связь и спрашиваем: что улучшить, где-то перестроить объяснение, добавить реальные кейсы, но при этом сохранить формат обучения с полного нуля. Приходится находить время и повторно читать лекции.
Короче говоря, курс для начинающий постоянно становится лучше!
3️⃣ И самое приятное...
🎉 Я ПОЛУЧИЛ КЛЮЧИ ОТ СВОЕЙ КВАРТИРЫ!🎉
А дальше всё как положено: приёмка, документы, замеры, дизайнер, бесконечные поездки в квартиру и ощущение, что ремонт — это ещё одна полноценная работа.
Теперь после основной работы, Буткемпа, менторства и созвонов начинается вторая смена — ремонт. 🔨
Так что если вдруг в канале начнут появляться стены, электрика, мешки с клеем и прочие радости взрослой жизни — не удивляйтесь. 😂
Если честно, тема ремонта меня уже начинает затягивать. Вчера, например, несколько часов с дизайнером бегали с рулеткой, размечали стены, окна и будущую мебель. И оказалось, что там тоже куча интересных нюансов.
Так что, если вам интересна тема ремонта или у вас есть опыт, которым готовы поделиться, — с удовольствием пообщаюсь. Думаю, ошибок я ещё успею наделать достаточно. 😄
И, кстати...
Нас уже больше 4000 человек! ❤️
Честно, до сих пор не верится. Хотя если бы каждый скинулся всего по 2000 рублей, я бы уже ипотеку закрыл... 😂
Ладно-ладно, это была шутка. (Ну почти.) | 1 973 |
| 16 |  ⏰ Сегодня последний день набора на Буткемпик!
Хочешь освоить **SQL и Python с нуля** и получить базу для старта в аналитике данных или Data Engineering?
За 2 месяца мы пройдем путь:
✅ от первого `SELECT` и `print()`;
✅ до оконных функций, ETL-процессов, работы с API и реальных задач.
Никакой воды — только практика, домашние задания, живые занятия и поддержка на протяжении всего обучения.
🚨 Сегодня набор закрывается.
Если давно хотел начать — сейчас самое время.
Подробности здесь – /bootcampik | 1 |
| 17 |  #кейсы
Как мы сократили время OPTIMIZE в ClickHouse почти в 2 раза
Есть таблица на ReplacingMergeTree, для которой регулярно выполнялся:
OPTIMIZE TABLE schema.table FINAL
SETTINGS optimize_throw_if_noop = 1;
Поначалу всё работало отлично. Но со временем таблица выросла примерно до 200 ГБ (в сжатом виде).
В какой-то момент начались инциденты.
📌Что произошло
Таблица была непартиционированной, поэтому OPTIMIZE FINAL каждый раз фактически проходил по всей таблице. Когда объем данных вырос, оптимизация перестала укладываться в таймаут драйвера с ClickHouse. На графике это видно как серию падений DAG (оранжевая область).
Чтобы восстановить работу, пришлось просто увеличить timeout драйвера. Выполнение стабилизировалось, но появилась другая проблема – каждая оптимизация стала занимать 3–4 часа. По итогу Time to Market у нас пошел по одному месту.
📌Решение
Так как нужно было удалять дубли в рамках ключа, применили хеш-партиционирование по ключу сортировки разбив её на 16 частей:
PARTITION BY cityHash64(id) % 16
После этого:
1) пересобрали таблицу;
2) выполнили EXCHANGE TABLE;
3) оптимизация стала выполняться параллельно по каждой партиции отдельно, а не по всей таблице сразу.
📌Итог
📊 На графике хорошо видно три этапа:
🟠 Инциденты – OPTIMIZE перестал укладываться в таймаут и начал падать.
🔵 Временное решение – Увеличили timeout соединения. Проблема исчезла, но время выполнения выросло до 3–4 часов.
🔴 Я тут как раз пересобирал таблицу
🟢 Окончательное решение – Перешли на хеш-партиционирование.
В результате время выполнения OPTIMIZE FINAL сократилось примерно в 1.5 раза, а сама операция стала значительно стабильнее.
Понятное дело, что мы можем еще поработать над параллельностью, над кодеками самих колонок, разложить не на 16 частей, а например на 32 и т.д. но важно понимать это инцидент, а не полноценная задача. Соответсвенно нужно сделать быстро и чтобы работало исправно, как только и тут зайдём на SLA в 2 часа, то начнём думать что делать дальше, вплоть до того чтобы оставлять только нужные данные, а остальные отправлять в архив.
_____________________
Хочешь изучить Python и SQL записывайся на 1й поток "Буткемпик" через @bootcampych_bot, старт через 2 дня – 1 июля! | 2 323 |
| 18 |  +2🎉 У меня сегодня день рождения — исполнилось 29 лет!
Если бы можно было дать совет себе из прошлого, я бы сказал всего одну фразу:
Красавчик. Ты и так всё делаешь правильно и добьёшься всего чего хочешь!
За последние несколько лет произошло столько всего, что вернувшись назад я(из прошлого) бы в это просто не поверил.
Так что погнали дальше. Инсульт в 40 сам себя не получит🤣 | 2 029 |
| 19 |  BootCamp Июль НАБРАН!
Друзья, мы набрали июльский поток полностью! Стартуем уже 1 июля.
Продажи на июльский поток мы АСТАНАВЛИВАЕМ!
Потому что BootCamp, как Москва, НЕРЕЗИНОВЫЙ. У нас с каждым новым потоком появляются все более свежие идеи. Теперь у нас есть ТРИ ПЕТ проекта, которые можно реализовать за время обучения. От простого к сложному. Т.е. буквально базовый делают все, а вот более сложные свзязки инструментов можно собрать добровольно.. но я рекомендую пробовать ВСЕ!
По поводу следующего потока! Он БУДЕТ! По датам сообщим в районе 10-15 июля. У нас есть мысли добавить опцию "Собираем легенду индивидуально". Это про то, чтобы переупаковать ваш опыт в релевантный и подходящий рассказ. Возможно мы сделаем буткемп длиннее и добавим дополнительные варианты оплаты в плане рассрочек. Также будет больше времени на тестирование своих пет проектов и постройку бОльшего числа пайплайнов.
Плюс я навайбкодил небольшой конструктор Пет Проектов, чисто для Дата Инженеров, чтобы можно было собрать связку под себя, под свой опыт. Потому что основная боль, которая возникает у ребят: "Много инструментов, но как все связано между собой, непонятно!"
КСТАТИ
Если вы хотите на BootCamp, но пока еще не знаете python и sql, то приглашаем на БуткемпИК!
Это для тех, кто совсем сейчас в нулевой точке и хочет спокойно со всеми разобраться в программировании. Старт 1 июля.
Записаться, оплатить и попасть сразу в чат можно тут
➡️ @bootcampych_bot | 1 559 |
| 20 |  Изучить SQL и Python не сложнее, чем собрать LEGO.
Главное — чтобы кто-то показал, какие детали нужны и в каком порядке их соединять.
Именно для этого мы создали Буткемпик. Для тех, кто уже давно хочет, но коллебается моё это или не моё и не знает с чего начать своё обучение.
Если ты ждал знак СВЫШЕ, вот он: "Это ТВОЁ! Ты главное прояви усидчивость!"
Хватит колебаться, переходи /bootcampik за всеми подробностями и не бойся задавать вопросы! | 76 |
