اکنون در دسترس! پژوهش تلگرام ۲۰۲۵ — مهمترین بینشهای سال 
Я – Дата Инженер | Евгений Виндюков
رفتن به کانال در Telegram
💵 Как стать Data Engineer 🗄 Смотри Roadmap в закрепе! _____________________________ Автор @halltape Все вопросы по рекламе @k_shredinger
نمایش بیشتر5 523
مشترکین
-124 ساعت
+427 روز
+15030 روز
در حال بارگیری داده...
کانالهای مشابه
ابر برچسبها
اشارات ورودی و خروجی
---
---
---
---
---
---
جذب مشترکین
ژوئن '26
ژوئن '26
+204
در 4 کانالها
مه '26
+313
در 2 کانالها
Get PRO
آوریل '26
+339
در 1 کانالها
Get PRO
مارس '26
+399
در 4 کانالها
Get PRO
فوریه '26
+355
در 1 کانالها
Get PRO
ژانویه '26
+170
در 1 کانالها
Get PRO
دسامبر '25
+122
در 1 کانالها
Get PRO
نوامبر '25
+183
در 2 کانالها
Get PRO
اکتبر '25
+249
در 2 کانالها
Get PRO
سپتامبر '25
+157
در 1 کانالها
Get PRO
اوت '25
+183
در 3 کانالها
Get PRO
ژوئیه '25
+214
در 0 کانالها
Get PRO
ژوئن '25
+204
در 2 کانالها
Get PRO
مه '25
+276
در 2 کانالها
Get PRO
آوریل '25
+237
در 6 کانالها
Get PRO
مارس '25
+272
در 6 کانالها
Get PRO
فوریه '25
+215
در 5 کانالها
Get PRO
ژانویه '25
+300
در 2 کانالها
Get PRO
دسامبر '24
+227
در 7 کانالها
Get PRO
نوامبر '24
+229
در 3 کانالها
Get PRO
اکتبر '24
+284
در 1 کانالها
Get PRO
سپتامبر '24
+161
در 1 کانالها
Get PRO
اوت '24
+205
در 4 کانالها
Get PRO
ژوئیه '24
+215
در 2 کانالها
Get PRO
ژوئن '24
+178
در 1 کانالها
Get PRO
مه '24
+221
در 3 کانالها
Get PRO
آوریل '24
+214
در 2 کانالها
Get PRO
مارس '24
+166
در 3 کانالها
Get PRO
فوریه '24
+123
در 2 کانالها
Get PRO
ژانویه '24
+109
در 2 کانالها
Get PRO
دسامبر '23
+76
در 1 کانالها
Get PRO
نوامبر '23
+303
در 2 کانالها
| تاریخ | رشد مشترکین | اشارات | کانالها | |
| 27 ژوئن | +1 | |||
| 26 ژوئن | +3 | |||
| 25 ژوئن | +9 | |||
| 24 ژوئن | +8 | |||
| 23 ژوئن | +12 | |||
| 22 ژوئن | +5 | |||
| 21 ژوئن | +8 | |||
| 20 ژوئن | +11 | |||
| 19 ژوئن | +8 | |||
| 18 ژوئن | +7 | |||
| 17 ژوئن | +11 | |||
| 16 ژوئن | +15 | |||
| 15 ژوئن | +4 | |||
| 14 ژوئن | +13 | |||
| 13 ژوئن | +7 | |||
| 12 ژوئن | +7 | |||
| 11 ژوئن | +1 | |||
| 10 ژوئن | +7 | |||
| 09 ژوئن | +13 | |||
| 08 ژوئن | +9 | |||
| 07 ژوئن | +2 | |||
| 06 ژوئن | +4 | |||
| 05 ژوئن | +4 | |||
| 04 ژوئن | +8 | |||
| 03 ژوئن | +7 | |||
| 02 ژوئن | +11 | |||
| 01 ژوئن | +9 |
پستهای کانال
BootCamp Июль НАБРАН!
Друзья, мы набрали июльский поток полностью! Стартуем уже 1 июля.
Продажи на июльский поток мы АСТАНАВЛИВАЕМ!
Потому что BootCamp, как Москва, НЕРЕЗИНОВЫЙ. У нас с каждым новым потоком появляются все более свежие идеи. Теперь у нас есть ТРИ ПЕТ проекта, которые можно реализовать за время обучения. От простого к сложному. Т.е. буквально базовый делают все, а вот более сложные свзязки инструментов можно собрать добровольно.. но я рекомендую пробовать ВСЕ!
По поводу следующего потока! Он БУДЕТ! По датам сообщим в районе 10-15 июля. У нас есть мысли добавить опцию "Собираем легенду индивидуально". Это про то, чтобы переупаковать ваш опыт в релевантный и подходящий рассказ. Возможно мы сделаем буткемп длиннее и добавим дополнительные варианты оплаты в плане рассрочек. Также будет больше времени на тестирование своих пет проектов и постройку бОльшего числа пайплайнов.
Плюс я навайбкодил небольшой конструктор Пет Проектов, чисто для Дата Инженеров, чтобы можно было собрать связку под себя, под свой опыт. Потому что основная боль, которая возникает у ребят: "Много инструментов, но как все связано между собой, непонятно!"
КСТАТИ
Если вы хотите на BootCamp, но пока еще не знаете python и sql, то приглашаем на БуткемпИК!
Это для тех, кто совсем сейчас в нулевой точке и хочет спокойно со всеми разобраться в программировании. Старт 1 июля.
Записаться, оплатить и попасть сразу в чат можно тут
➡️ @bootcampych_bot
| 2 |  Почувствовал себя одиноким
YouTube предложил видео о том, как стать ДЕ без опыта. Зашел в комментарии, а там всего один — и то от меня. | 1 615 |
| 3 | ▶️ Пет Проект для Дата Инженера
https://youtu.be/pC9AvMwv10Y
https://youtu.be/pC9AvMwv10Y
https://youtu.be/pC9AvMwv10Y
Презентация + код проекта уже доступны в нашем боте
Пиши боту /pet и он пришлет тебе материалы по пет проекту
➡️ @bootcampych_bot | 2 951 |
| 4 | 🔥ЗАПУСКАЕМ НОВЫЙ ПРОЕКТ🔥
Друзья, команда Roadmappers.ru официально запускает новый продукт "Буткемпик"!
Мы запускаем первый поток, где за 18 занятий вы не просто изучите SQL и Python, а пройдёте путь от базовых запросов до решения настоящих рабочих кейсов Инженера Данных, Аналитика Данных и т.д.
📅 Продолжительность программы — 2 месяца.
Формат обучения:
Формат обуения будет ОДИН в ОДИН, как на Буткемпе, а это значнит:
🔥Живые лекци. Не заканчиваем лекцию пока не закроем все вопросы!
🔥Чуть ли не круглосуточная поддержка с живым чатом
🔥Домашние задания и конечная проектная работа
🔥Доступная инфраструктура, нужен только браузер
🔥Обучение проходит на реальных кейсах
🔥Каждая лекция записывается, так что если даже пропустил занятие не парься
SQL-блок:
1. Первый SELECT и фильтрация → SELECT, типы данных, простые функции, WHERE, AND/OR, IN, BETWEEN, LIKE, ILIKE, CAST.
2. Трёхсостоятельная логика, NULL, CASE, сортировка, уникальность → NULL, NULLIF, COALESCE, CASE, ORDER BY, DISTINCT. NULL, ломающий NOT IN.
3. Соединение таблиц → INNER JOIN, LEFT/RIGHT JOIN, FULL JOIN, CROSS JOIN.
4. Агрегация данных → GROUP BY, агрегатные функции, HAVING, типы (DATE, TIMESTAMP, INTERVAL), функции (date_trunc, extract)
5. DDL (структура базы) + DML (манипуляция данными) → CREATE, ALTER, DROP, ограничения. INSERT, UPDATE, DELETE, UPSERT, кейсы загрузки данных.
6. Операции над выборками → UNION, UNION ALL, EXCEPT, INTERSECT, подзапросы, CTE.
7. Оконные функции → ранжирование, агрегации, смещения (LAG/LEAD).
8. Сложные аналитические кейсы → «последнее действие пользователя», «перевод хранения срез → интервалы», «скользящее окно»,«сравнение таблиц до и после преобразований».
9. Оптимизация запросов → порядок выполнения, EXPLAIN, планы запросов, виды JOIN, VACUUM, ANALYZE. Индексы и партиции → B-tree, кластерные индексы, партиционирование.
Python-блок:
1. Почему именно Python и наша первая строчка кода → пеhвый print, переменные, типы данных, операции над данными, условия if/elif/else, ввод данных input()
2. Структуры данных → списки, словари, кортежи, множества. (list, dict, tuple, set). Основные их методы.
3. Циклы и обработка данных → for для различных структур данных, while и бесконечные циклы.
4. Функции и структурирование кода → функции def, генераторы, передача аргументов (*args, **kwargs)
5. Работа с файлами → как считывать файлы, как их обрабатывать. Pandas – наше всё! Ехууууу.... Строим первый ETL-процесс.
6. Ошибки, исключения и логирование → try/except/finaly наше всё! Правильное логирование ошибок, залог успешного разработчика!
7. Работа с API и загрузка данных в БД → Библиотека requests, ну и познакомимся с загрузкой данных через psycopg и pandas
8. Рабочий кейс → по выгрузке, трансформации и загрузки данных. Посмотрим на реальную рабочую задачу Инженера Данных/Аналитика Данных.
Стоимость.
Вся эта красота стоит всего 12_000 рублей за весь поток. Также доступны беспроцентные рассрочки на 2 месяца.
Подытожим, за эти деньги вы получаете:
✅ 18 полноценных занятий с преподавателями.
✅ Проверку домашних заданий.
✅ Поддержку в чате.
✅ Итоговый проект.
✅ Практические навыки, которые можно применять в работе уже во время обучения.
И всё это в десятки раз дешевле, чем индивидуальная работа с ментором или с репетитором. Всего 650 рублей за занятие.
🚀 Если давно хотели начать путь в IT, подтянуть SQL и Python или сделать первый шаг в сторону Data Engineering и Data Analytics — сейчас самое время.
Старт уже скоро. Приобретай и залетай на первый поток через бота @bootcampych_bot и выбирай "Хочу на БуткепИК"!
P.S.
Первый поток будет обкатываемый(где-то материал добавим, где то уберём), поэтому стоимость составляет всего 12_000 ₽. В следующих потоках цена может быть пересмотрена. Кол-во мест ограничено! | 2 153 |
| 5 | ВСЕ НА СТРИМ!
ПЕТ-ПРОЕКТ ДАТА ИНЖЕНЕРА
➡ ссылка на стрим
➡ ссылка на стрим
➡ ссылка на стрим
🎙 Спикеры:
— @halltape
— @shustDE
— Артём Хорват (выпускник 6-го потока BootCamp)
📅 Среда 17 ИЮНЯ
⏰ 20:00 МСК | 1 170 |
| 6 | 🔥 ПЕТ-ПРОЕКТ ДАТА ИНЖЕНЕРА
В эту СРЕДУ 17 ИЮНЯ в 20:00 МСК у нас будет довольно интересный стрим. Причём проводить его будет не только команда BootCamp, но и один из наших выпускников.
К нам придёт Артем — участник 6-го потока BootCamp. За время обучения он собрал полноценный пет-проект и теперь покажет его нам от начала до конца.
➡️ ссылка на стрим
Что вообще будет в проекте?
Берём данные из API New York Times, складываем их в S3, грузим через Spark в Greenplum, строим витрины через dbt и публикуем результат в ClickHouse. Плюс логирование Airflow-задач в Postgres.
Ну т.е. это буквально пример рабочего пайплайна для Дата Инженера. Причем довольно внушительного по кол-ву используемых технологий.
На стриме Артём покажет:
— как устроен проект
— как принимались архитектурные решения
— почему были выбраны именно эти инструменты
— какие сложности возникли во время разработки
— что можно улучшить дальше
Будет полезно всем, кто сейчас думает над своим первым серьёзным проектом или хочет посмотреть, как выглядит нормальный DE pet-project в 2026 году.
🎙 Спикеры:
— @halltape
— @shustDE
— Артём (выпускник 6-го потока BootCamp)
📅 Среда 17 ИЮНЯ
⏰ 20:00 МСК
➡️ ссылка на стрим
Приходите, послушаем лекцию, посмотрим код и разберём проект по косточкам.
Запись будет!
Будет интересно 🚀 | 2 585 |
| 7 | ДЕ — это ИЗИ!
коммент на Youtube Shorts
ссылка на видос
Вообще, я думаю, что если ты свитчер и меняешь просто специализацию в IT, то ДЕ, вероятно, не самое сложное направление. А вот если вкатываться с нуля, то есть проблема огромного количества инструментов. Вот в этом скорее сложность. Как расставить приоритеты, что надо знать, а на что можно пока забить.
Отчасти поэтому я в свое время собирал Roadmap
Че думаете сами? СОГЛАШАЕМСЯ? Или просто IT это НЕ для ДЛЯ ТУПЫХ? :) | 2 461 |
| 8 | Как Дата Аналитики работают с Дата Инженерами?
Аналитик пишет запрос для бизнеса здесь и сейчас. Дата Инженер разбирает этот запрос и оптимизирует. А почему сразу не писать готовый запрос? Тогда это получается какой-то Аналитикс Инженер?
ДА скрестили с ДЕ?
Помню на собесе в Газпромбанк мне сказали, что у них аналитики сразу пишут на спарк апи. Типа не даже ничего в коде делать.. ну однако может это просто ДЕшники были, которые начали общаться с бизнесом и просто научились считать метрики?:)
В видосе, кстати, одна из болей ДЕшников
https://youtube.com/shorts/zutxBoD0AWI?is=ORhcn8jMcTYxaqT1 | 2 413 |
| 9 | 🟠ВОТ ЧТО БЫЛО И ВОТ ЧТО СТАЛО🟠
На первом скрине — наш Буткемп год назад. На втором — то, во что он превратился сегодня.
Если честно, когда мы с Володей только начинали, всё было намного проще. Тогда мы работали со Spark, ClickHouse и Airflow, показывали ребятам реальные процессы из своей работы и вели всех через один небольшой и простой пет-проект. Для этого двух месяцев было более чем достаточно.
Мы сами ещё многого не знали. Учились, набивали шишки, меняли работу, попадали на новые проекты и каждый раз приносили этот опыт обратно в Буткемп.
За этот год программа сильно изменилась.
Появились:
🌟 GreenPlum
🌟 DBT
🌟 Trino
🌟 Iceberg + S3
🌟 дополнительные проекты
🌟 больше практики
🌟 больше домашних заданий
И это ещё не конец! Уже сейчас мы активно работаем со стримингом и практически уверены, что в будущих потоках появятся Kafka, Flink, NiFi и другие инструменты потоковой обработки данных.😈
Но вместе с этим появилась и другая проблема.🤢
Когда-то мы говорили, что для комфортного обучения понадобится 7–10 часов в неделю. Сегодня реальность такая, что многим требуется уже 10–15 часов.😠
Материала стало настолько много, что два месяца перестали быть идеальным форматом. Нам даже пришлось сократить количество мок-собеседований, чтобы успевать проходить всю техническую программу.
Поэтому после завершения 7 потока(июль-август) мы планируем взять паузу и подумать над дальнейшим развитием проекта.
🤔Возможно, Буткемп станет длиннее.
🤔Возможно, обучение инструментам и подготовка к собеседованиям станут отдельными продуктами.
🤔Возможно, появятся совершенно новые форматы.
😭А возможно его больше вообще не будет!
Но одно можем сказать точно.
За этот год Буткемп перестал быть просто набором лекций. Сегодня это уже полноценный путь от SQL и Python до современного Data Engineering стека.
И всё это благодаря Вам — людям, которые доверили нам своё обучение и свое будущее ❤️
Попасть на 7 поток можно здесь: @bootcampych_bot | 2 402 |
| 10 |  Айсберг на буткемпе!
Поскольку в Буткемпе теперь есть и Iceberg, то по нему есть и лекции. Собственно, несколько дней назад я ее и читал впервые. Это самый свежий опыт. В компаниях, как я вижу, только задумываются или уже переходят на Iceberg, поэтому, если сейчас разобраться с базовыми принципами, потом будет намного проще втягиваться в работу.
Как именно мы рассказываем об инструменте на буткемпе?
Сначала рисуем в Miro очень доступные простые картинки, буквально показываем, что будет внутри папки-файла. Потом переходим в VS Code и начинаем по шагам выполнять основные запросы и команды. Параллельно можно задавать вопросы. Короче, мы не уходим с лекции, пока не ответим на все вопросы. Всё в реальном времени. Можете считать, что вам друг быстро и по делу рассказывает тему перед сдачей зачёта. НИКАКОЙ ВОДЫ.
Я в своё время хотел сделать лекции такими, чтобы условно даже моя бабушка смогла разобраться и начала строить пайплайны на удалёнке за 10 тысяч долларов.
Кстати, на лекции, помимо Iceberg, удалось ещё затронуть Trino. Потому что у нас это тоже есть, и читать таблицы Iceberg через Trino — это EASY. Просто заходишь в DBeaver, пишешь запрос и получаешь сразу результат. Не нужно никаких танцев с бубном, как в Spark.
При этом лекция про Iceberg вышла где-то на 2 часа. Всегда можно будет потом вернуться и пересмотреть. Плюс есть файл, где можно создать свои таблички, схемы и буквально примеры использования этой технологии.
Даже если вы не работали коммерчески с Iceberg, но разобрались на том уровне, который мы даём на буткемпе, этого будет достаточно, чтобы обменяться парой фраз на собеседовании. Всё же лучше, если у вас есть эрудиция, нежели её нет. Всё и сразу знать невозможно
Кстати, у нас старт потока BootCamp уже 1 июля!
Переходите в бота и нажимайте кнопку Хочу на Bootcamp
➡️ @bootcampych_bot | 2 612 |
| 11 |  🚀 Data Engineer за 2 месяца
Не кликбейт. Мы реально сделали супер интенсив за 2 месяца в DE.
Это буквально копия вашей будущей работы.
Представьте, что вы приходите на новое место работы, и увольняющийся коллега передаёт вам дела. У него есть две недели, чтобы показать, что и как делать. Вы буквально впитываете всё как губка, потому что потом спрашивать будет не у кого.
Так вот именно эту идею мы и вложили в Bootcamp!
За короткое время вы погружаетесь в работу инженера данных, осваиваете современный стек и получаете навыки прохождения собеседований и составления резюме.
Мы реально вычеркнули большую часть бесполезной теории. Упор исключительно на практику.
Чтобы вы пришли на работу и сказали: "Мы это уже делали"
Что внутри буткемпа
Вы получаете доступ к инфраструктуре, максимально приближенной к продакшену:
• Postgres
• ClickHouse (распределённый, 2 шарда)
• GreenPlum (8 сегментов)
• Spark
• S3
• AirFlow
• Kafka
• DBT
• GitHub
• Jira
• Confluence
Как часто занятия?
• 3 раза в неделю (Живые лекции, на которых можно задать вопрос и сразу получить ответ)
• Вечером (после работы) в 20:00 по МСК
• Все лекции записываются и доступны навсегда
Поддержка и практика
• Чат с ответами почти 24/7
• Можно задать любой вопрос
• Можно попросить задачу сложнее
• Разбор ваших решений на созвонах
Подготовка к работе
• Mock собеседования
• Прожарка резюме
• Разбор реальных кейсов
После буткемпа все выпускники приглашаются в чат, где мы делимся ситуацией на рынке, вопросами с собесов, а также поддерживаем друг друга!
Кстати, мы добавили классную фишку — доступ к лекциям из новых потоков. Даже после окончания буткемпа вы остаетесь в обучении и можете следить за обновлениями.
А если не успеваете?
У нас есть InfraSharing. Это тот же самый буткемп, но без лекций. Просто готовая инфраструктура. Даже если не успеваете сделать все задачи в Bootcamp, можете продолжить в InfraSharing. Тем более для всех выпускников мы даем огромную скидку!
Ближайший старт потока — 1 июля
Переходите в наш бот @bootcampych_bot и жми Хочу на BootCamp | 3 806 |
| 12 | Большой подкаст про дата-инжиниринг и аналитику!
Обсудили, чем на практике отличаются дата-инженеры, дата-аналитики и продуктовые аналитики, какие задачи у каждой роли, какие инструменты нужно знать и почему между аналитиками и инженерами иногда возникают конфликты.
▶️ https://youtu.be/rNkFGDsvCog
▶️ https://youtu.be/rNkFGDsvCog
▶️ https://youtu.be/rNkFGDsvCog
О чем:
— зарплаты Data Engineer и Data Analyst
— SQL, Python, Airflow, Spark и другие инструменты
— собеседования, резюме и карьерный рост
— AI в Data-сфере
— обучение, курсы и переход в IT после 30+
Про деньги, вход в профессию, накрутку опыта, возраст, курсы, софт-скиллы, ответственность и реальную работу с данными.
Если думаете, куда идти — в аналитику или дата-инжиниринг — этот выпуск поможет лучше понять обе профессии изнутри.
ссылки на авторов:
Я — Дата Инженер
Инженерообязанный
Аналитический джаз | 4 408 |
| 13 | 📸 Отзывы участников
#BootCampDE — ноябрь-декабрь
Очередной оффер у буткемповцев.(оффер в комментах)
________
Запись на 7 поток(Июль-Август) уже в самом разгаре!
Записывайся @bootcampych_bot | 2 424 |
| 14 |  Вы общаетесь с ИИ без уважения!
Я использую Codex от OpenAI. Если кто-то до сих пор в танке, рассказываю:
У вас есть VS Code, туда можно установить расширение от OpenAI под названием Codex. Это аналог Copilot от GitHub. Если опять ничего не понятно, то есть просто ChatGPT. Но он для вас в виде чата, и чтобы он смог вам помочь с кодом, раньше надо было отправлять ему куски кода. Тогда он запоминал этот контекст и выдавал результат.
Но когда у вас килотонны кода, папок и зависимостей, то всё копировать и вставлять невозможно. Явно что-то забудете. Или, например, это для вас новый репозиторий. Так вот тут Codex уже хорошо помогает. Это тот же ChatGPT, который встраивается в ваш VS Code. Теперь можно просто просить его рассказать про код в вашей папке или попросить внести изменения — он всё сделает, причём довольно круто. Крайне помогает в рутинной работе, когда человек уже может засыпать. Все изменения, естественно, подхватываются Git, поэтому можно сразу увидеть, что он поменял.
Это платно! Но, вроде, айтишники ещё нормально зарабатывают и вроде как все умеют пользоваться интернетом, чтобы иметь доступ к OpenAI. 20 долларов в месяц — и вы обладатель Codex.
Больше всего мне нравится то, что Codex видит зависимости (например, алкогольные) и грамотно их исправляет или подставляет. Это экономит просто кучу времени. Сразу скажу, что задачи выполняются быстрее, но меньше их не становится!
Кстати, когда я был в Сравни, у меня была задача поправить код для API. Это было где-то в мезозойском периоде, когда ChatGPT существовал только в голове у Сэма Альтмана. Короче, я включал в PyCharm режим отладки и нажимал кнопку, чтобы по шагам пройти по всему коду и разобраться, как он работает.
А с Codex можно просто попросить его рассказать про файл — он сразу всё распишет и даже сделает файлик с крутым и чётким описанием. Это просто новый уровень кайфа.
Крайне рекомендую начать пользоваться. Как оплатить, пожалуйста, гуглите — бизнес существует и тут.
Из топовых нейронок ещё очень нравится NotebookLM. Офигенно умеет собрать вам презентацию по технологии. Но здесь важно уметь писать хороший промпт. Но давайте об этом в другой раз.
На самом деле каждую неделю выходит всё новая модель, браузер, агент, расширение... Я лично не успеваю. Не понятно, за что хвататься. Вероятно, стоит копать в сторону агентов и их оркестрации, а также подключения к БД. Это пока крайне мутная тема для меня, в том числе с точки зрения инфобеза, но 100% интересная.
А по поводу качества кода... Пишет он супер, НО МЕНЯ БЕСИТ, когда он начинает овер инжинирить. Код пишет на все случаи жизни: А если нет данных, а если таблицы нет, а если слон в Африке наступил на муху и так далее. Иногда простая замена чтения паркета файла превращается в запуск космического корабля на Марс. Понятное дело, что лучше настроить его под конкретный стиль, но мне ЛЕНЬ. Мне проще матерится на него. Я так и на дороге делаю. Очень приятно..
Кстати, я сравнивал с ГигаКод (аналогов нет) — это типа Codex, только от Сбера. Из минусов — нет возможности скидывать скриншоты. А так, в целом, живая история. Ставьте себе, если нет возможности пользоваться OpenAI. Но хотя я уже видел, как ГигаКод тупит.. Ну ладно.. | 2 796 |
| 15 |  Сняли выпуск подкаста!
Почти смонтирован.
О чем?
- Почему из аналитиков уходят в Дата Инженеры?
- Накрутка опыта
- AI и когда уже наконец-то заменит всех
Ну и собственно, самое главное — Кто такие Дата Аналитики и почему их там много? | 3 453 |
| 16 | Сегодня проводим "Онбординг".
Расскажем, что вас ждём первого июля на Буткемпике и то как будут проходить занятия на тестовом прогоне.
Врямя: 20:00 по МСК. Записи не будет!!
Присоединяйся к таким же новичкам, как и Ты!
Ну что пришло время изменить свою жизнь к лучшему! Решайся пока не поздно! | 2 197 |
| 17 | Дорогие друзья!!! 🎉
Совсем скоро проекту Roadmappers исполнится 1 год.
Первого июля будет ровно год с того момента, как мы начали рассказывать про технологии, да и в целом продвигать в массы профессию "Инженеру данных". Но про годовщину поговорим отдельно. Сейчас о другом.
За этот год мы увидели огромное количество людей, которые хотели попасть к нам на Буткемп с нуля. Но проблема в том, что для Буткемпа всё-таки нужны хотя бы базовые знания Python и SQL.
Поэтому мы честно отправляли людей:
— учить Python на Stepik
— проходить SQL у Карпова
И нам было абсолютно нормально рекомендовать даже другие площадки, потому что важнее всего был результат человека!
Но спустя время мы начали замечать одну и ту же историю.
Люди начинали обучение… и сливались.
Не потому что «не способны».
А потому что:
— нет дисциплины
— нет окружения по интересам
— непонятно, что реально важно, а что можно пока пропустить
— и никто не даст того самого батиного леща, чтобы ты сел и продолжил учиться 😄
И тогда мы поняли:
Нужен отдельный формат для людей, которые только заходят в IT. Так появился «Буткемпик»
Что это такое?
По сути — тот же вайб, что и на основном Буткемпе, только для новичков:
— готовая инфраструктура (можно заниматься хоть с телефона)
— живые лекции в 20:00 МСК (после работы очень удобно)
— домашки и практика
— помощь с задачами
— комьюнити людей, которые идут в одном направлении
Без записанных курсов «на 300 часов», которые потом лежат мёртвым грузом.
Мы решили начать с тестового прогона длиной в 2 недели, чтобы вы могли:
— познакомиться с форматом
— понять, подходит ли вам обучение
— познакомиться с лекторами
— задать все вопросы
Уже завтра будет первое занятие, где мы подробнее расскажем, как всё устроено, кто будет обучать, сколько будет практики и чего вообще ждать от обучения.
Вся информацтия о заняниях будет тут.
Если давно хотели войти в IT, но постоянно что-то останавливало — возможно, это как раз тот самый момент! | 2 680 |
| 18 | Ребзя, хочу показать, какая у нас красота творится на Буткемпе.
Сегодня для всех Буткемперов доделал очередную лекцию по S3 и форматам хранения данных, которую будем читать перед блоками по Iceberg и Trino.
Это поможет понять:
— почему Iceberg работает именно так;
— в каких случаях лучше использовать AVRO, Parquet или ORC;
— как вообще устроено хранение данных под капотом.
Поверьте, мы реально отдаём себя полностью, чтобы создать КРУТЕЙШИЙ продукт на рынке менторства, буткемпов и курсов по Data Engineering.
На этой неделе объявим о запуске нового продукта — «Буткемпик» — и пригласим всех желающих на двухнедельный тест. Но об этом завтра.
А ещё на работе я всё чаще сталкиваюсь со стримингом. Пришлось уже плотно покопаться в документации Debezium и Flink CDC. А это знаете что означает? А-а-а.........
В следующих потоках потихоньку начнём добавлять стриминг: будет и теория, и задания, и полноценный проект на эту тему. Интенсив реально превращается в АДовую пушку по вынесу вашего мозга знаниями и умениями общаться с различными инструментами.
По секрету, но за наш буткемп уже шарят некоторые работодатели и прям без шуток приходили из компаний и просили кого-нибудь порекомендовать и даже было все равно на опыт. Может всё таки мы будет первые, кто победит поиск людей по годам опыта! кто знает, кто знает!
Да и в целом — не стесняйтесь, вписывайтесь: @bootcampych_bot | 3 181 |
| 19 | ДА против ДЕ
Крайние два года замечаю, что между Дата Аналитиками и Дата Инженерами часто бывают какие-то разногласия. Сейчас объясню, что имею в виду.
Когда я ходил по собесам в прошлом и этом году, я часто задавал вопрос: «А у вас Аналитики на чем пишут витрины для ДЕ?». И в Газпромбанке кстати мне ответили, что прям принципиально перекатили ДА на спарк апи. Чтобы просто не переписывать код.
Например, нужно построить витрину данных. Чаще всего это просто SQL-код от аналитика. Но проблема в том, что это не всегда какой-то ANSI-стандартный SQL. Это может быть ClickHouse со специфичными джойнами, а может быть огромная портянка Spark SQL, которую потом нужно расшивать, переписывать на Spark API и ещё оптимизировать. Короче, ощущение такое, что почти всегда приходится переделывать вместо того, чтобы сразу писать на чём-то “готовом”.
Теперь архитектурно.
У нас есть Data Lake — озеро данных. Там лежат сырые данные, предподготовленные слои и сами витрины. А в ClickHouse уже просто переносятся копии. В таком случае аналитику, по идее, надо уметь писать либо на Spark SQL / Spark API, либо на Trino.
Но вот вопрос: как много ДА реально умеют в Spark API?
А если писать сразу под ClickHouse, то некоторые функции при переносе на Spark всё равно приходится переписывать и переделывать. Это лишняя работа.
И вот что тогда делать?
Например, просить ДА сразу писать либо на Spark SQL, либо на Trino. А уже агрегаты в ClickHouse строить исключительно поверх готовых витрин.
Я ещё задавался вопросом: а зачем вообще нужен Trino, если можно просто дать аналитикам готовые Spark-ноутбуки с конфигами, и пусть запускают свои запросы?
Но в чате CedrusData мне ответили, что Trino как раз и внедряют для ad hoc-аналитики. Чтобы ДА не занимали Spark-кластер, не жрали ресурсы и могли просто зайти в DBeaver, написать понятный SQL и быстро получить результат. Без постоянного запуска Spark-сессий и настройки конфигов.
И что получается в итоге?
Либо ДА учат Spark API — и тогда они уже почти ДЕ. Либо пишут на Trino и передают этот код дальше. Либо пишут на Spark SQL.
Кстати, Spark тоже можно запускать через DBeaver, но, как я понимаю, там уже не будет тех же удобных федеративных запросов, да и с настройкой всё сложнее.
Короче, это скорее дискуссия.
Мне самому искренне интересно, зачем столько инструментов. Почему мы не можем договориться писать всё на чём-то одном?
И ещё была мысль от @shustDE, что из ДА в ДЕ переучиться легче, чем из ДЕ в ДА. Именно потому, что в аналитике всё-таки нужно больше логического и продуктового мышления. ДЕ — это чаще технари, которые меньше погружаются в бизнес-логику и больше занимаются процессами, инфраструктурой и стабильностью пайплайнов.
Что думаете? | 2 863 |
| 20 | 🚀 Data Engineer за 2 месяца
Не кликбейт. Мы реально сделали супер интенсив за 2 месяца в DE.
Это буквально копия вашей будущей работы.
Представьте, что вы приходите на новое место работы, и увольняющийся коллега передаёт вам дела. У него есть две недели, чтобы показать, что и как делать. Вы буквально впитываете всё как губка, потому что потом спрашивать будет не у кого.
Так вот именно эту идею мы и вложили в Bootcamp!
За короткое время вы погружаетесь в работу инженера данных, осваиваете современный стек и получаете навыки прохождения собеседований и составления резюме.
Мы реально вычеркнули большую часть бесполезной теории. Упор исключительно на практику.
Чтобы вы пришли на работу и сказали: "Мы это уже делали"
Что внутри буткемпа
Вы получаете доступ к инфраструктуре, максимально приближенной к продакшену:
• Postgres
• ClickHouse (распределённый, 2 шарда)
• GreenPlum (8 сегментов)
• Spark
• S3
• AirFlow
• Kafka
• DBT
• GitHub
• Jira
• Confluence
А также есть Trino и Iceberg!
Как часто занятия?
• 3 раза в неделю (Живые лекции, на которых можно задать вопрос и сразу получить ответ)
• Вечером (после работы) в 20:00 по МСК
• Все лекции записываются и доступны навсегда
Поддержка и практика
• Чат с ответами почти 24/7
• Можно задать любой вопрос
• Можно попросить задачу сложнее
• Разбор ваших решений на созвонах
Подготовка к работе
• Mock собеседования
• Прожарка резюме
• Разбор реальных кейсов
После буткемпа все выпускники приглашаются в чат, где мы делимся ситуацией на рынке, вопросами с собесов, а также поддерживаем друг друга!
Кстати, мы добавили классную фишку — доступ к лекциям из новых потоков. Даже после окончания буткемпа вы остаетесь в обучении и можете следить за обновлениями.
А если не успеваете?
У нас есть InfraSharing. Это тот же самый буткемп, но без лекций. Просто готовая инфраструктура. Даже если не успеваете сделать все задачи в Bootcamp, можете продолжить в InfraSharing. Тем более для всех выпускников мы даем огромную скидку!
Ближайший старт потока — 1 июля!
Переходите в наш бот @bootcampych_bot и жми Хочу на BootCamp | 2 726 |
