дата инженеретта
الذهاب إلى القناة على Telegram
мелкое — крупно, в глубоком разговоре мудрость приходит по вопросам сюда: @aigul_sea
إظهار المزيد3 446
المشتركون
-224 ساعات
+57 أيام
+830 أيام
جارٍ تحميل البيانات
القنوات المماثلة
سحابة العلامات
الإشارات الواردة والصادرة
---
---
---
---
---
---
جذب المشتركين
نوفمبر '26نوفمبر '26
نوفمبر '26
+49
في 1 قنوات
أكتوبر '26
+61
في 1 قنوات
Get PRO
سبتمبر '26
+56
في 0 قنوات
Get PRO
أغسطس '26
+67
في 0 قنوات
Get PRO
يوليو '26
+80
في 0 قنوات
Get PRO
يونيو '26
+102
في 4 قنوات
Get PRO
مايو '26
+91
في 1 قنوات
Get PRO
أبريل '26
+115
في 0 قنوات
Get PRO
مارس '26
+123
في 2 قنوات
Get PRO
فبراير '26
+130
في 3 قنوات
Get PRO
يناير '26
+143
في 1 قنوات
Get PRO
ديسمبر '25
+113
في 0 قنوات
Get PRO
نوفمبر '25
+86
في 0 قنوات
Get PRO
أكتوبر '25
+123
في 2 قنوات
Get PRO
سبتمبر '25
+155
في 3 قنوات
Get PRO
أغسطس '25
+111
في 0 قنوات
Get PRO
يوليو '25
+67
في 0 قنوات
Get PRO
يونيو '25
+108
في 0 قنوات
Get PRO
مايو '25
+117
في 0 قنوات
Get PRO
أبريل '25
+158
في 3 قنوات
Get PRO
مارس '25
+179
في 1 قنوات
Get PRO
فبراير '25
+158
في 1 قنوات
Get PRO
يناير '25
+521
في 3 قنوات
Get PRO
ديسمبر '24
+98
في 0 قنوات
Get PRO
نوفمبر '24
+162
في 1 قنوات
Get PRO
أكتوبر '24
+162
في 1 قنوات
Get PRO
سبتمبر '24
+235
في 2 قنوات
Get PRO
أغسطس '24
+296
في 1 قنوات
Get PRO
يوليو '24
+148
في 4 قنوات
Get PRO
يونيو '24
+156
في 2 قنوات
Get PRO
مايو '24
+119
في 0 قنوات
Get PRO
أبريل '24
+67
في 1 قنوات
Get PRO
مارس '24
+84
في 2 قنوات
Get PRO
فبراير '24
+80
في 2 قنوات
Get PRO
يناير '24
+362
في 1 قنوات
| التاريخ | نمو المشتركين | الإشارات | القنوات | |
| 19 نوفمبر | +1 | |||
| 18 نوفمبر | +1 | |||
| 17 نوفمبر | +3 | |||
| 16 نوفمبر | +5 | |||
| 15 نوفمبر | +1 | |||
| 14 نوفمبر | +3 | |||
| 13 نوفمبر | 0 | |||
| 12 نوفمبر | +3 | |||
| 11 نوفمبر | +2 | |||
| 10 نوفمبر | +2 | |||
| 09 نوفمبر | +4 | |||
| 08 نوفمبر | +7 | |||
| 07 نوفمبر | +3 | |||
| 06 نوفمبر | +2 | |||
| 05 نوفمبر | +5 | |||
| 04 نوفمبر | +4 | |||
| 03 نوفمبر | 0 | |||
| 02 نوفمبر | +1 | |||
| 01 نوفمبر | +2 |
منشورات القناة
Partition Evolution
Когда-нибудь заглядывали, как на самом деле происходит эволюция партиций в айсберге?
Например, у вас есть партицированная айсберг табличка:
CREATE TABLE schema.table (
event_date DATE,
event_hour INT,
event_type STRING
)
USING iceberg
PARTITIONED BY (event_date)
INSERT INTO schema.table
VALUES (DATE '2026-11-14', 10, 'click')
Заглянем в schema.table.partitions, там одна партиция:
{2026-11-14}
В какой-то момент вы понимаете, что нужно полностью пересмотреть партицирование:
ALTER TABLE schema.table
DROP PARTITION FIELD event_date
ADD PARTITION FIELD event_hour
ADD PARTITION FIELD event_type
Данные начинаются литься, но со старыми файлами ничего не происходит:
INSERT INTO schema.table
VALUES (DATE '2026-11-15', 11, 'view')
{2026-11-14, NULL, NULL} - у старых только event_date
{NULL, 11, view} - у новых актуальная спека
Теперь рерайтим все файлы таблички:
CALL system.rewrite_data_files(
table => 'schema.table',
options => map('rewrite-all', 'true')
)
{NULL, 10, click} - старые данные перераспределились
{NULL, 11, view} - новые остались такие же
Но смотрите - старые партиции теперь лежат как NULL. Потому что история хранится в мете, и даже после удаления снепшотов поле остается в структуре партиций
@data_engineerette19 نوفمبر, 01:15
| 2 | Greenplum → Lakehouse: миграция без простоя
Приглашаем на вебинар, где разберём, как мигрировать Greenplum в Lakehouse, сохранив работающий контур и проверив результат до переключения.
• Разберём три слоя хранилища и покажем, как каждый из них ложится на Lakehouse.
• Покажем, что происходит с данными, SQL, процедурами, индексами и расширениями Greenplum.
• Перенесём данные из Greenplum в Iceberg через нативный коннектор CedrusData Engine.
• Перенесём cron-задания в Airflow, переведём загрузки в ELT и переподключим BI через Trino-коннекторы.
• Покажем, как AI-агенты помогают переносить пайплайны, DAG-и Airflow, джобы Spark и предлагать схемы Iceberg.
• Проверим данные, схемы, SQL-результаты и производительность, а затем запустим новый контур в тени.
📅 25 ноября, 16:00 мск
Регистрируйтесь, чтобы не пропустить | 566 |
| 3 | Появились выступления с Big Data LDN:
https://www.youtube.com/playlist?list=PLFm4pKZT7kVg
@data_engineerette | 692 |
| 4 | Как пасти котов
Если бы я знала, в каком году написана эта книга, я бы ее не взяла🙂 Она была издана в 2002, и многие ситуации там довольно устаревшие. Ну что ж, все-таки я ее дочитала, поэтому для начала разберемся с ее названием
Пасти котов - значит заставлять двигаться разрабов в одном направлении. Почему котов? Потому что нужны не преданные песики, которые поддержат любую идею, а коты со своими странностями
👔 По поводу образа руководителя вы и сами все прекрасно понимаете, но я бы хотела отметить некоторые особо зацепившие меня характеристики:
🤩знать сильные и слабые качества участников своей команды
🤩отбирать наилучшую идею из предложений
🤩нельзя прощать другим то, что можно простить себе
🤩инициировать взаимопомощь в команде
🤩результатом 1:1 должна стать выработка плана действий
🤩поддерживать разнообразие задач, чтобы один человек не делал все самое сложное или нудное
🤩уметь предсказывать перемены и к моменту их наступления уже иметь четкий план действий
Если у вас не хватает времени даже на то, чтобы сделать все правильно, где же вы его найдете на то, чтобы все переделать?
Есть большой пул вопросов, которые неплохо бы себе задавать:
🤩Как помочь подчиненным с достоинством справиться с их задачами?
🤩Как совместными усилиями мы можем свести к минимуму вероятность неудачи?
🤩Как бы почетче формулировать свои наставления?
🤩Каким образом скорректировать мой стиль руководства, чтобы лучше решать текущие задачи?
🤩Какие новые технологии изучить моим сотрудникам, чтобы наши продукты сохранили конкурентоспособность?
📓 Что меня поразило - в 2002 почасовая ставка разраба в среднем в США была 90$, а у нас 5$
Уже в то время они рассматривали идеи удаленки и гибрида, а если офис - у каждого отдельное помещение не менее 12м². Чтобы и спокойно поработать, и и быстро принимать решения
Есть обратная зависимость между степенью отупения сотрудников и объемом выделяемого офисного пространства.
Есть мысль, которая применима и к нашей AI революции:
С одной стороны, с помощью компьютеров более серьезные результаты достигаются за меньшее время. С другой стороны, возможность выполнения большего числа заданий приводит к тому, что мы начинаем больше работать.
Какая четкая параллель
😁 И есть несколько просто забавных высказываний:
У меня нет никаких предубеждений относительно умственно ущербных людей, но я твердо уверен, что в профессии, требующей постоянного самосовершенствования и обучения, таким не место. Отправьте его, например, в отдел тестирования – иногда не отличающиеся выдающимися умственными способностями пользователи находят себя в отлове жучков.
Не баг, а открытие незадокументированной характеристики.
Любое, даже самое оригинальное мышление – это просто химические процессы в мозгу, и чьи-то молекулы всегда могут быть лучше ваших.
Время - это огонь, в котором мы горим.
@data_engineerette | 1 134 |
| 5 | Про интеграции
По сути сделать интеграцию самых разных компонентов - это основа дата инженерии. Но чем больше интеграций, тем медленнее до вас добираются новые фичи
🤔Ой как не сразу после начала работы в де дошла до меня эта концепция
Допустим, в айсберге появилась классная функциональность. Казалось бы, бери и пользуйся. Но неееет🤓
Сначала нужно дождаться, пока ее поддержит Spark. Потом Trino. Потом дата каталог. Потом что-то еще
И не факт, что все они реализуют поддержку одинаково
📆Между появлением фичи в одном проекте и ее полноценной поддержкой во всем стеке могут пройти годы. За это время в айсберг успеют выпустить еще несколько новых возможностей, которые снова придется ждать. И так по кругу🙂
А если поверх open source у вас еще и собственные велосипеды, то придется перелопачивать и свой код
😒В итоге получается парадокс: технологии развиваются очень быстро, но чем больше технологий вы используете вместе, тем сложнее за этим развитием успевать
@data_engineerette | 1 500 |
| 6 | Это оффер на позицию дата-инженера 💼
А теперь честно: сколько раз вы слышали фразу «мы решили продолжить с другим кандидатом»? 🥲
Проблема часто не в вас, а в рынке кандидатов: на аналитика и разработчика откликаются сотни человек. А вот дата-инженеров не хватает, и компании готовы платить им на 30% больше, чем многим другим специалистам в data.
Кто такой дата-инженер?
Тот, кто строит «трубы» для данных: собирает, обрабатывает, хранит и доставляет их туда, где с ними работают аналитики и ML-специалисты. Без него в компании не работает ничего.
Симулейтив запустил курс-буткемп «Инженер данных»:
⭐️Как устроено обучение:
1. Первые 10 недель: база и выход на уровень junior
2. Дальше: углубление в ключевые инструменты и рост до middle
⭐️Что внутри:
➖SQL и Python
➖пайплайны сбора и обновления данных
➖хранение и обработка данных, DWH
➖живые занятия с ментором каждую неделю
➖подготовка к собеседованиям с первых недель
➖ИИ-инструменты как часть рабочего процесса
➖практические кейсы и гостевые лекции от дата-инженеров из Яндекса, Т-Банка, Авито, Сбера и Ozon
Подойдёт, если вы:
✔️ хотите войти в профессию с нуля или перейти из аналитики
✔️ устали учиться самостоятельно и не видите результата
✔️ хотите понимать весь путь данных, а не только анализировать их
🔥 Грант на обучение + гарантия трудоустройства
Грантов всего 5. Старт программы — 10 ноября.
Хватит ждать ответа от рекрутеров. Заберите свой грант и начните путь к такому же офферу 👇
🔗 ЗАБРОНИРОВАТЬ МЕСТО С ГРАНТОМ | 917 |
| 7 | Погнали изучать результаты опроса data-people
Так приятно, что благодаря вашим упоминаниям дата инженеретта попала в топ-10 рекомендаций!! 💖🥹💖
А теперь разберем несколько моментов:
✨76% переходов ведут к моделям
Занятно, что в AI переходят из DA/DS/ML/других ролей, но не из DE. Мы что-то знаем?🤔
✨Сильное гендорное различие в AI - девчонок всего 7%
Я вот задумалалась, а не пора ли делать AI инженеретту? На днях заметила, что у меня инициалы AI и имя тоже начинается с AI. Это ли не знаки?😁
✨Для дата-инженеров среда с ассистентом — заметно лидирует
У DE преобладает работа с ассистентом, а у DS/DA именно агенты с минимальным участием человека. Значит ли это, что у нас более сложные и менее рутинные задачи?
✨У 63% нет формального процесса проверки того, что сгенерировал AI
Как думаете, в каком состоянии будут наши репки через год?
✨Каждый четвёртый за последний год прошёл курс по AI/LLM
Кто знает, это что за курсы такие? Мне тоже надо
✨Медианная зарплата синьора - ₽350,000
Самое печальное😭 Причем за 350 можно быть и сеньором, и лидом, а мидл вообще опустился до 150-250
Вы че творите? Вы че вытворяете?
@data_engineerette | 1 541 |
| 8 | Диалог с ИИ
Я в последнее время заметила, что мое общение с клодом/кодексом часто сводится к сдаче экзамена😅
➖это зачем
➖а вот это
➖объясни
➖почему так
➖как оно будет работать
➖почему это не добавил
➖а это зачем добавил
➖а что будет, если…
Это я такая?😅 Вы обычно выпытываете логику того, что он нагенерил? Или просто мержите и даже не читаете?
@data_engineerette | 1 512 |
| 9 | ИИ в аналитике — на Матемаркетинге’26
26–27 ноября в Москве в девятый раз пройдёт техническая конференция для аналитиков, performance-маркетологов и продакт-менеджеров
Я посмотрела программу и тоже захотела пойти — там есть занятные темы про безопасность в контексте AI, семантические слои, HR-трек, кейсы от Авито
Немного циферок:
📍онлайн-день — 17 ноября
📍более 2000 участников
📍100+ докладов и мастер-классов
📍партнеры — VK, Avito Tech, Сбер, Magnit Tech, ИТ-холдинг Т1, UIS, Лемана Тех, UX Rocket и другие
Среди спикеров:
📍Валерий Бабушкин (ВР): как прогресс мультимодальных моделей влияет на профессию DS/DA/ML
📍Роман Бунин (Nebius): как измерить внедрение ИИ в большой компании
📍Денис Пехтерев (Т-Банк): ИИ-операционная система руководителя из 17 ролей и 13 процедур
📍Радослав Нейчев (МФТИ): рабочие сценарии для агентов на открытом стеке, без платных подписок
📍Сергей Бажин (ИТ-холдинг Т1): агентный кодинг на десятки тысяч строк без ручной проверки
Отдельный блок программы посвящён доверию к результатам ИИ. Участники разберут, как тестировать ИИ-фичи с непредсказуемыми ответами, проверять работу агентов, выполняющих аналитические задачи, и готовить для них контекст
Между докладами — нетворкинг, карьерные консультации и активности на стендах партнёров.
📍Место: Москва, кластер «Ломоносов» МГУ, Раменский бульвар, 1.
📝Программа: Матемаркетинг-2026
🎫Билеты и регистрация | 1 249 |
| 10 | Сейчас хайпует вот этот клип про AI в жизни компаний, сгенерированный AI
Туда вложено очень много пасхалок, как агент со временем завоевывает компанию. Скорее всего, придется пересмотреть не раз, чтобы все уловить
Танцуем и плачем
💃
@data_engineerette | 1 793 |
| 11 | Решила присоединиться к флешмобу и представить свою коллабу Сумерки + DE
Получилось вот такая версия с дата инженерскими инструментами и терминами
Дополняйте, если есть что изменить или добавить🙂
@data_engineerette | 2 209 |
| 12 | Университетская аудитория, только теперь вопросы другие: не «как сдать экзамен», а «как не уронить прод».
29 октября в кампусе Центрального университета — митап для тех, кто давно вышел из студенческого чата, но скучает по разговорам о том, как всё устроено на самом деле. Приглашаем инженеров данных, MLOps-специалистов и техлидов.
В программе — три доклада от практиков:
⚫️ Никита Гирш из ДОМ. РФ и Центрального университета расскажет, как мигрировали с SAS на dbt + Airflow: что пошло не так, как планировалось, и что в итоге получилось
⚫️Ислам Янгуразов из Magnit Tech покажет, как чистить S3 так, чтобы не потерять важную историю — и почему здесь стоит подключить ИИ-агента
⚫️Павел Лисичкин из X5 Tech объяснит, как научить ИИ самому находить узкие места в Spark-задачах и чинить их
Если захочется не только слушать, но и делиться опытом — при регистрации можно указать, что вам интересно преподавание: ссылка на регистрацию | 1 187 |
| 13 | Кто уже использует Iceberg v3?
Недавно наткнулась на Apache Iceberg Compatibility Matrix. В этой табличке можно посмотреть поддержку фичей в разрезе движков. И нет ни одного, который бы поддерживал все - ну, а как иначе🫠
Фичи протегированы версиями, и можно наглядно посмотреть конкретно v3. В стабильном виде эта спека появилась в мае этого года в релизе 1.11, и там есть:
➡️бинарные delete-векторы
➡️новый тип VARIANT
➡️точность timestamp до наносекунд
➡️поддержка default values
➡️гео типы
А в релизе 1.12 от 30.09 уже пошла подготовка к v4! И там добавили относительные пути!!😝
Теперь вместо s3://bucket/path-to-table/data/file.parquet в манифестах будет записано просто data/file.parquet
Ну вот надо было изначально все усложнять, чтобы потом с блеском решить глобальную проблему?😑
В той же v4 конкретно будет переделываться структура меты на адаптивное дерево с root манифестом. Умный доклад можно посмотреть тут
@data_engineerette | 2 121 |
| 14 | 📊 Открытый мок-интервью на Data Engineer | 24 октября, 15:00 мск
Хочешь понять, как проходят технические собеседования на Data Engineer и чего ждут от кандидатов?
Приходи на открытый эфир от Shortcut Education
Мы – менторская программа для разработчиков. Помогаем готовиться к собеседованиям, получать офферы в бигтех и расти в грейде и зарплате. Наши менторы работают в ведущих IT-компаниях, а менти уже получили 500+ офферов
Мы открыли новое направление Data Engineering и запускаем серию эфиров с разбором технических собеседований ↓
На этой неделе собеседовать будет Максим Костин:
— Ведущий инженер данных в Сбере, ранее работал в Data Office VK
— В VK строил DWH и переносил расчёт ключевых метрик с Hadoop на YTsaurus
— Более 5 лет работает с Python, Scala и Java
Максим проведёт интервью с реальным кандидатом и после каждого ответа объяснит, что засчитал бы, а что нет и почему. В конце ответит на вопросы из чата.
Хочешь проверить свои знания или подготовиться к смене работы?
Пригоняй на эфир! Участие бесплатное:)
📲 Переходи в бота, чтобы получить ссылку перед эфиром → @shortcut_de_bot
Реклама.
О рекламодателе. | 1 122 |
| 15 | Не удержалась и решила наложить бит | 1 772 |
| 16 | DE в Twinby😁
Наткнулась на пост от HR, что сейчас открыто несколько вакансий - в том числе одна на DE
По стеку: CDC, ClickHouse, Airflow
А вы когда-нибудь про них задумывались в контексте дата инженерии? Это же реально много фоточек и сообщений, рекомендательная система, разреженная матрица с лайками и дизлайками
👩💻 Когда я училась на курсе по систем дизайну, в финале нужно было спроектировать Tinder и рассчитать нагрузку на хранение/сеть. У меня тогда получилось 4,5 экзабайта в год трафика и купить серверов на 450 млн $ 🙂🙂🙂
Теперь это задание больше не кажется таким странным😅
Ссылка на ваку: https://hh.ru/vacancy/137208437
@data_engineerette | 1 863 |
| 17 | Antropic переехали с Git на собственную систему Scion
На днях вышла статья, где Antropic рассказал про свою новую систему контроля версий и предпосылки ее создания. Здесь я хочу очень сжато выделить несколько моментов, которые меня удивили
Несколько чиселок:
🤩монорепа
🤩100 ГБ - история ветки main
🤩25 ГБ - сжатая копия репо
🤩30 000 - MR в день
🤩25 млн - checkout-операций в CI в день
🤩600 ПБ - потенциальный трафик на скачивание репо в день
И это еще без учета дев окружений, AI-песочниц и RnD задач. Вы не в шоке??😳
Теперь вместо разработки узким горлышком является CI, сеть и все вокруг этого. Поэтому они внутри компании командой из 7 человек за 5 месяцев:
🤩разработали свой гит Scion
🤩сделали code-review тулзу Antique
🤩написали еще несколько сервисов
🤩полностью мигрировали
Antropic считает, что подобные проблемы с CI пока вряд ли есть у компаний сейчас, но на горизонте 6-12 месяцев они ожидают появления таких проблем в разработке
А нужны ли люди?
Теперь они изучают замысел изменений, а не вчитываются в каждую строку кода
Факт
Вот еще новая для меня мысль
Пока бегут тесты в CI, сотни и тысячи изменений могут быть уже влиты агентами
Они отказались от тестов в MR и запускают их в разы меньше, только перед деплоем. Потому что, если даже есть конфликты, агенты поправят их быстрее, чем мы с вами увидим алерт😭
Но это же всеобщий хаос? Кто-то живой у них еще понимает, что происходит в проекте?
@data_engineerette | 2 116 |
| 18 | СЕНЬОРСКАЯ ВАКАНСИЯ
Ищется сеньор-пресеньор в команду платформы данных
В двух словах: уметь в кубер, айсберг, разработку, оптимизацию спарка, иметь архитектурную насмотренность
Описание ваки тут
Отправлять резюме можно сюда: @aigul_sea | 2 090 |
| 19 | Ну, как вы там?
Нашли новые вопросы для собесов на DevOps/SRE:
Есть ли у вас опыт тушения продакшена в буквальном смысле?
Умеете ли вы дебажить инфраструктуру по спутниковым снимкам?
Как вы понимаете термин hot standby, если резервный ЦОД всё ещё горит?
Какой Prometheus alert вы настроите на появление дыма из серверной?
Что вы будете делать, если terraform destroy выполнили без Terraform?
Сколько девяток доступности останется у сервиса после потери двух дата-центров?
Как объяснить менеджменту, что availability zone больше не available?
Какую метрику вы выберете для SLO: uptime, MTTR или количество уцелевших стоек?
Какой срок хранения бэкапов вы рекомендуете, если основная проблема — срок хранения самого хранилища?
Как обеспечить пять девяток, если единственные девятки в проекте — это цифры в стоимости восстановления?
Есть ли у вас в квартире место на размещение серверов компании?
Что вы будете делать при отказе всех зон доступности у облачного провайдера?
@data_engineerette | 4 743 |
| 20 | Clickhouse для программистов, аналитиков и инженеров данных
Перестаньте ждать, пока считается аналитика. Научитесь использовать ClickHouse — СУБД, которая превращает минутные аналитические запросы в ответы за доли секунды. С первого дня — доступ к инфраструктуре для практики.
🌐 Чему вы научитесь:
🤩 Архитектура одиночных и кластерных инсталляций ClickHouse: как устроена система изнутри и как масштабировать её под реальные нагрузки
🤩 Хранение данных: движки MergeTree, партиционирование и сжатие — как держать терабайты аналитических данных при минимальных затратах на инфраструктуру.
🤩 Обработка миллиардов строк за секунды: построение эффективных запросов, агрегаций и материализованных представлений.
🤩 ClickHouse в продакшене: использование в приложениях, продуктовой аналитике и типичные грабли, на которые наступают почти все
🤩 Живая практика без отрыва от работы: не более 2-3 часов в неделю, разбор задач с экспертом в групповом чате.
🥸 Кто мы: R&D-центр Devhands. Автор курса — Алексей Белозерский, Chief Data Officer в inSales (СБЕР 2В), ex: VK Tech, М.Видео, Эльдорадо
🗓 Старт курса: 29 сентября, 6 недель обучения.
Изучить программу и записаться можно здесь.
Ждём вас!
Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtlqeLD5Ok | 1 257 |
