дата инженеретта

Antropic переехали с Git на собственную систему Scion На днях вышла статья, где Antropic рассказал про свою новую систему контроля версий и предпосылки ее создания. Здесь я хочу очень сжато выделить несколько моментов, которые меня удивили Несколько чиселок: 🤩монорепа 🤩100 ГБ - история ветки main 🤩25 ГБ - сжатая копия репо 🤩30 000 - MR в день 🤩25 млн - checkout-операций в CI в день 🤩600 ПБ - потенциальный трафик на скачивание репо в день И это еще без учета дев окружений, AI-песочниц и RnD задач. Вы не в шоке??😳 Теперь вместо разработки узким горлышком является CI, сеть и все вокруг этого. Поэтому они внутри компании командой из 7 человек за 5 месяцев: 🤩разработали свой гит Scion 🤩сделали code-review тулзу Antique 🤩написали еще несколько сервисов 🤩полностью мигрировали Antropic считает, что подобные проблемы с CI пока вряд ли есть у компаний сейчас, но на горизонте 6-12 месяцев они ожидают появления таких проблем в разработке А нужны ли люди?

Теперь они изучают замысел изменений, а не вчитываются в каждую строку кода

Факт Вот еще новая для меня мысль

Пока бегут тесты в CI, сотни и тысячи изменений могут быть уже влиты агентами

Они отказались от тестов в MR и запускают их в разы меньше, только перед деплоем. Потому что, если даже есть конфликты, агенты поправят их быстрее, чем мы с вами увидим алерт😭 Но это же всеобщий хаос? Кто-то живой у них еще понимает, что происходит в проекте? @data_engineerette

СЕНЬОРСКАЯ ВАКАНСИЯ Ищется сеньор-пресеньор в команду платформы данных В двух словах: уметь в кубер, айсберг, разработку, оптимизацию спарка, иметь архитектурную насмотренность Описание ваки тут Отправлять резюме можно сюда: @aigul_sea

Ну, как вы там? Нашли новые вопросы для собесов на DevOps/SRE:

Есть ли у вас опыт тушения продакшена в буквальном смысле? Умеете ли вы дебажить инфраструктуру по спутниковым снимкам? Как вы понимаете термин hot standby, если резервный ЦОД всё ещё горит? Какой Prometheus alert вы настроите на появление дыма из серверной? Что вы будете делать, если terraform destroy выполнили без Terraform? Сколько девяток доступности останется у сервиса после потери двух дата-центров? Как объяснить менеджменту, что availability zone больше не available? Какую метрику вы выберете для SLO: uptime, MTTR или количество уцелевших стоек? Какой срок хранения бэкапов вы рекомендуете, если основная проблема — срок хранения самого хранилища? Как обеспечить пять девяток, если единственные девятки в проекте — это цифры в стоимости восстановления? Есть ли у вас в квартире место на размещение серверов компании? Что вы будете делать при отказе всех зон доступности у облачного провайдера?

@data_engineerette

Clickhouse для программистов, аналитиков и инженеров данных Перестаньте ждать, пока считается аналитика. Научитесь использовать ClickHouse — СУБД, которая превращает минутные аналитические запросы в ответы за доли секунды. С первого дня — доступ к инфраструктуре для практики. 🌐 Чему вы научитесь: 🤩 Архитектура одиночных и кластерных инсталляций ClickHouse: как устроена система изнутри и как масштабировать её под реальные нагрузки 🤩 Хранение данных: движки MergeTree, партиционирование и сжатие — как держать терабайты аналитических данных при минимальных затратах на инфраструктуру. 🤩 Обработка миллиардов строк за секунды: построение эффективных запросов, агрегаций и материализованных представлений. 🤩 ClickHouse в продакшене: использование в приложениях, продуктовой аналитике и типичные грабли, на которые наступают почти все 🤩 Живая практика без отрыва от работы: не более 2-3 часов в неделю, разбор задач с экспертом в групповом чате. 🥸 Кто мы: R&D-центр Devhands. Автор курса — Алексей Белозерский, Chief Data Officer в inSales (СБЕР 2В), ex: VK Tech, М.Видео, Эльдорадо 🗓 Старт курса: 29 сентября, 6 недель обучения. Изучить программу и записаться можно здесь. Ждём вас! Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtlqeLD5Ok

Сходила на ТехноДень Это бесплатная конфа от Selectel, прошла в кластере «Ломоносов». Народу было прям много - полный зал «Молекула» + полный зал «Атом» + люди возле стендов Я пошла, потому что мне понравился пул докладов. Все доклады были разделены на 4 стрима: AI, Infra, Security и Data. Ну, вы понимаете, где я проторчала😁 Что послушала из докладов: 1️⃣Lakehouse от Столото Прикольный доклад прямо с циферками затрат. DLH - все по классике. Используют каталог CedrusData и сказали, что в нем есть крутые оптимизации 2️⃣Новая дата платформа от Точка Банка Как вы помните/знаете, они сидели на Oracle и Pentaho. Я несколько раз смотрела открытые вакансии на DE, и меня сильно смущал такой стек😁 Теперь они рассказали, как переехали на GP от вендора в первый раз в одном облаке, потом во второй раз в другом облаке, потом в третий раз на серверах Selectel😲 3️⃣Аудиоаналитика в облаке от Fix Price Они записывают аудио на кассах, транскрибируют и потом анализируют CR в покупку пакета и прочие метрики Я так поняла, что все приглашенные компании - это именно пользователи их продуктов Selectel тоже пошел в DLH и делает такую же платформу из S3, Trino, HMS, Iceberg, как и все другие🙄 Хотя еще 1-2 года назад не планировал. Пока ощущение, что сыровато и нет необходимых компонентов Они также рассказали про крутую штуку aish - это агент для администрирования. Поставляется на их собственной SelectOS и умеет решать именно инфровые проблемы, на стендах можно было с ним поиграться Плюс очень понравилась фраза на главном докладе:

Мы экономим ваши будущие деньги😄

🍜 Во время фуршета познакомилась с каким-то CoFounder из юр компании. Он рассказал, что они на сервисах Selectel используют иишку для генерации и проверки договоров, поиска по судебным кейсам. В общем, занятное применение, а то я не в курсе про жизнь вне айти😅 Если что, трансляции можно глянуть на сайте: https://techday.selectel.ru/ P.S. У вас не сформировалось в последнее время стойкое ощущение, что пора идти в Data Quality и Data Governance? Данные наверняка всегда будут косячные, и в этих областях нужен будет человек, который сможет нормально за все пояснить @data_engineerette

Ломаем Iceberg-таблицу🫠 Представьте, у вас есть айсберг таблица из 3 полей, которая управляется HMS. Вы удаляете из середины 2е поле, но вдруг появляется ошибка:

The following columns have types incompatible with the existing columns in their respective positions

Несовместимые типы, но почему? Мы же знаем, что айсберг следит за своими полями по id, и если мы удалили поле с id=2, то поле с id=3 должно таким и остаться. Или нет? Оказывается, у айсберга и hms разные механизмы эволюции схемы. С айсбергом мы правы, он следит за id самой колонки. Но вот hms проверяет схему на основе индекса🙂 Когда мы удалили столбец из середины, в hms все типы сдвинулись. И если поле2 было int, а поле3 - string, то после удаления hms думает, что мы кастуем string -> int, и падает Сама оф дока айсберга выделяет этот момент как «Hive Catalog Limitation» и рекомендует отключить свойство: hive.metastore.disallow.incompatible.col.type.changes=false Теперь эволюция схемы на совести айсберга, работаем дальше🙌 @data_engineerette

А если я аналитик, но в DE пока вообще ничего не понимаю? 😳 После прошлого поста про переход из аналитики в дата-инженерию я поймала себя на мысли, что главный вопрос здесь, кажется, даже не «надо ли мне в DE?». В целом все понимают перспективность перехода в дата-инженерию. Гораздо чаще возникает другой вопрос: «А достаточно ли у меня сейчас знаний, чтобы вообще зайти в DE?» И когда начинаешь смотреть на базовый стек дата-инженера, в голове примерно следующее: SQL — знаю. Python — тоже. Airflow — видел. Kafka — примерно представляю, что это что-то важное. Spark — лучше пока не спрашивайте. И где-то между «DWH» и «оркестрацией пайплайнов» появляется ощущение, что к первой позиции DE ты пока не готов. Хотя если ты уже работаешь аналитиком, у тебя, скорее всего, уже есть приличная часть фундамента. Ты уже понимаешь, что такое данные, зачем нужны витрины, почему один и тот же показатель может внезапно считаться по-разному в двух командах и почему запрос на 15 JOIN'ов — не всегда хорошая идея. А значит, вопрос скорее не в том, чтобы начать профессию с нуля, а в том, чтобы достроить недостающий инженерный слой. И вот здесь мне как раз нравится подход Симулейтив в их буткемпе «Инженер данных». Первые 10 недель — база и выход на junior-уровень. Дальше — более глубокое погружение в инструменты и развитие уже в сторону middle. На обучение совершенно не обязательно приходить уже с опытом работы с Airflow, Spark и Kafka или с умением самостоятельно строить DWH. Наоборот — можно спокойно разобраться с тем, как все это устроено и зачем вообще нужно за 10 недель, а после углубить свои знания. При этом на буткемпе довольно много внимания уделяют не только технологиям, но и тому, с чем предстоит работать на реальной позиции: ➖строить пайплайны ➖работать с хранилищами и DWH ➖обрабатывать данные ➖писать SQL и Python ➖разбираться с архитектурой ➖готовиться к собеседованиям еще во время обучения Кстати, после прошлого поста мне особенно запомнилась одна мысль: к собеседованиям действительно стоит готовиться еще во время обучения, а не оставлять их «на потом». Так ты быстрее понимаешь, каких знаний тебе не хватает, учишься рассказывать о своих проектах и постепенно привыкаешь к формату технических вопросов. А главное — не попадаешь в ловушку, когда полгода изучаешь стек, а потом только начинаешь разбираться с резюме, портфолио и собеседованиями. Поэтому важно двигаться параллельно: учиться, делать проекты и постепенно проверять себя через собеседования. В этом плане формат буткемпа подходит лучше всего: есть структура, ментор, регулярные занятия, реальные инструменты и возможность не вариться во всем этом самостоятельно. Плюс есть гостевые лекции от дата-инженеров из Яндекса, Т-Банка, Авито, Сбера и Ozon и ИИ-инструменты, которые используют в обучении. У Симулейтив все так же остались гранты на обучение и гарантия трудоустройства для студентов, но места на новый поток разбирают еще активнее чем на прошлый, остально только 3 места и старт потока будет 10 октября! Так что не ждите идеального момента, действуйте прямо сейчас. Усильте свой профессиональный трек новым стеком. 🔗 ЗАБРОНИРОВАТЬ МЕСТО

Lance Недавно ковырялась в инструменте для обслуживания таблиц Apache Amoro и наткнулась на новый для меня термин - формат данных Lance Lance - это колоночный формат хранения данных, созданный для AI/ML задач в лейкхаусе ⏰ Он появился еще в 2022 году, а первая стабильная версия вышла в декабре 2025. Примерно с того же времени нашла дискуссии в де сообществе. Разрабатывают ребята, которые создали LanceDB Главные особенности: 🤩оптимизация под AI и векторный поиск 🤩доступ к данным за О(1) 🤩в одной таблице можно хранить обычные данные + медиа + векторы 🤩ядро написано на Rust 🤩построен поверх Apache Arrow 🤩time travel 🤩acid 🤩update/delete так же поддерживается Lance позиционирует себя как замена Parquet, но к данным можно достучаться в 100 раз быстрее Поддерживается много интеграций: DuckDB, Polars, Data Fusion, Spark, Doris, Trino, PyTorch, Flink. Но, например, Lance-Trino интеграция вышла из беты только 31 марта этого года, а Spark появился еще позднее, поэтому многие компоненты еще достаточно свежие А помимо Lance, еще есть Nimble, Vortex, BtrBlocks, FastLanes😯 @data_engineerette

5 октября начнется 19-й поток программы Data Engineer от Newprolab Программа для junior- и middle-дата-инженеров, аналитиков, backend-разработчиков, техлидов и тех, кто работает с data-командами и хочет лучше понимать современный стек DE 📌 Что внутри: – 10 недель обучения – 30 занятий: онлайн + записи – 10 практических лабораторных работ – облачный кластер и реальные данные – чат участников и поддержка команды программы 📌 Что получите на выходе: 1. Научитесь решать типовые задачи DE на практике 2. Систематизируете знания и закроете пробелы в современном DE-стеке 3. Поработаете с реальными данными и инфраструктурой, а не только с учебными примерами 4. Соберете практический опыт, который можно обсуждать на собеседованиях и использовать в работе 5. Все записи и материалы останутся у вас после окончания программы Преподаватели – практикующие специалисты из ведущих технологических компаний. На занятиях можно разбирать реальные кейсы, задавать вопросы и получать обратную связь 👉 Подробности и квиз – на сайте Квиз покажет, насколько программа подходит именно под вашу роль и задачи, даст персональные рекомендации и промокод на скидку ___ По всем вопросам пишите Алексею @snitsa Реклама. НОЧУ ДПО «НЬЮПРОЛАБ», ИНН 7729461098, erid: CQH36pWzJqVKq9rQaHuCzeGVyN7t33BtnXkZHE54vj73iv

Как прошла SmartData 2026? Я вот перечитываю свои впечатления от прошлого года и понимаю, что в этом году было совсем не так🥲 Вижу, что писала про

Текущее состояние рынка даты Presto/Trino + K8s + S3, Iceberg, StarRocks, Polars - движется сюда

А в этом году не было ни одного доклада про StarRocks или Polars 📚 Доклады Конфу объединили с DS/ML, поэтому значительная часть докладов сразу отсеклась. Часть была супер нишевой: про китайский CubeFS, внутрянку pgvector, утечки памяти на контроллерах😫 Поэтому лично мне понравились всего 2 доклада: 1️⃣"Витрины данных на Data Lakehouse: маленькая история про большой переезд с Greenplum", Лемана Тех Очень крутой чел рассказал про миграцию с Greenplum на dbt с yaml дагогенерацией, сэндбоксы, настройку ролевки, мониторинга, обслуживания. Пока они перенесли совсем немного и такое ощущение, что с многими проблемами просто не столкнулись Вывод такой: витрины собираются дольше, функционала компонентов DLH не хватает, проблем и вопросов больше, чем решений и ответов 2️⃣"Контракты данных: когда схема становится договором", Uzum Market Практически весь доклад мне казалось, что они живут в сказочном мире с единорогами и розовыми пони, настолько так все классно работает. На самом деле очень прикольно: сначала заводятся контракты данных, потом генерятся DDL, конфиги развертывания, автоматически разворачиваются кафка-топики, выставляются MR. DQ, Lineage - тоже все есть На дискуссия была жесткая заруба по поводу ломающих изменений в контракте Мне от спикера так понравились две фразы, пусть они тут останутся:

россыпь SDK data quality ассорти

❓ Что по AI? Опишите красиво ваши метрики и данные, сделайте семантический слой - и будет классный контекст для ваших агентов (база) 📍 Новости и ссылочки Статья: How Anthropic enables self-service data analytics with Claude Дэш из доклада про ADBC (Arrow Database Connectivity) Яндекс вписался в разработку китайского Greenplum - Cloudberry, в который они добавили поддержку Iceberg Одни ребята переехали на StarRocks уже в 2023 году В Магните в июне были сокращения Мысль - сейчас многие делают статичные AI-дэши, а что если навайбкодить BI, который реальными запросами ходит в данные? 21.10.2026 выходит DuckDB 2.0 AWS купили DuckLabs @data_engineerette

Исследование data-people Тут ребята из DevCrowd запустили ежегодное исследование специалистов по работе с данными и попросили поделиться, чтобы охватить больше крутых спецов😎😎 Отчеты у них получаются очень красивошные💅 Вот здесь можете глянуть за прошлый год: https://devcrowd.ru/ds25/ 📒 Если не знакомы: DevCrowd делают независимые исследования IT-профессий уже несколько лет, за это время опросили больше 15 000 человек, отчеты выкладывают в открытый доступ В этом году они смотрят на самое актуальное: что AI реально изменил в работе, где проходят границы в обязанностях между ролями, изменились ли наборы инструментов и задачи ✏️Опрос анонимный и займет 12–15 минут. В ноябре ребята опубликуют отчет со всеми данными, а также списками рекомендованных телеграм-каналов и курсов, собранными из ответов участников Опрос тут: https://survey.devcrowd.ru/data-2026 @data_engineerette

5 октября начнется 19-й поток программы Data Engineer от Newprolab Программа для junior- и middle-дата-инженеров, аналитиков, backend-разработчиков, техлидов и тех, кто работает с data-командами и хочет лучше понимать современный стек DE 📌 Что внутри: – 10 недель обучения – 30 занятий: онлайн + записи – 10 практических лабораторных работ – облачный кластер и реальные данные – чат участников и поддержка команды программы 📌 Что получите на выходе: 1. Научитесь решать типовые задачи DE на практике 2. Систематизируете знания и закроете пробелы в современном DE-стеке 3. Поработаете с реальными данными и инфраструктурой, а не только с учебными примерами 4. Соберете практический опыт, который можно обсуждать на собеседованиях и использовать в работе 5. Все записи и материалы останутся у вас после окончания программы Преподаватели – практикующие специалисты из ведущих технологических компаний. На занятиях можно разбирать реальные кейсы, задавать вопросы и получать обратную связь 👉 Подробности и квиз – на сайте Квиз покажет, насколько программа подходит именно под вашу роль и задачи, даст персональные рекомендации и промокод на скидку ___ По всем вопросам пишите Алексею @snitsa Реклама. НОЧУ ДПО «НЬЮПРОЛАБ», ИНН 7729461098, erid: CQH36pWzJqVKq9rQZnhg1RNLGQNA1VAz2sBGdwk93diyT9

Каким должен быть хороший DE? Меня однажды спросили на собесе: 🤩Какие 3 качества важны для де? В том числе: 🤩абстрактные качества, которые помогают в работе 🤩собственные качества, сильные стороны 🤩качества кандидата при собеседовании к вам в команду Тогда я сильно замялась, потому что никогда мне такого вопроса не задавали и он прям заставил задуматься)) По-моему, я сказала что-то вроде: 🤩широкий кругозор, чтобы можно было критически оценивать и предлагать технические решения 🤩желание разобраться в проблеме и найти причину, поковыряться в логах, выяснить, почему упало 🤩третье я капитально забыла🙂 А как бы вы ответили на этот вопрос? @data_engineerette

Из аналитика в дата-инженеры: а оно мне вообще надо? 🤔 Я в последнее время все чаще замечаю, что дата-инженерия для аналитиков выглядит одновременно привлекательно и немного страшно. С одной стороны, хочется понимать не только то, что происходит с данными, но и как эти данные вообще доезжают до нас. Откуда берутся, где хранятся, как обновляются, почему сегодня в витрине 10 млн строк, а завтра 8 млн и кто опять сломал загрузку🥲 С другой — открываешь вакансию DE, а там SQL, Python, Airflow, Kafka, Spark, DWH и еще 17 технологий, которые ты когда-то видел в вакансии, но решил пока не трогать. И получается классическая ситуация: вроде хочется попробовать, но непонятно, с чего начинать и сколько лет на это закладывать. Поэтому мне понравилось, как Симулейтив пересобрали свой буткемп «Инженер данных». Там обучение разделено на два этапа: первые 10 недель — база и выход на junior, а дальше — более глубокое погружение в ключевые инструменты и развитие до middle. Причем курс подойдет не только тем, кто приходит в DE с нуля, но и аналитикам, которые хотят перейти в инженерию. В программе как раз то, без чего никуда: ➖SQL и Python ➖пайплайны сбора и обновления данных ➖хранение и обработка данных ➖DWH ➖живые занятия с ментором каждую неделю ➖подготовка к собеседованиям с первых недель ➖ИИ-инструменты в обучении ➖гостевые лекции от дата-инженеров из Яндекса, Т-Банка, Авито, Сбера и Ozon И вот идея готовиться к собесам с первых недель мне кажется особенно здравой. Потому что можно полгода героически изучать очередной инструмент, а потом на собесе получить вопрос уровня «а почему вы вообще так спроектировали этот пайплайн?» и обнаружить, что уверенности в себе осталось примерно на два SQL-запроса🥲 Еще из интересного — после обучения выдают диплом о профессиональной переподготовке. Ну и вишенка: сейчас у Симулейтива есть гранты на обучение и гарантия трудоустройства для студентов. Грантов ограниченное количество, а до завтра включительно можно успеть подать заявку на одно из 5 оставшихся мест нового потока. Если вы аналитик и давно поглядываете в сторону DE, возможно, это как раз тот случай, когда имеет смысл не просто сохранить пост в закладки, а наконец разобраться, хотите ли вы туда переходить. Потому что «когда-нибудь изучу Airflow» — это, конечно, тоже карьерный план. Но мы оба понимаем, чем обычно заканчиваются такие планы ☺️ 🔗 ЗАБРОНИРОВАТЬ МЕСТО

Mermaid-диаграммы Наконец-то дошли руки поковыряться в mermaid-диаграммах, это что за имба вообще🔥🔥По сути это своего рода DaaS - Diagram as a Code, вы описываете диаграмму в нужном синтаксисе, потом она отрисовывается Я полистала, что mermaid умеет вообще рисовать - там из прикольного: очень красивая диаграмма Ганта, граф с гит-коммитами, диаграмма Cynefin для принятия решений. Ну и всякие UML-ки, ER там тоже есть Диаграммы имеют особый синтаксис, например, для ER-модели связи обозначаются вот так:

|o  -  0/1
||  -  1
}o  -  >= 0
}|  -  >= 1

Напоминает корейский алфавит🇰🇷 А если нарисовать связь между двумя сущностями, то вообще получаются какие-то смайлики:

}o..o{
||--o{
|o--o{

В общем, удобная и полезная штука - не нужно рисовать самому в draw.io или где-то еще, оно само красиво отрендерится💅 @data_engineerette

26 сентября иду на Data Driven от Яндекса — конференции в этом году исполняется 10 лет, и это чувствуется по размаху программы. Тема — AI-first-аналитика: как AI меняет саму профессию, а не просто добавляет ещё один инструмент в стек. Два трека докладов: про AI-инструменты, которые реально экономят время, про генеративный AI в работе с данными и про то, какой будет роль аналитика через пару лет. Из спикеров особенно интересны — Роман Халкечев (CDO Поисковых сервисов и ИИ Яндекса) — про то, как AI переписывает правила игры при работе с данными, Александр Самусенко (CDO Alice AI и Умных устройств) — про построение аналитики под эффективное использование AI-инструментов и Максим Стаценко с супер-темой, как собрать агента-аналитика, которому можно доверять. Ещё будет Random Coffee с топовыми аналитиками, разбор резюме и карьерные консультации, а вечером — афтерпати в честь дня рождения конференции с музыкой и IT stand-up. 📍Москва + онлайн, 26 сентября. Регистрируйтесь по ссылке 👉Новости конференции

Iceberg — это внезапный бум или планомерная подготовка? Заметили, как с определенного момента стало много айсберга в DE? Хотя я сейчас зашла чекнуть вакансии на hh, и iceberg упоминается в 68 из 455 дата инженерских вакансий - что около 15%. Но у меня есть стойкое ощущение, что все про него говорят, всем он нужен и везде его используют 🐱 Последний раз я обращала на это внимание в марте. Тогда мне казалось, что компании только-только переходят на лейкхаус и начали строить его 1 или 2 года назад. Но на самом деле это было гораздо раньше Недавно я узнала, что в Т-банке развитие в сторону лейкхауса началось еще тогда, когда меня не было в де🥺 Да и MWS не смогли бы выкатить свою лейкхаус-платформу в середине 2025 года, если бы не стартовали еще тогда ☕️ Мы в Сбере тоже обсуждали табличные форматы, но мне казалось это таким нишевым и далеким от индустрии, поэтому я особо не изучала всякие айсберги/худи/дельты и отличия одного от другого. А ведь в то же самое время все остальные уже готовились... 🌱🌱🌱🌱 Так что получается, мы узнаем о технологическом тренде, когда другие уже презентовали свои результаты раньше всех. И теперь мне интересно: что прямо сейчас кажется нишевой штукой, на которую мы не особо обращаем внимание, но через год оно будет везде? @data_engineerette

Как забытый ON CLUSTER поставил меня в тупик Я создала таблицу ReplicatedReplacingMergeTree, потом переделала на обычный ReplicatedMergeTree. Дропнула таблицы, но тупо забыла ON CLUSTER, и вот что из этого вышло 🫤 Запускаю загрузку, она падает, я чищу табличку и гружу заново. Казалось бы, проблемы больше нет? Сверяюсь по каунтам - сильно отличается. Снова перезагружаю - вообще другие каунты стали. Что происходит? Смотрю инфу по репликам:

SELECT hostName(), pid, count()
FROM clusterAllReplicas('default', schema.table)
GROUP BY hostName(), pid
ORDER BY pid, hostName();

На двух хостах сходится, на третьем сильно меньше данных и вообще нет большого куска, при этом все цифры разъезжаются с источником… Я делаю truncate - а с третьего хоста данные вообще не удаляются. Делаю truncate sync - снова ничего не происходит. SYSTEM SYNC REPLICA schema.table - то же самое 🤔 Иишка советует заглянуть в system.distributed_ddl_queue - но там все Finished. Потом смотрю zookeeper_path:

SELECT
  hostName(),
  zookeeper_path,
  total_replicas,
  active_replicas,
  last_queue_update_exception
FROM clusterAllReplicas('default', system.replicas)
WHERE database = 'schema'
     AND table = 'table';

Первые 2 хоста в одной репликационной группе: /clickhouse/tables/9e0fe594-04f6-41ad-8137-385f08c2fbe5/shard1 total_replicas = 2 А третья живет отдельно: /clickhouse/tables/faee8477-d2a6-47c9-8cc9-8a3f44972612/shard1 total_replicas = 1 Дальше смотрю DDL на разных хостах:

SELECT hostName(), create_table_query
FROM clusterAllReplicas('default', system.tables)
WHERE database = 'schema'
AND name = 'table';

Первые две - ReplicatedReplacingMergeTree Третья - ReplicatedMergeTree Поверх этих таблиц еще была Distributed, а она читает табличку на основе параметра load_balancing:

SELECT value
FROM system.settings
WHERE name = 'load_balancing';

В моем случае там был random, и он постоянно возвращал данные с третьей реплики (кроме random, есть еще несколько) А почему данных на третьей реплике было меньше? Все еще помните про самый первый процесс, который упал? Так вот он записал кусок данных, но почистить их кх уже не смог. А при следующем запуске запись пошла в другую реплику В общем, два забытых слова привели к тотальной смеси двух миров @data_engineerette

В начале лета я рассказывала, как начала проходить курс по алгосам, сейчас делюсь с вами промежуточными впечатлениями🙂 👩‍💻 Первый месяц я активно садилась за задачи раз или два в неделю - этого было вполне достаточно. Сам смысл курса подается не как "пока самостоятельно не решите 100 задач на литкоде, из-за компа не выходите", а как "сначала смотрим объяснение и решение, потом идем кодить, если не запомнили - смотрим еще раз и повторяем" В рамках одного 10-минутного видоса разбирается одна задача, иногда с несколькими вариантами решения, в конце анализируется сложность по времени и памяти. Что я заметила - когда мне голосом объясняют суть задачи, мне становится в разы понятнее. Поэтому мой типичный флоу занятий такой: я смотрю 1-2 минутки с объяснением условия, иду решать сама, потом досматриваю С какого-то момента действительно появился азарт, хочется решить как можно больше задач до момента усталости) Пока я отметила для себя всего 2 задачки, которые вызвали трудности, и я оценила их по сложности на 5/10 по сравнению со всеми остальными 📊 Для трекинга прогресса нам рекомендовали завести гугл табличку с решенными задачами, затраченным временем и комментами. Я туда еще вписываю свои впечатления по задаче, новые синтаксические конструкции и инсайты после объяснений. Пока из интересного - идея с выделением виртуального места в массиве, иногда полезно идти с конца, также понравился мой собственный подход с просмотром только 1/4 матрицы 📞 Лайв созвоны случаются в конце спринта, где кураторы вместе с учениками разбирают задачи на самостоятельное прорешивание, отвечают на вопросы. Но вопросы можно задавать и в чатике, там все очень активные, периодически кураторы присылают разборы на задачи с собесов В июле с отпусками я подзабросила курс🤩 В текущем спринте начали темы связных список и стека, но я надеюсь быстренько все догнать @data_engineerette

Походу салон нанял себе дата аналитика🤭 Или можно подключить аналитику у самого сервиса по записи? В любом случае я теперь переживаю, что, если не запишусь сейчас, кому-то на дейли придется объяснять просадку retention rate😕 @data_engineerette