Инжиниринг Данных
Открыть в Telegram
Делюсь новостями из мира аналитики и карьерными советами. 15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG 🛠️ dataengineer.ru | 🏄♂️ Surfalytics.com №5017813306 Реклама: https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Больше📈 Аналитический обзор Telegram-канала Инжиниринг Данных
Канал Инжиниринг Данных (@rockyourdata) языкового сегмента Русский является активным участником. Сейчас сообщество объединяет 23 690 подписчиков, занимая 5 593 место в категории Технологии и приложения и 27 670 место в регионе Россия.
📊 Показатели аудитории и динамика
С момента создания невідомо проект демонстрирует стремительный рост, собрав аудиторию из 23 690 подписчиков.
Согласно последним данным от 26 октября, 2026, канал показывает стабильную активность. За последние 30 дней изменение числа участников составило -34, а за последние 24 часа — 0, при этом общий охват остаётся высоким.
- Статус верификации: Не верифицирован
- Уровень вовлечённости (ER): Средний показатель вовлечённости аудитории составляет 25.45%. В первые 24 часа после публикации контент обычно набирает 12.49% реакций от общего числа подписчиков.
- Охват публикаций: В среднем каждый пост получает 6 030 просмотров. В течение первых суток публикация набирает 2 960 просмотров.
- Реакции и взаимодействия: Аудитория активно поддерживает контент: среднее количество реакций на один пост — 43.
- Тематические интересы: Контент сосредоточен на ключевых темах, таких как claude, postgres, databricks, aws, sql.
📝 Описание и контентная политика
Автор описывает ресурс как площадку для выражения субъективного мнения:
“Делюсь новостями из мира аналитики и карьерными советами.
15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG
🛠️ dataengineer.ru | 🏄♂️ Surfalytics.com
№5017813306
Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9...”
Благодаря высокой частоте обновлений (последние данные получены 27 октября, 2026) канал поддерживает актуальность и высокий уровень охвата публикаций. Аналитика показывает, что аудитория активно взаимодействует с контентом, что делает его важной точкой влияния в категории Технологии и приложения.
23 690
Подписчики
Нет данных24 часа
-77 дней
-3430 дней
Архив постов
23 690
+3
Кстати, у нас в Ванкувере был митап по dbt. А у вас?
Хороший получился ивент, на нем был главный эксперт по замене Snowflake Compute на DuckDB, у них есть продукт Greybeam - multi engine движок.
Был еще товарищ - местный менеджер по DE, рассказывал красивую историю, что вакансии теперь это не как раньше - data engineer, data analyst, а просто data person.
Класс! Я бы посмотрел как он с резюме data person искал бы работу🤣
Вообще 95% аудитории руками код уже не пишет, проводился опрос.
Если вы еще не начинали учить SQL, то не тратье время! Тратьте лучше деньги на ТОКЕНЫ, ведь скоро IPO антропиков. (Шутка)
Там же я узнал, что dbt 2.0 тоже поддерживает multi engine, что дает огромные возможности.
PS теперь у меня есть кепка dbt❤️
23 690
Кстати про пятьсот и миллион.
Логично спросить, а миллион гросс реально?
Ответ, можно сказать такой - “можно, а зачем”
Математика простая. Я могу говорить за Канаду и канадский доллар, который не особо ценен сам по себе по отношению к баксу.
Если взять работу дата инженера и прикинуть, что у вас от 160к до 250к в год, то можно посчитать сколько нужно параллельно посещать митингов в неделю, чтобы в год получить млн канадских и соответственно, сколько нужно, чтобы настоящий миллион долларов.
Проблема в том, что разница в качестве жизни от 500 в год до млн в год не сильно измениться. Налоговая (CRA) вам не даст расслабиться, ваше инвестиции просядут (политика и экономика позаботятся об этом), микроменеджеры вас будут спрашивать, почему вы опоздали на митинги, почему без камеры, и делать вам всякие пакости, как например посадить вас на PIP. Но на PIP вас посадят не потому что вы плохо работаете, а потому что вы не хотите играть по глупым правилам корпоративных сплетен, жополизства, ябедничество и других прелестей коллективного труда.
В общем там целая список trade offs. Одно я знать точно, это прям EPIC SHIT, как говорится.
23 690
Еще один товарищ пробился в Клуб 500.
PS Недавно узнал, что у блогера трансформатора тоже был клуб 500.
У меня 500 - это идеальная цель в прошлом для зарплаты в FAANG в долине. Сейчас там вроде уже млны платят=)
23 690
Мне очень приятно, когда люди делаю транскрипцию собеседований и скидывают вопросы и задания в Surfalytics Discord.
Достаточно интересный экземпляр вакансии на Data Engineer + AI Engineer.
Судя по вопросам, нужно строить AI продукты и агентов, используя данные их хранилища данных.
Уверен, такого рода навыки будут востребованы и дадут больше преимущества.
PS Я сам глубоко не отвечу на эти вопросы.
Из AI у меня пока есть 2 сильных кейса:
1) Agenting Development: (Claude Code, Cursor, CodeRabbit, MCPs)
2) Conversational Analytics: Про это нужно будет более подробно написать, так как реально получился крутой продукт, где весь секрет кроется в классическом моделировании данных по Кибмалу (Бизнес -> Концептуальная модель -> Физическая модель таблиц фактов и измерений -> разработка -> AI Context для финального продукта)
2.1) Есть еще классный кейс по использованию AI_COMPLETE в Snowflake для задач Customer Service, чтобы парсить free text.
Такое же можно сделать с помощью Claude SDK или LangChain, но если данные в Snowflake, то намного проще обрабатывать данные на уровне строк.
Какие у вас AI кейсы?
23 690
Очень классный концепт, когда обычный и скучный продукт для reverse etl решил пойти в бизнес и предложить маркетинговую автоматизацию.
Что логично, ведь они сидят поверх всех данных. Зачем отдавать данные в Marketo и тп, если можно самим все запускать и контролировать.
23 690
🧩 Antifraud Scientist @ Higgsfield AI
Higgsfield AI — самая быстрорастущая AI-компания в истории.
За 18 месяцев с запуска наша команда достигла $1B ARR, а 133 сотрудника уже стали долларовыми миллионерами. Ты можешь стать следующим.
Что предлагаем:
⚡ 6M+ генераций в день. Каждая мошенническая генерация расходует реальные GPU - твоя модель должна остановить абьюз до того, как потрачен compute
🎮 Противник адаптируется за дни: фермы из сотен аккаунтов, перепродажа доступа, автоматизированный сбор промобонусов. Здесь придётся строить систему, которая выдерживает эту гонку и успешно борется с лучшими фродерами мира.
💰 Конкурентная зарплата в USD + опционы (Goldman Sachs уже покупает акции ранних сотрудников)
Кого ищем:
- 3+ года в DS/ML, Python и SQL, модели в production
- Опыт работы с бустингами, дисбалансом классов и графами связей
- Умение оценивать модель через предотвращённые потери и стоимость ложных блокировок
- Готовность разбирать кейсы руками и собирать сигналы из сырых событий, платежей и поведения пользователей
- Самостоятельность: от первой гипотезы до работающего скоринга, мониторинга и обновления модели
- Готовность работать 6 дней в неделю. Так работают сильнейшие AI-команды. Рост до $1B ARR за 18 месяцев требует такого темпа. За год здесь получаешь опыт, на который в бигтехе уходят несколько лет.
📍 Офис в Алматы ·
Полная поддержка с релокацией (финансовая + операционная)
💸 $100-350k в год + опционная программа
Подать заявку - @didarnrkr 🚀
23 690
+1
DuckDB 2.0
⚡️ Async I/O: S3 в 2–3 раза быстрее
Раньше каждый поток по очереди качал данные и декодировал их, поэтому CPU простаивал, пока ждал сеть.
Теперь отдельный пул заранее подгружает row groups, а воркеры только декодируют. Запрос к 2,2 ГБ Parquet: 18,8 с → 7,7 с. Включено по умолчанию, в коде ничего менять не нужно (read_ahead_depth). Тысячи мелких файлов по 1 МБ это не спасёт, так что фундамент всё ещё важен.
🌳 Рекурсивные CTE: глубокие иерархии летают
Раньше на каждом шаге рекурсии таблица перечитывалась целиком. Теперь она читается один раз, а дальше идут точечные lookup'ы.
Обход истории из 20 000 коммитов: было от 1,8 до 16 с, стало 0,1 с. Хорошо подходит для git-истории, lineage, тредов и BOM. Для неглубокой оргструктуры разницы почти не будет.
📦 VARIANT вместо JSON
JSON-поля с постоянной структурой автоматически раскладываются в настоящие колонки (shredding), а остальное хранится бинарным хвостом.
Результат: в 2,7 раза меньше места, чем у JSON-строки, и фильтры примерно в 6 раз быстрее, почти как у типизированных колонок.
Есть нюанс: касты списков пока медленные, а поле, которое то число, то строка, в колонку не попадёт.
23 690
+1
День из жизни ребенка 9 лет:
Сегодня не пошел в школу, чтобы пропустить урок «сексуального образования» и остался дома, чтобы с помощью Claude Code создавать игру/мир в Unreal Engine с помощью MCP.
Я показал как можно скачивать элементы из fab (каталог вещей) и добавлять их в мир и игру.
А что вы в 9 лет делали?✋
23 690
На этой неделе у нас случилась победа. Настоящая, с письмом на целый орг.
Сканер безопасности (с AI, конечно) нашёл две старые виртуальные машины.
Это были build-агенты, на которых когда-то собирали приложения. Ими давно никто не пользовался.
Дальше начинается Enterprise. Чтобы выключить две VM, понадобилось:
- Security нашли уязвимости и подключили Ops;
- три команды (Ops, разработка и Data & Analytics) оценили влияние и зависимости и разработали план безопасного вывода из эксплуатации;
- Ops выключили машины вечером. Окончательное удаление запланировано через две недели.
Итого четыре команды, план и поэтапный вывод ради двух виртуалок.
По отчёту сканера ушло 22 Critical, 123 High, 79 Medium и 8 Low. Звучит как подвиг, пока не вспоминаешь, что это одни и те же непропатченные пакеты на двух машинах, которые никому не были нужны.
Но главное здесь реакция руководства.
Директор SOC:
«Полностью согласен. В этом и красота управления уязвимостями: одно действие по исправлению устраняет множество экземпляров одной и той же уязвимости. Отличная работа, команда! Я ценю это взаимодействие и командную работу. Так держать.»Вице-президент:
«Великолепно! Это потрясающая демонстрация командной работы и взаимодействия.»Я тоже есть в списке благодарностей😃️️️️️️ Без такого Enterprise наши рабочие будни были бы серые и однообразные...
23 690
Несмотря ни на что в конце ноября состоится Матемаркетинг 📈
Замечательный ивент с замечательными спикерами 🍪🍪
26–27 ноября в Москве в девятый раз пройдёт техническая конференция для аналитиков, performance-маркетологов и продакт-менеджеров. Онлайн-день — 17 ноября. Более 2000 участников, 100+ докладов и мастер-классов. Партнёры — VK, Avito Tech, Сбер, Magnit Tech, ИТ-холдинг Т1, ТехВилл, UIS, Лемана Тех, UX Rocket и другие компании.
Среди спикеров:
• Валерий Бабушкин (ВР): как прогресс мультимодальных моделей влияет на профессию DS/DA/ML
• Роман Бунин (Nebius): как измерить внедрение ИИ в большой компании
• Денис Пехтерев (Т-Банк): ИИ-операционная система руководителя из 17 ролей и 13 процедур
• Радослав Нейчев (МФТИ): рабочие сценарии для агентов на открытом стеке, без платных подписок
• Сергей Бажин (ИТ-холдинг Т1): агентный кодинг на десятки тысяч строк без ручной проверки
Отдельный блок программы посвящён доверию к результатам ИИ. Участники разберут, как тестировать ИИ-фичи с непредсказуемыми ответами, проверять работу агентов, выполняющих аналитические задачи, и готовить для них контекст — выстраивать семантический слой, оценивать полноту и качество информации. Маркетологи узнают, как измерять присутствие бренда в ответах языковых моделей в рамках GEO.
Между докладами — нетворкинг, карьерные консультации и активности на стендах партнёров.
Место: Москва, кластер «Ломоносов» МГУ, Раменский бульвар, 1.
Программа 🔫
Билеты и регистрация 🎮
23 690
С вас идея, а Т-Банк за нее заплатит
В Т-Банке ищут трейдеров, разработчиков и тех, кто просто увлекается инвестициями. Зарегистрируйтесь на программу «Инвест. Премаркет» до 11 ноября.
Ваши AI-сценарии для бизнеса смогут побороться за призовой фонд программы — 2 500 000 ₽. А сами идеи Т-Банк поможет масштабировать и сделать частью бизнеса.
Успейте подать заявку до 11 ноября
23 690
Ну а если хотите кринжануть, можно делать Analytics Engineering на Microsoft Fabric.
PS новая книга вышла
23 690
ИИ-агент отвечает настолько точно, насколько готовы ваши данные. Как понять, что они готовы?
Разберёмся 23 октября в Москве на Fine Day 2026, офлайн-конференции о переходе от self-service BI к AI-native аналитике.
💡 В программе:
• дискуссия с руководителями аналитики ПИК, ДИКСИ, СИБУР и АвтоВАЗ: что нужно данным и командам для работы с ИИ
• миграция с Qlik и Power BI на FineBI, в том числе с помощью ИИ-агентов
• BI-система vs LLM: какие задачи кому отдавать, опыт Мосбиржи
демо FineBI 7.0 и ИИ-агентов Dora, можно принести свой сценарий
Участие бесплатное. После регистрации получите чек-лист «Готовы ли ваши данные к ИИ-агенту?» из 25 вопросов.
👉 Регистрация: https://clck.ru/3WUPuR
Реклама. ООО «ГлоуБайт Аналитические Решения». ИНН 9729274905. erid: 2RanykwYevw
23 690
Dbt summit можно посмотреть on-demand https://www.getdbt.com/dbt-summit
PS Если вы хотите работать в дата аналитике и инжиниринге, станьте экспертом в dbt, это как раз тот случай, когда 20% дает 80% результата
Чтобы пользоваться dbt нужно
• уметь CLI
• уметь git (GitHub/GitLab)
• понимать CI/CD
• SQL прям быть экспертом
• документация и качество данных
• основы эффективности аналитических хранилищ данных
• основы ETL/ELT
• моделирование данных
• немного инфраструктуры, если будет вопрос как хостить dbt core
• оркестрация
Даже если вы не будете работать с dbt, эти все знания вам упростят жизнь и помогут понять как лучше строить решения.
23 690
Я настроил для себя Excalidraw локально и добавил MCP сервер, чтобы можно было делать такие картинки с одного промта.
Вы можете запустить у себя и вас появится нативно MacOS приложение: https://github.com/surfalytics/excalidraw-local/blob/main/README-RU.md (иснтрукуция на русском для MacOS). Может можно и для Windows добавить.
Я решил для себя использовать его как sticky notes пространство и в лучших практиках time management выгрузить из головы все-все задачки и отсортировать их.
23 690
Сравните модели GigaChat на своей задаче в GigaPlatform AI Studio
Это среда, в которой можно менять настройки моделей и проверять ответы на своих запросах.
В AI Studio можно:
• Сравнить ответы двух моделей на одном запросе.
• Сравнить ответы при разной температуре.
• Настроить системный промпт и проверить его на нескольких запросах.
• Сохранить промпт и историю диалога в JSON.
Пять рабочих сценариев разобрали в статье.
Попробуйте AI Studio бесплатно и без ВПН.
23 690
https://github.com/excalidraw/excalidraw
Самый классный сервис для диаграмм и архитектур.
Работает локально и бесплатно.
А какой сервис используете вы?
23 690
Я понял чем мы сейчас занимаемся из-за повышенной нагрузки и использования AI агентов - reckless (data) engineering (безрассудный инжиниринг данных).
😎
23 690
Claude добавил Mods и Dashboards.
Mods это прикольные плагины и с ними все понятно, особенно после видео.
А вот что касается Dashboards - тут интересней. BI сообщество испугалось, что Power BI, Tableau, Looker теперь будет заменено Claude Dashboards.
Claude Dashboards позволяет подключиться к источнику данных через MCP, и построит дашборд. А дальше можно уже с ним общаться. Дашборд может обновляться по расписанию.
Про моделирование данных и семантический слой они не упоминали.
И все это по цене токенов🍪🍪
Скоро будет Claude ETL, Claude BigData, Claude Data Engineering и пт. Менеджеры и stakeholders теперь смогу сказать вам - “Ну что так долго, я вот в Claude уже за 5 минут все сделал бы!?”
