Инжиниринг Данных
Делюсь новостями из мира аналитики и карьерными советами. 15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG 🛠️ dataengineer.ru | 🏄♂️ Surfalytics.com №5017813306 Реклама: https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
显示更多📈 Telegram 频道 Инжиниринг Данных 的分析概览
频道 Инжиниринг Данных (@rockyourdata) 俄语 语言赛道中的 是活跃参与者。目前社区聚集了 23 807 名订阅者,在 技术与应用 类别中位列第 5 463,并在 俄罗斯 地区排名第 27 694 位。
📊 受众指标与增长动态
自 невідомо 创建以来,项目保持高速增长,吸引了 23 807 名订阅者。
根据 25 八月, 2026 的最新数据,频道保持稳定运转。过去 30 天订阅人数变化为 -45,过去 24 小时变化为 -4,整体触达仍然可观。
- 认证状态: 未认证
- 互动率 (ER): 平均受众互动率为 25.03%。内容发布后 24 小时内通常能获得 12.83% 的反应,占订阅者总量。
- 帖子覆盖: 每篇帖子平均可获得 5 958 次浏览,首日通常累积 3 054 次浏览。
- 互动与反馈: 受众积极参与,单帖平均反应数为 23。
- 主题关注点: 内容集中在 claude, postgres, databricks, aws, sql 等核心主题上。
📝 描述与内容策略
作者将该频道定位为表达主观观点的平台:
“Делюсь новостями из мира аналитики и карьерными советами.
15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG
🛠️ dataengineer.ru | 🏄♂️ Surfalytics.com
№5017813306
Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9...”
凭借高频更新(最新数据采集于 26 八月, 2026),频道始终保持新鲜度与高覆盖。分析显示受众积极互动,使其成为 技术与应用 类别中的关键影响点。
数据加载中...
| 日期 | 订阅者增长 | 提及 | 频道 | |
| 26 八月 | +6 | |||
| 25 八月 | +3 | |||
| 24 八月 | +7 | |||
| 23 八月 | +7 | |||
| 22 八月 | +5 | |||
| 21 八月 | +4 | |||
| 20 八月 | +10 | |||
| 19 八月 | +6 | |||
| 18 八月 | +14 | |||
| 17 八月 | +12 | |||
| 16 八月 | +5 | |||
| 15 八月 | +3 | |||
| 14 八月 | +7 | |||
| 13 八月 | +4 | |||
| 12 八月 | +3 | |||
| 11 八月 | +7 | |||
| 10 八月 | +6 | |||
| 09 八月 | +4 | |||
| 08 八月 | +9 | |||
| 07 八月 | +6 | |||
| 06 八月 | +3 | |||
| 05 八月 | +3 | |||
| 04 八月 | +3 | |||
| 03 八月 | +2 | |||
| 02 八月 | +2 | |||
| 01 八月 | +9 |
| 2 | AWS купили DuckLabs. Интересно как это отразиться на продукте.
Хотя с другой стороны всем нравится 🦆 , но я ничего кто их использует серьезно. | 2 174 |
| 3 | В Salt Lake City встретился всего лишь с одним подписчиком - Виктором.
Виктор рассказал, как работал электриком в маленьком городе в Белоруссии и уехала в Польшу еще давно.
Электриком там было не устроиться, и с помощью datalearn он получил основы дата профессии стал работать в дата, потом выиграл green card и уже переехал 1,5 года назад в LA. Прокачался немного в Surfalytics и стал работать дата инженером.
Цены в LA высокие (если у вас одна работу на семью), поэтому они решили переехать в SLC, где у нас и состоялся data&drinks на космической конференции🥂 | 3 096 |
| 4 | Как ИИ помогает создавать и сопровождать Spark-задачи в облаке ☁️
На вебинаре 27 августа эксперты Cloud․ru расскажут, как автоматизировать работу с Apache Spark с помощью Evolution Managed Spark c ИИ.
В программе:
▶️как Evolution Managed Spark упрощает разработку и сопровождение Spark-задач;
▶️как использовать ИИ-агента для создания, запуска и анализа Spark-приложений;
▶️каким образом работать с данными в Evolution Object Storage без ручной настройки;
▶️где искать причины ошибок и получать рекомендации по их устранению;
▶️как анализировать производительность Spark-задач и находить точки для оптимизации;
▶️как MCP-серверы помогают ИИ-агенту взаимодействовать с managed-сервисами платформы данных Cloud․ru.
А в практической части покажут работу ИИ-агента для создания Spark-задачи и обработку данных в Evolution Object Storage.
Регистрация — по ссылке | 3 153 |
| 5 | Если кто есть в Salt Lake City, на родине мормонов, дайте знать, отправляюсь на конференцию. | 3 615 |
| 6 | Оказывается Claude remote часто заблокирован, поэтому если в рабочий день вам нужно быть на природе, Happy Engineering вам в помощь - удаленный терминал в Claude code. | 5 072 |
| 7 | Fuckup Night от создателей Trisigma, Ares и karpov.courses
Согласитесь, ивенты, где все делятся только своими успехами, уже поднадоели. Хочется реальных историй, где что-то пошло не по плану, но в итоге ошибка стала ценным опытом.
Поэтому команда Trisigma собирает Fuckup Night 26 августа — без записи и красивых цифр. Истории расскажут:
🔸 Виталий Черемисинов (Trisigma)
🔸 Роман Нестер (Ares, Arteus LLM и Segmento)
🔸 Валерий Бабушкин (British Petroleum)
🔸 Беслан Курашов (plevako.ai и karpov.courses)
Встречу проведут онлайн, поэтому подключиться можно из любой точки и всем, кто принимает решения на основе данных.
⚡️ Важно! Записи не будет, поэтому приходите на эфир. Главное — не забудьте зарегистрироваться. | 4 929 |
| 8 | Ну и чтобы понять как выглядит средний PR от Product Manager кто еще не знал ни dbt, ни snowflake несколько месяцев назад.
Это еще цветочки)) | 4 485 |
| 9 | Каждый раз когде мне прилетает PR, а прилетает много и часто - у меня в голове играет эта песня - “постой, паровоз....кондуктор нажми на тормоза”
Надо бы им перевести🤬 | 4 144 |
| 10 | Классно, что есть бесплатные ресурсы, где можно посмотреть как использовать AI в работе. Даже если это не best practices, все равно можно узнать что-то новое, увидеть новые инструменты.
Уверен в AI Dev Tools Zoomcamp: AI-Native Software Engineering можно подчерпнуть знания. Я сам не проходил, но знаю Zoomcamps подход - уверен, что есть полезная информация., тем более бесплатно. | 3 952 |
| 11 | Поделюсь наблюдениями за enterprise-компаниями.
1.Большие и скучные enterprise (Finance, Insurance, Government, Health и т.д.) сидят на Microsoft.
2. У них большие команды, которые умеют эффективно посещать митинги, тренинги и кивать головой, когда старший по званию выступает.
3. На данном этапе эволюции AI у них есть бесплатный Copilot в Microsoft Teams. Правда, он бесполезный для работы. Все другие инструменты заблокированы — на всякий случай, ведь служба безопасности делает свою работу (ради работы).
4. Инфраструктуру поддерживает отдельная команда в IT, которая никому и ни за что не даст доступ. При этом от вас кое-что хотят. У вас будет 3 среды — DEV/TEST/PROD, и каждая среда будет иметь свой целевой бранч: dev/test/main. Также будет процесс релиза — неважно, нужно это или нет.
5. Никто не может сделать ничего. Любое изменение требует множества митингов, а любой косяк будет обсуждаться неделями как критичный и опасный для всей компании. Возможно, поэтому никто не хочет ничего делать, чтобы не накосячить.
И это не единичный случай — это большинство компаний, где мне приходилось работать как контрактору. Тут ещё может наложиться душный микроменеджер-руководитель, который является экспертом по созданию и мониторингу задачек и подзадачек на доске. Ваша эффективность = количеству закрытых (и созданных) задачек.
Во всей этой истории я нашёл единственный workaround — Azure DevOps. Это отдельный сервис, в котором есть Git Repos, Pipelines, Wiki, Board/Tickets. Microsoft позаботился о том, чтобы вы могли подключаться к нему через PAT-токен и SSH-ключ (в репозитории). Таким образом, вы можете смотреть на код, создавать тикеты, писать документацию с помощью своего Claude Code.
Но в целом для любителей классики без AI-агентов это прямо идеальная среда. Соответственно, если вас попросят уйти, то уж извините — ваши навыки Excel и Power BI могут понадобиться разве что такой же enterprise-организации. | 3 960 |
| 12 | В пятницу отправимся в небольшой поход с палатками. Если вы в Ванкувере, можете присоединиться.
Из Deep Cove до Granite Falls (до конца Indian Arm).
Пример маршрута с фотками.
Возможно уже лосось прикрыл и плещется рядом с Indian River, вот и проверим. Можно использовать кану, каяк, падл борд. | 4 083 |
| 13 | Поделюсь своими ощущениями по использованию AI агентов. Этап эйфории прошёл.
Немножко поподробней про этот этап. У вас есть Claude Code и больше ни у кого его нет. У вас уже настроены MCP ко всем дата-сервисам и базам, и Claude делает за вас 100% работы. Любую задачу вы решаете мгновенно. Коллеги не понимают, что такое Claude Code, и все делают по старинке руками. На их фоне вы просто монстр производительности, даже можете менять и траблшутить Source Code.
Дальше компании начинают инвестировать в подписки Claude Code, и уже волей-неволей у всех появляется Claude. Ты им показываешь, как с ним работать и как всё работает. 2–3 месяца — и коллеги уже могут сами использовать MCP и делать PR через агентов.
Первый звоночек — обычно что-то вроде: «Ты слишком быстро всё сделал, и агент написал лабуду». То есть надо уже больше смотреть за агентом, всё перечитывать и перепроверять. Особенно сложно это делать, когда открыты несколько активных серий в разных репозиториях с серьёзными изменениями.
Также изначально Claude создавал код поверх кода, написанного руками. Этот код очень понятен, ведь ты его сам писал. Но спустя полгода код весь написан уже агентом, и мы уже на 100% зависимы от агента, ведь без него уже очень сложно разобраться, как там всё устроено и как это дело быстро подправить.
И теперь мы приходим к тому, что все одинаково умеют использовать агентов, друг другу проверяют PR, пишут огромные простыни текста — что починить, что исправить. То есть человек как proxy между общением агентов. 😄
Вся скорость и производительность выветриваются, и по факту вам надо больше и тяжелее работать. Если раньше вы работали на 120%, а команда лишь на 20%, то теперь это уже 115% на 120%, то есть в лучшем случае вы немного лучше, но какой ценой?!
Таким образом, мы пришли к тому, о чём говорили всегда: работы стало больше, задачи стали сложнее, а требования по скорости и качеству — выше. Я вижу на примерах, как растут аппетиты у VP-уровня, особенно когда они сами могут общаться с данными и находить инсайты. Они хотят больше и быстрее. У бизнеса теперь много идей, которые надо внедрить.
Да, даже элементарно — частота стендапов возросла до ежедневной, и уже не скажешь «я там ковыряю код», ведь за тебя агент может всё перековырять — сиди и читай, читатель-инженер.
Что будет дальше? А дальше требования будут расти. Даже от новичков будут требовать больше. Вам ведь думать не надо — за вас агент думает, поэтому просто сидите и общайтесь с ним, разбирайтесь. Задач будет больше, требований больше, свободного времени меньше. Людей однозначно нужно больше. Агенты ещё те шалунишки — нужен глаз да глаз за ними, а то положат продакшн. Это ещё не так критично в области data, а вот в customer-facing apps — там ещё сложнее.
Я спросил агента про известные концепции:
Jevons Paradox (Парадокс Джевонса)
Чем эффективнее технология, тем больше её потребляют. Производительность выросла → бизнес поднял планку → работы стало больше, а не меньше. Классика, описанная ещё в 19 веке применительно к паровым машинам.
Automation Bias
Склонность доверять автоматизированным системам больше, чем следует. Отсюда и «агент написал лабуду, но никто не заметил» — люди перестают критически проверять вывод системы.
Skill Atrophy / Deskilling
Деградация навыков из-за делегирования задач инструментам. Ты описал это точно: «код весь написан агентом, и без него уже сложно разобраться». Это активно обсуждается сейчас применительно к junior-разработчикам, которые никогда не научатся думать самостоятельно.
Productivity Paradox (Парадокс производительности)
Технологии растут, а реальная производительность и удовлетворённость сотрудников — не обязательно. Впервые описан в контексте IT-революции 80-90х годов (Solow Paradox).
Alert Fatigue / Review Fatigue
Когда объём вещей, требующих внимания, превышает когнитивные возможности человека. У тебя это — несколько открытых PR в разных репозиториях одновременно.
Shifting Bottleneck
Узкое место не исчезает, оно перемещается. Раньше бутылочное горлышко — написание кода. Теперь — ревью, понимание, верификация того, что написал агент. | 4 713 |
| 14 | В новой статье Headed for the Exit: the Great Engineering Leader Career Break, автор делится наблюдениям про высокие инженерные должности.
CTO, VP of Engineering, Head of Engineering — люди, которые ещё вчера были на вершине карьеры — сейчас пачками уходят с позиций. Без нового места. Просто уходят.
The Pragmatic Engineer опросил почти 20 таких руководителей. Вот что они говорят:
Почему уходят:
1️⃣ Работа стала невыносимой — фаундеры с «AI-психозом» сами пишут код и сливают 60к строк в продакшн, ожидая магии. А разбираться с последствиями — CTO
2️⃣ Equity сгорает — сложные структуры инвесторских предпочтений делают даже 2% акций бесполезными. Зачем терпеть, если выхлопа не будет?
3️⃣ Без AI-опыта ты уже устарел — рынок хочет тех, кто уже трансформировал компанию под AI. Сидишь в «медленной» компании — отстаёшь
4️⃣ Команды сжались — один fullstack-инженер с AI делает работу пяти. VPE просто не нужен при команде из 4 человек
5️⃣ Fractional CTO выгоднее — зачем один работодатель, если можно работать с пятью параллельно?
6️⃣ AI-стартапы платят рядовым инженерам больше, чем обычные стартапы платят своим CTO. Математика не в пользу руководства
7️⃣ Выгорание — давление со всех сторон, нереалистичные ожидания, и ощущение что ты Дон Кихот
Роль инжиниринг менеджера в 2020 и в 2026 сейчас очень разные, и многие не хотят работать в таких условиях. Я полагаю сейчас вырастает новый тип руководителей, которым легче вариться в таких условиях.
Особенно хорошо написать про деньги - AI направления = больше денег у IC, чем у C уровня не AI. А еще лучше несколько fraction ролей (part time).
А как у вас ощущения? | 4 410 |
| 15 | Недавно был интересный случай. Моя компания Rock Your Data попала в небольшой тендер на разработку хранилища данных.
Моим оппонентом была небольшая консалтинговая компания, которая решила предложить стартапу внедрить Microsoft Fabric + Power BI. Это была их фатальная ошибка.
А я предложил Snowflake + dbt (внутри Snowflake), Metabase BI (6$ за место в месяц) и оставить оркестрацию внутри Snowflake.
А самое главное — сказал, что сразу буду использовать Claude Code и сделаю для них фреймворк, где разработка будет на Claude, а их единственный аналитик-джун станет дата-инженером.
На картинке — изначальный план агентства.
Агентство, конечно, лукавило, когда говорило, что сделает им всё за небольшие деньги на Microsoft Fabric.
Решения Microsoft — для Enterprise-компаний, когда у вас есть несколько команд по 10 человек и вы можете позволить себе ничего не делать месяцами (создавать видимость работы). | 4 782 |
| 16 | Оказывается GitHub переживает тяжелые времена. Я сам замечаю как мои простые jobs на расписание работают через раз.
Получается для critical pipelines GitHub все хуже.
А как у вас? | 5 300 |
| 17 | 🚀🚀🚀
📅 Сегодня в 19:00 по МСК будет вебинар про то, как агентный AI начинает менять привычный подход к BI и меняет бизнес-аналитику.
🎙 Спикеры: ребята из AI4BI.
Вебинар будет здесь (в канале) в онлайне
🔍 Описание:
Поговорим о том, как меняется сама работа с аналитикой: от ручных SQL-запросов и привычных дашбордов - к агентам, которые могут самостоятельно работать с данными, находить аномалии и помогать получать ответы быстрее.
Что разберем:
🔸 почему self-service BI не решил многие проблемы аналитики и куда сейчас движется Agentic BI
🔸 Open Source vs Enterprise: Vanna, DB-GPT, Superset - в сравнении с DataLens и Power BI
🔸 как может выглядеть агентный слой поверх Apache Superset + Trino + ClickHouse в закрытом контуре
🔸 реальный кейс внедрения в ритейле на 1500+ пользователей - логистика, склады, транспорт
🔸 экономика внедрения и окупаемость такого подхода на реальном кейсе
Думаю, особенно интересно будет тем, кто работает с BI, аналитическими платформами и AI-агентами или просто хочет понять, куда сейчас движется аналитика.
◼︎ Сегодня, 19:00 по Москве
Ссылки на ресурсы ребят:
🔗 Сайт → https://ai4bi.raftds.ru/
🔗 Канал → https://t.me/ai_archnadzor
🚀🚀🚀
#datalearn #Вебинар | 5 893 |
| 18 | Наверно посмотрели на SpaceX, OpenAI, Anthropic и решили, что надо побольше капитализацию.
А еще databricks купил Electric - агенты рулят! | 6 557 |
| 19 | Говорят навык кодить руками уже умирает. Писать код самому это уже недостаток. Понимать код, архитектуру и знать фундаментальные вещи это другое, которое необходимо. И теперь как-то надо это понимать и знать без hands-on опыта.
Молодежь, держись ☕️ | 6 818 |
| 20 | Lakehouse для аналитиков и инженеров данных
Приглашаем изучить популярный подход построения хранилищ данных Data Lakehouse c разделенным Compute и Storage на основе Iceberg и Trino.
В программе курса:
• Современная архитектура аналитических систем от DWH и Data Lake до Lakehouse с разделением Compute и Storage на базе Apache Iceberg и Trino.
• Iceberg: управление файлами, снимками, каталогами, схемами изменений и очисткой.
• Практическое использование Iceberg Catalog, работа с кластером Trino (на Kubernetes), подключение данных на S3 и выполнение SQL/ Python-запросов.
• Работа с Iceberg+Trinо на больших масштабах: сложные запросы к датасету TPC-DS (2.8 млрд строк), интеграция с DBT, Apache Airflow, оценка производительность систем.
• Построение пайплайнов, инструменты для корректной поддержки, обновления и масштабирования Lakehouse-инфраструктуры на уровне предприятия.
Кто мы: R&D-центр Devhands, наш канал.
Автор курса — Алексей Белозерский, CDO в inSales (Сбер 2B), ex: VK Tech, М.Видео, Эльдорадо
🗓 Старт курса: 27 августа
Изучить программу и записаться можно здесь.
Ждём вас!
Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzquZf5с8 | 6 347 |
