Инжиниринг Данных
Open in Telegram
Делюсь новостями из мира аналитики и карьерными советами. 15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG 🛠️ dataengineer.ru | 🏄♂️ Surfalytics.com №5017813306 Реклама: https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Show more📈 Analytical overview of Telegram channel Инжиниринг Данных
Channel Инжиниринг Данных (@rockyourdata) in the Russian language segment is an active participant. Currently, the community unites 23 763 subscribers, ranking 5 432 in the Technologies & Applications category and 27 433 in the Russia region.
📊 Audience metrics and dynamics
Since its creation on невідомо, the project has demonstrated rapid growth, gathering an audience of 23 763 subscribers.
According to the latest data from 17 September, 2026, the channel demonstrates stable activity. Although there has been a change in the number of participants by -51 over the last 30 days and by 7 over the last 24 hours, overall reach remains high.
- Verification status: Not verified
- Engagement rate (ER): The average audience engagement rate is 23.67%. Within the first 24 hours after publication, content typically collects 10.87% reactions from the total number of subscribers.
- Post reach: On average, each post receives 5 625 views. Within the first day, a publication typically gains 2 583 views.
- Reactions and interaction: The audience actively supports content: the average number of reactions per post is 37.
- Thematic interests: Content is focused on key topics such as claude, postgres, databricks, aws, sql.
📝 Description and content policy
The author describes the resource as a platform for expressing subjective opinions:
“Делюсь новостями из мира аналитики и карьерными советами.
15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG
🛠️ dataengineer.ru | 🏄♂️ Surfalytics.com
№5017813306
Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9...”
Thanks to the high frequency of updates (latest data received on 18 September, 2026), the channel maintains relevance and a high level of publication reach. Analytics show that the audience actively interacts with content, making it an important point of influence in the Technologies & Applications category.
23 763
Subscribers
+724 hours
-127 days
-5130 days
Data loading in progress...
Similar Channels
Tags Cloud
Incoming and Outgoing Mentions
---
---
---
---
---
---
Attracting Subscribers
September '26
September '26
+81
in 0 channels
August '26
+181
in 2 channels
Get PRO
July '26
+130
in 1 channels
Get PRO
June '26
+183
in 2 channels
Get PRO
May '26
+253
in 1 channels
Get PRO
April '26
+286
in 4 channels
Get PRO
March '26
+367
in 2 channels
Get PRO
February '26
+345
in 7 channels
Get PRO
January '26
+331
in 10 channels
Get PRO
December '25
+199
in 4 channels
Get PRO
November '25
+282
in 7 channels
Get PRO
October '25
+346
in 6 channels
Get PRO
September '25
+206
in 6 channels
Get PRO
August '25
+312
in 8 channels
Get PRO
July '25
+322
in 6 channels
Get PRO
June '25
+417
in 7 channels
Get PRO
May '25
+266
in 4 channels
Get PRO
April '25
+335
in 6 channels
Get PRO
March '25
+516
in 8 channels
Get PRO
February '25
+402
in 8 channels
Get PRO
January '25
+448
in 5 channels
Get PRO
December '24
+544
in 8 channels
Get PRO
November '24
+545
in 9 channels
Get PRO
October '24
+459
in 9 channels
Get PRO
September '24
+4 451
in 7 channels
Get PRO
August '24
+1 309
in 2 channels
Get PRO
July '24
+299
in 5 channels
Get PRO
June '24
+1 114
in 1 channels
Get PRO
May '24
+356
in 4 channels
Get PRO
April '24
+417
in 6 channels
Get PRO
March '24
+460
in 5 channels
Get PRO
February '24
+598
in 1 channels
Get PRO
January '24
+396
in 2 channels
Get PRO
December '23
+372
in 2 channels
Get PRO
November '23
+369
in 3 channels
Get PRO
October '23
+247
in 2 channels
Get PRO
September '23
+317
in 0 channels
Get PRO
August '23
+364
in 0 channels
Get PRO
July '23
+483
in 0 channels
Get PRO
June '23
+293
in 0 channels
Get PRO
May '23
+751
in 0 channels
Get PRO
April '23
+511
in 0 channels
Get PRO
March '23
+389
in 0 channels
Get PRO
February '23
+368
in 0 channels
Get PRO
January '23
+355
in 0 channels
Get PRO
December '22
+317
in 0 channels
Get PRO
November '22
+443
in 0 channels
Get PRO
October '22
+378
in 0 channels
Get PRO
September '22
+473
in 0 channels
Get PRO
August '22
+506
in 0 channels
Get PRO
July '22
+396
in 0 channels
Get PRO
June '22
+557
in 0 channels
Get PRO
May '22
+451
in 0 channels
Get PRO
April '22
+469
in 0 channels
Get PRO
March '22
+404
in 0 channels
Get PRO
February '22
+462
in 0 channels
Get PRO
January '22
+446
in 0 channels
Get PRO
December '21
+391
in 0 channels
Get PRO
November '21
+424
in 0 channels
Get PRO
October '21
+1 081
in 0 channels
Get PRO
September '21
+644
in 0 channels
Get PRO
August '21
+712
in 0 channels
Get PRO
July '21
+947
in 0 channels
Get PRO
June '21
+349
in 0 channels
Get PRO
May '21
+519
in 0 channels
Get PRO
April '21
+557
in 0 channels
Get PRO
March '21
+378
in 0 channels
Get PRO
February '21
+526
in 0 channels
Get PRO
January '21
+411
in 0 channels
Get PRO
December '20
+5 506
in 0 channels
| Date | Subscriber Growth | Mentions | Channels | |
| 18 September | +3 | |||
| 17 September | +11 | |||
| 16 September | +4 | |||
| 15 September | +1 | |||
| 14 September | +1 | |||
| 13 September | +5 | |||
| 12 September | +2 | |||
| 11 September | +10 | |||
| 10 September | +7 | |||
| 09 September | +8 | |||
| 08 September | +5 | |||
| 07 September | +5 | |||
| 06 September | +2 | |||
| 05 September | +6 | |||
| 04 September | +1 | |||
| 03 September | +4 | |||
| 02 September | +3 | |||
| 01 September | +3 |
Channel Posts
Сегодня последний день регистрации на КосмоХакатон
18–20 сентября, Петербург, Красноярск или онлайн из любой точки страны. Четыре задачи на выбор: снабжение орбитального топливного узла и безопасность космонавта в открытом космосе в Петербурге (фонд 1,2 млн ₽), мониторинг лесных пожаров и верификация углеродных кредитов по спутниковым снимкам в Красноярске (600 тыс. ₽). Есть и для тех, кто про данные и ML, и для тех, кто про стратегию и экономику.
Лучшие забирают приз на площадке и билет в московский финал 25–27 сентября, где разыграют ещё 2,4 млн рублей.
Команду можно собрать на платформе.
Подробности и регистрация
| 2 |  там много еще 😂 https://www.instagram.com/reel/DdZYFWpsUIc/ | 1 810 |
| 3 | Свежий документ для подготовки к собеседования на позицию Sr Data Engineer из одной большой американской компании
Этап 1 — Скрининг с нанимающим менеджером
Продолжительность: 45 минут
Разговорное интервью с нанимающим менеджером.
Что оценивается:
• Общее понимание роли и команды
• Соответствие навыков требованиям позиции
• Понимание стратегических целей должности
• Уровень экспертизы относительно ожиданий по грейду
• Знакомство с технологическим стеком из описания вакансии
Этап 2 — Техническое интервью (Python / SQL)
Продолжительность: 60 минут (30 мин Python + 30 мин SQL)
Живое практическое кодирование в CoderPad, чистый Python без библиотек и фреймворков.
Что оценивается:
• Знание базовых структур данных — list, dict, set
• Умение программно парсить данные
• Умение писать алгоритмы с использованием базовых конструкций — циклы for/while
• Решение задач умеренного уровня сложности
• Владение SQL (вторая половина сессии)
Важные замечания:
• Можно задавать уточняющие вопросы по задаче — только по Python
• Нельзя копировать условие задачи в AI
• Любое использование AI-инструментов в процессе должно быть раскрыто
Этап 3 — Панельные интервью
Четыре части с разными командами.
Этап 3а — Панель: Взаимодействие с командой Data Science
Продолжительность: 30 минут
Обсуждение проектов с командой Data Science.
Что оценивается:
• Опыт в экспериментировании и моделировании
• Умение совместно с DS-командой решать бизнес-задачи
• Глубина обоснования выбора подходов к моделированию и экспериментам
Этап 3б — Панель: Взаимодействие с DE / ML Platform
Продолжительность: 30 минут
Совместное упражнение с командой Data Engineering, которая управляет репозиторием ML-фичей.
Что оценивается:
• Умение глубоко погружаться в техническую задачу
• Перевод требований продукта и DS в проектирование масштабируемого ML-пайплайна
• Кросс-функциональное взаимодействие со стейкхолдерами DE/ML Platform
Этап 3в — Панель: Компетенции в Data Engineering
Продолжительность: 45 минут
Глубокое техническое погружение в экспертизу, доставку и исполнение — от требований до результата.
Что оценивается:
• Экспертный уровень SQL и dbt
• Опыт с современными технологиями пайплайнов — открытые табличные форматы (Iceberg, Delta, Hudi) и распределённые SQL-хранилища (Databricks SQL Warehouse, Snowflake, BigQuery, Redshift)
• Проектирование пайплайнов по схеме Bronze → Silver → Gold
• Опыт в моделировании данных
• Практики обеспечения качества данных
• Тестирование
• Управление данными (Data Governance)
• Оркестрация
• Опыт с AI / LLM для ускорения рабочих процессов разработки
• Умение выбирать правильный инструмент под задачу
• Работа с большими объёмами данных (например, Kafka → DynamoDB)
• Сквозное владение процессом — от требований до поставки
Этап 3г — Панель: Взаимодействие с командой ACE
Продолжительность: 30 минут
Совместное упражнение с командой ACE.
Что оценивается:
• Сбор требований и понимание доменных потребностей
• Управление и поддержка кода
• Обеспечение поддерживаемости и удобства использования
• Ответственность и решение проблем
• Работа с AI / LLM | 2 329 |
| 4 |  Пока мы тут про AI пишем, в большинстве традиционных бизнесов ничего не поменялось.
Классическая рубрика про ошибку в Excel. У нас в провинции Британской Колумбии считались об ошибке на 1,5 ярда $ из-за ошибки в Excel.
Ключевые детали происшествия:
Причины (4 ошибки в расчетах):
• Основная ошибка: Формулу конвертации валют из долларов США в канадские доллары случайно применили к ячейкам таблицы, которые уже содержали суммы в канадских долларах (ошибка при перетягивании формулы в Excel).
• Некорректный пересчет объемов природного газа.
• Использование расходных данных за 2025 год вместо 2026 года в одном из блоков.
• Аналогичное использование устаревших данных за 2025 год в другом блоке.
Последствия: Прогнозируемый дефицит провинции (13,3 млрд долларов) вырастет после корректировки. В министерстве заявили о внедрении новых мер контроля качества расчетов, чтобы избежать подобных ошибок в будущем.
Я бы им Shift Left порекомендовал бы
🔫😊🔫 | 2 546 |
| 5 | No text... | 2 679 |
| 6 | Сегодня был не очень продуктивный день….Квота закончилась не успев начавшись😞
https://itdaily.com/news/cloud/anthropic-raises-and-lowers-limits-claude/ | 2 853 |
| 7 |  Как-то незаметно прошла новость, что SAP купил Dremio.
Зачем купили: SAP строит платформу AI-агентов, которым нужен доступ к данным из любых источников — как SAP, так и сторонних систем. Dremio решает именно это: позволяет запрашивать данные где угодно без ETL и копирования. Плюс
Dremio вписывается в более широкую стратегию — вместе с Reltio (очистка данных) и Prior Labs (AI-модели) SAP собирает полный data+AI стек.
Что такое Dremio: Высокопроизводительная lakehouse-платформа. Главные фишки — федеративные запросы к любым источникам без перемещения данных, нативная поддержка Apache Iceberg и автоматическое ускорение запросов (Reflections). Известна ещё тем, что co-создала Apache Arrow и Apache Polaris — оба стали индустриальными стандартами.
Не уверен, что Dremio ждет хорошее будущее. Когда-то BusinessObjects был лучшим BI инструментом, пока в 2007 году его не купил SAP.
Из других покупок:
• Sybase в 2010 году - одно из первых поколоночных хранилищ
• Altiscale в 2016 году - решения для Hadoop/BigData
В Ванкувере есть офис SAP, я даже видел вакансии раньше по data к ним.
Вообще к SAP у меня теплые воспоминания:
1. Я учил английский и SQL используя SAP BO и тренинги
2. В 2011 году я почти получил офер в Ирландию, но в целом понял, что западные технологии дают возможность работать по всему миру
3. Еще работая на первой работе в банке я провернул концепт fake it till you make it и несколько человек зашли в ИТ на позицию BI разработчик по SAP BO без ИТ опыта.
4. В ламоде наверно до сих пор есть видео про SAP BO, первая BI академия. Даже есть на YouTube - Lesson 1 Introduction into SAP BO Web Intelligence
5. Я почти перешел в офис SAP в Москве на позицию pre-sale/sale engineer. Главный мотиватор был, что они давали Audi A4 своим консультантам + поездки в Европу на тренинги.
6. Мне казалось, что SAP BW консультанты получали какие космические деньги на проектах - от 25т рублей в день через ИП, и это было в 2012 году!
У вас есть теплые воспоминания? | 3 064 |
| 8 |  19 сентября в 2:30 pm в Ванкувере решили собраться на Jericho beach, приходите кто хочет. С меня самовар:) | 3 106 |
| 9 |  Как знакомо, когда организации хотят заставить всех vibe кодить свои приложения, чтобы выпилить вендора, и рассказать как они урезают косты.
Получается такая гремучая смесь tech debt и черной дыры для сжигания токенов.
Особенно, когда финансы, продажи, маркетинг сами себе создают приложения.
Я уже испытал такой подход в одной большой компании. Не проникся.
А как у вас? | 3 217 |
| 10 |  +8Главная ошибка в разговоре об ИИ-агентах — оценивать их по демо. Демо почти всегда выглядит круто, но в проде все упирается в границы ответственности, данных и безопасности.
Коллеги из Cloud․ru поделились популярными мифами об ИИ-агентах и обозначили реальные границы их возможностей — читайте в карточках.
📌 Еще больше интересного контента про ИИ и технологии ребята из Cloud․ru публикуют в своем канале — подписаться | 3 144 |
| 11 |  Хакатон на космических данных. Санкт-Петербург, Красноярск или онлайн из любой точки страны.
Стартуем 18 сентября.
За выходные участники доводят одну из задач до рабочего решения.
Санкт-Петербург. К 2035 году над Землёй должен работать топливный узел, у которого заправляются корабли, и откуда он будет получать топливо - с Земли, с Луны или из резерва - пока не решил никто. Команде предстоит собрать схему поставок, посчитать резервы и решить, во что вкладываться сразу. Призовой фонд 1,2 млн ₽.
Красноярск. Спутник видит горящий лес раньше любого наземного поста, но вместе с пожаром ловит нагретые крыши, факелы на месторождениях и блики на воде. Команде предстоит научить сервис отличать настоящий очаг от шума, обвести гарь и выдать площадь в гектарах. Призовой фонд 600 тыс. ₽.
Лучшие забирают приз на площадке и билет в московский финал 25–27 сентября, где разыграют ещё 2,4 млн рублей.
Команда 3–5 человек, недостающих можно найти на платформе.
Регистрация по ссылке космохакатон.рф | 3 235 |
| 12 |  Мощнее — не значит дороже
Главные расходы при расширении 1С и баз данных — это не само железо, а лицензии ПО за каждое ядро.
Оптимизировать затраты можно с помощью высокочастотных процессоров. Selectel запустил кластер AMD HiFreq в публичном облаке на базе VMware. Частота процессоров до 4.8 ГГц позволяет получить нужную производительность на меньшем количестве ядер.
Высокая частота процессоров сглаживает разницу в производительности при переходе с Oracle и MS SQL на российские СУБД: Postgres Pro, Tantor и другие. Быстрые диски снимают ограничения при обработке тяжелых нагрузок в 1С и аналитике.
Рассчитайте стоимость в удобном калькуляторе и разверните кластер для ваших задач: https://slc.tl/zegs8
Реклама. АО "Селектел". erid:2W5zFHGtVhT | 3 529 |
| 13 | Привет! Я хотел бы в Surfalytics добавить информация про возможность фриланса и открытия счетов а банках и ИП в странах СНГ. У вас есть информация или примеры? Может быть есть ТГ каналы такие. Если хотите ссылкой поделиться добавляете ссылку как код или цитату. | 3 805 |
| 14 | Воскресная мотивация от Бритни Спирс
Хочешь жить на широкую ногу? Жить в огромном особняке?
Тусоваться во Франции?
Тогда работай, детка, работай, детка,
Работай, детка, работай, детка.
А ну, за работу, детка! (а-а)
А ну, за работу, детка! (а-а)
Давай, бей в набат,
Не останавливайся — будь чемпионом.
Вкалывай так, будто это твоя профессия,
Берегись — вот оно идёт. | 4 050 |
| 15 |  КосмоХакатоны задачи на реальных спутниковых данных 🚀
Участвовать можно очно на площадке или онлайн из любой точки России — задачи, критерии и рейтинг общие.
Ближайшие два этапа идут одновременно 11–13 сентября, очные площадки в Нижнем Новгороде и Благовещенске.
Всего 12+ задач: технологические, управленческие и на ИИ, на каждом этапе свой набор.
В Нижнем Новгороде - проектирование устойчивой спутниковой группировки: как удержать связь и работоспособность системы, когда часть аппаратов выходит из строя. Плюс управленческий кейс про сервисную модель космических услуг: что сделать общественным сервисом, что отдать рынку и как всё это финансировать при жёстких бюджетах.
В Благовещенске - автономное управление группировкой, где спутники сами распределяют ресурсы по приоритетам задач. И мониторинг гидрологической обстановки по спутниковым снимкам: паводки, обмеление, разливы.
Дальше Санкт-Петербург и Красноярск 18–20 сентября.
🏆 Общий призовой фонд - 7,2 млн ₽, денежные призы на каждом этапе
💻 Очный и онлайн-форматы на всех этапах
🛰 Команды от 3 до 5 человек. Собери свою или присоединяйся к другим на нашей платформе
🚀 Лучшие команды выходят в финал в Москве 25–27 сентября
Все города, задачи и регистрация: космохакатон.рф | 5 469 |
| 16 | Отличная идея.
Буквально на прошлой неделе я спросил, какие акции мне купить.
Критерий был, чтобы стабильный сток продавался с дисконтом.
AI мне сказал про акции макдональдс, ну я их и купил, с iPhonа.
Мне кажется это спланированная акция от ИИ. | 5 224 |
| 17 |  Будет все больше и больше AI Data Engineers вакансий.
А ваше резюме готово?
Pet проекты уже лежат в GitHub?
Книжки по основам AI engineering прочитаны? | 5 032 |
| 18 | В посте From Data Engineer To ?? Engineer автор затронул тему изменений в дата инжиниринге, связанных с развитием AI.
Автор является практикующим инженером, поэтому ему есть, что рассказать.
1. От Data Engineer → Landing Engineer
Что изменилось:
• Раньше пользователи хотели готовые дашборды, витрины данных (data marts) и полностью смоделированный BI-слой
• Теперь запрос стал проще: «просто дай мне сырые данные»
Почему: Пользователи сами «вайб-кодят» последнюю милю с помощью Claude, Codex и подобных инструментов
Следствие для стека:
• Дорогие Snowflake/Databricks нужны лишь для хранения и контроля доступа
• Альтернатива: партиционированные Parquet/Iceberg/DuckLake + несколько DuckDB-трансформаций
• Документация схемы в Markdown — и пользователи готовы к работе
Тут я бы добавил, что просто так вряд ли всё заработает без хорошего семантического слоя. Хороший семантический слой — это модель данных (например, по Кимбалу) и описание каждой таблицы, каждого поля, каждого соединения между таблицами. По моему опыту, это самое сложное. Возможно, когда у вас 1–2 датасета, ИИ сможет понять, что и как, но такой подход не масштабируется. А главное — ИИ может легко накосячить.
Важно понимать, что желание использовать ИИ в аналитике для поиска инсайтов и реальные возможности компании не совпадают. Купить подписку на Claude или Codex не решит накопившиеся проблемы, а только усугубит их. Чем больше legacy и tech debt, тем сложнее проверить такой «фокус».
Но если у вас заведётся, то, как я писал раньше, С-уровень будет в восторге, и у вас появятся бюджеты на новые инструменты, а вас будут ценить как никогда. Можно смело сказать, что ИИ-аналитика сейчас является одним из самых впечатляющих достижений, поэтому я всех прошу добавлять такой кейс в резюме и делать подобные пет-проекты — hiring manager оценит такой бонус.
2. От Data Engineer → DevOps Engineer
Что изменилось:
• Data engineering децентрализуется: инженер создаёт центральные артефакты, а команды сами строят свои пайплайны
• Пользователи хотят запускать агентов для построения дашбордов
Новая инфраструктура, которую нужно поднимать:
• Cloud sandboxes — среда для агентов
• Data storage (bucket) — хранение данных
• LLM governance — контроль затрат и безопасности
• Best practices — стандарты для агентного кода
Вывод: ~90% этой работы — чистый DevOps
Всё, что касается инфраструктуры, для меня всегда было приоритетом, поэтому тут ничего нового — просто стало проще и удобнее. ИИ может писать скрипты для Terraform, и они достаточно простые и надёжные. А вот про LLM governance и sandboxes для агентов я не подскажу — как-то не доводилось.
Обычно в дата-инжиниринге инфраструктура и среды (dev/test/prod) — не проблема. Проблема — иметь свежие данные в среде разработки. Ведь не хочется дублировать все data pipelines на все среды.
Главный бонус DevOps — менеджеры с Claude туда не полезут. Поэтому у вас остаётся хоть немного задач, где вы сами себе хозяин: сами придумываете сроки и сами решаете, как лучше сделать.
3. От Data Engineer → Software Engineer
Что изменилось:
• Пользователи с доступом к данным, агенту и sandbox-у неизбежно строят прототипы приложений
• И затем просят «просто поднять это в прод» — что, конечно, совсем не просто
Два пути для инженера:
• Go Deep — стать специалистом (Streaming, Iceberg и т.д.), скорее всего в software vendor
• Go Wide — стать DevOps-data-software инженером, владеющим всем циклом внутри компании
Безусловно, для пет-проектов я теперь Software Engineer. Для компании — я не хочу быть SDE, но с помощью агентов я могу найти исходный код и использовать его в решениях дата-инжиниринга. Или попробовать докопаться до бага в данных.
Есть и примеры, когда продуктовые менеджеры не хотят ждать дата-команду и сами создают аналитические решения. Они решают задачи, но не в долгосрочной перспективе — скорее как поделка. Зато возможности у всех стали безграничными. | 4 985 |
| 19 |  Цены на составляющие улетели в космос. Заказал NX Jetson, за 2600, хотя думал он будет стоить долларов 500.
Так же смотрим AI сервер для обучение алгоритмов компьютерного зрения, в планах было взять:
Threadripper 7960X (24 ядра), 256 GB DDR5 ECC, 2× RTX 5090 32 GB, 10 TB NVMe, 1600 W
Задача:
Обучение с учителем на синтетике: дистилляция учитель–ученик для детекции, transfer learning от предобученного ViT для позы, доменная адаптация против sim-to-real разрыва. RL не в критическом пути.
Цена за сервер получается тысяч 30-40, да еще нужна промышленная розетка и охлаждение.
Кто-нибудь, что нибудь собирал в последнее время? | 5 484 |
| 20 |  Azure DP 750 или типа того.
Для работы нужно было сдать экзамен, пришлось попросить «крышевать», как результат 942 из 1000🤴.
Все вопросы были про Azure Databricks.
Хотите сдать также хорошо экзамен? Есть варианты -> дорого, быстро, надежно😎 | 5 718 |
