Инжиниринг Данных
Делюсь новостями из мира аналитики и карьерными советами. 15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG 🛠️ dataengineer.ru | 🏄♂️ Surfalytics.com №5017813306 Реклама: https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Show more📈 Analytical overview of Telegram channel Инжиниринг Данных
Channel Инжиниринг Данных (@rockyourdata) in the Russian language segment is an active participant. Currently, the community unites 23 682 subscribers, ranking 5 607 in the Technologies & Applications category and 27 681 in the Russia region.
📊 Audience metrics and dynamics
Since its creation on невідомо, the project has demonstrated rapid growth, gathering an audience of 23 682 subscribers.
According to the latest data from 28 October, 2026, the channel demonstrates stable activity. Although there has been a change in the number of participants by -30 over the last 30 days and by 0 over the last 24 hours, overall reach remains high.
- Verification status: Not verified
- Engagement rate (ER): The average audience engagement rate is 25.38%. Within the first 24 hours after publication, content typically collects 12.48% reactions from the total number of subscribers.
- Post reach: On average, each post receives 6 010 views. Within the first day, a publication typically gains 2 956 views.
- Reactions and interaction: The audience actively supports content: the average number of reactions per post is 40.
- Thematic interests: Content is focused on key topics such as claude, postgres, databricks, aws, sql.
📝 Description and content policy
The author describes the resource as a platform for expressing subjective opinions:
“Делюсь новостями из мира аналитики и карьерными советами.
15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG
🛠️ dataengineer.ru | 🏄♂️ Surfalytics.com
№5017813306
Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9...”
Thanks to the high frequency of updates (latest data received on 29 October, 2026), the channel maintains relevance and a high level of publication reach. Analytics show that the audience actively interacts with content, making it an important point of influence in the Technologies & Applications category.
Loading data
| Date | Subscriber Growth | Mentions | Channels | |
| 28 October | +5 | |||
| 27 October | +1 | |||
| 26 October | +2 | |||
| 25 October | +11 | |||
| 24 October | +2 | |||
| 23 October | +5 | |||
| 22 October | +5 | |||
| 21 October | +9 | |||
| 20 October | +3 | |||
| 19 October | +1 | |||
| 18 October | +8 | |||
| 17 October | +3 | |||
| 16 October | +9 | |||
| 15 October | +3 | |||
| 14 October | +4 | |||
| 13 October | +9 | |||
| 12 October | +9 | |||
| 11 October | +4 | |||
| 10 October | +3 | |||
| 09 October | +9 | |||
| 08 October | +7 | |||
| 07 October | +2 | |||
| 06 October | +7 | |||
| 05 October | +7 | |||
| 04 October | +4 | |||
| 03 October | +3 | |||
| 02 October | +1 | |||
| 01 October | +7 |
| 2 | Интересная ситуация на рынке сложилась. Пост на картине хорошо подчеркивает это:
• Джуны и выпускники не могут найти работу, и найм выпускников сократился на 20-30 процентов.
• Сеньеров увольняют. И последних новостей Microsoft предложил 60т сотрудникам добровольно выйти за cash.
• А кто по серединке - просто зашиваются от нагрузки
Мне понравилось интервью -
«Впереди 12 лет ада. Потом будет библейский рай» | Бывший топ Google Х о том, чего ждать уже к 2027
Мужик реалист, не топит за AI и здраво размышляет про текующую ситуацию.
Конечно, он слишком пессимистичен, но правда, как всегда где-то посередине.
Это интервью с Мо Гавдатом, бывшим топ-менеджером Google X. Его основные тезисы:
1. Впереди 10–15 трудных лет, потом утопия. Пик кризиса он ожидает в 2027 году.
2. Акроним FACE RIPs описывает семь сфер, которые изменит ИИ:
Freedom & Power: власть сконцентрируется у владельцев ИИ, как раньше у лучших охотников, землевладельцев и магнатов.
Reality & Connection: реальность размывается из-за фейков, ИИ-инфлюенсеров и ИИ-отношений. Привязанность к алгоритмам становится инструментом контроля.
Innovation & Economics: ИИ — «последняя инновация человека». Дальше машины изобретают сами, а экономику придётся придумывать заново.
Accountability: главная буква. Всё происходит потому, что никто ни за что не отвечает, а будущее строят «альтманы», которых никто не просил.
3. Рынок труда сильно изменится за 2–3 года. Первыми уйдут рутинные профессии: колл-центры, клерки, бухгалтеры, ассистенты, ресёрчеры. Найм выпускников уже упал на 23–30%. Уволенный менеджер среднего звена оказывается в положении выпускника. ИИ пока не заменяет топ-менеджеров только из-за «человеческих интерфейсов», но это временно.
4. Экономика рискует схлопнуться. Около 70% экономики США — потребление. Если у людей не будет дохода, бизнесу некому будет продавать. Безусловный базовый доход он считает «откупом», а в итоге видит какой-то «коммунистический» путь.
5. Предпринимательство теперь похоже на сквош, а не на шахматы. Долгосрочная стратегия уступает скорости и гибкости, пивоты происходят каждую неделю. Вывод: шанс теперь есть у каждого. Ориентир — «тест зубной щётки» Ларри Пейджа: продукт, которым миллиард людей пользуется утром и вечером.
6. Нейросети стоит сталкивать между собой. Ни одной модели нельзя верить как истине. Он прогоняет ответы по кругу через Gemini, DeepSeek, ChatGPT и Grok и ищет, чего не хватает. ИИ делает глупее того, кто перекладывает на него всё мышление, и гениальнее того, кто делегирует вычисления и поиск, а сам управляет процессом («арендую 80 пунктов IQ»).
7. Образование в нынешнем виде мертво. Экзамены устарели, человека нужно оценивать в связке с ИИ, с планкой «IQ 300–700». Копить детям на колледж он не советует: через 10 лет колледжей в нынешнем виде, по его мнению, не будет.
8. Четыре навыка для выживания:
Освоить ИИ на уровне лидера.
Быть гибким: минимум час в неделю следить за ИИ в своей сфере и действовать, ведь цена теста почти нулевая.
Требовать этичности: строить «добрый» ИИ и выступать против трат на слежку и автономное оружие.
Перестать быть наивным и не верить пропаганде и ленте.
9. Почему он всё же оптимист. AGI он ожидает до конца 2026 года. Гонка вооружений гарантирует, что ИИ возьмёт под контроль все процессы. Но истинный интеллект, по его логике, стремится к минимуму потерь, поэтому сверхразумный ИИ откажется выполнять глупые разрушительные приказы. Человечеству, как с ядерным оружием, придётся дойти до края, чтобы перейти от «взаимного гарантированного уничтожения» к «взаимному гарантированному процветанию».
К какой бы точке зрения вы не относились про ИИ и будущее, очевидно одно, что компании не очень понимают как им быть, тренд пока на AI эффективность, через увольнение людей и повышение нагрузки на оставшихся. И деньги тоже туда всех выкидывают.
Я согласен с автором, что AI как супер сила, если его правильно использовать, то можно получить много пользы, он сказал - «ИИ делает сильных сильнее, а слабых слабее». | 2 429 |
| 3 | Коллега нахваливает этот IDE https://www.onorca.dev/
• удобно MD файлы смотреть
• интеграция с ticket системой, код привязан к branch и тикету
• сразу имеет git corktree
• мобильная версия
• позволяет запускать несколько разных агентов для одной задачи
• можно удаленно управлять агентами
• | 3 316 |
| 4 | Кстати, у нас в Ванкувере был митап по dbt. А у вас?
Хороший получился ивент, на нем был главный эксперт по замене Snowflake Compute на DuckDB, у них есть продукт Greybeam - multi engine движок.
Был еще товарищ - местный менеджер по DE, рассказывал красивую историю, что вакансии теперь это не как раньше - data engineer, data analyst, а просто data person.
Класс! Я бы посмотрел как он с резюме data person искал бы работу🤣
Вообще 95% аудитории руками код уже не пишет, проводился опрос.
Если вы еще не начинали учить SQL, то не тратье время! Тратьте лучше деньги на ТОКЕНЫ, ведь скоро IPO антропиков. (Шутка)
Там же я узнал, что dbt 2.0 тоже поддерживает multi engine, что дает огромные возможности.
PS теперь у меня есть кепка dbt❤️ | 3 588 |
| 5 | Кстати про пятьсот и миллион.
Логично спросить, а миллион гросс реально?
Ответ, можно сказать такой - “можно, а зачем”
Математика простая. Я могу говорить за Канаду и канадский доллар, который не особо ценен сам по себе по отношению к баксу.
Если взять работу дата инженера и прикинуть, что у вас от 160к до 250к в год, то можно посчитать сколько нужно параллельно посещать митингов в неделю, чтобы в год получить млн канадских и соответственно, сколько нужно, чтобы настоящий миллион долларов.
Проблема в том, что разница в качестве жизни от 500 в год до млн в год не сильно измениться. Налоговая (CRA) вам не даст расслабиться, ваше инвестиции просядут (политика и экономика позаботятся об этом), микроменеджеры вас будут спрашивать, почему вы опоздали на митинги, почему без камеры, и делать вам всякие пакости, как например посадить вас на PIP. Но на PIP вас посадят не потому что вы плохо работаете, а потому что вы не хотите играть по глупым правилам корпоративных сплетен, жополизства, ябедничество и других прелестей коллективного труда.
В общем там целая список trade offs. Одно я знать точно, это прям EPIC SHIT, как говорится. | 4 027 |
| 6 | Еще один товарищ пробился в Клуб 500.
PS Недавно узнал, что у блогера трансформатора тоже был клуб 500.
У меня 500 - это идеальная цель в прошлом для зарплаты в FAANG в долине. Сейчас там вроде уже млны платят=) | 4 800 |
| 7 | https://www.rpdoyle.com/ Еще пример классного дизайна сайта | 4 657 |
| 8 | Мне очень приятно, когда люди делаю транскрипцию собеседований и скидывают вопросы и задания в Surfalytics Discord.
Достаточно интересный экземпляр вакансии на Data Engineer + AI Engineer.
Судя по вопросам, нужно строить AI продукты и агентов, используя данные их хранилища данных.
Уверен, такого рода навыки будут востребованы и дадут больше преимущества.
PS Я сам глубоко не отвечу на эти вопросы.
Из AI у меня пока есть 2 сильных кейса:
1) Agenting Development: (Claude Code, Cursor, CodeRabbit, MCPs)
2) Conversational Analytics: Про это нужно будет более подробно написать, так как реально получился крутой продукт, где весь секрет кроется в классическом моделировании данных по Кибмалу (Бизнес -> Концептуальная модель -> Физическая модель таблиц фактов и измерений -> разработка -> AI Context для финального продукта)
2.1) Есть еще классный кейс по использованию AI_COMPLETE в Snowflake для задач Customer Service, чтобы парсить free text.
Такое же можно сделать с помощью Claude SDK или LangChain, но если данные в Snowflake, то намного проще обрабатывать данные на уровне строк.
Какие у вас AI кейсы? | 5 201 |
| 9 | Очень классный концепт, когда обычный и скучный продукт для reverse etl решил пойти в бизнес и предложить маркетинговую автоматизацию.
Что логично, ведь они сидят поверх всех данных. Зачем отдавать данные в Marketo и тп, если можно самим все запускать и контролировать. | 4 235 |
| 10 | 🧩 Antifraud Scientist @ Higgsfield AI
Higgsfield AI — самая быстрорастущая AI-компания в истории.
За 18 месяцев с запуска наша команда достигла $1B ARR, а 133 сотрудника уже стали долларовыми миллионерами. Ты можешь стать следующим.
Что предлагаем:
⚡ 6M+ генераций в день. Каждая мошенническая генерация расходует реальные GPU - твоя модель должна остановить абьюз до того, как потрачен compute
🎮 Противник адаптируется за дни: фермы из сотен аккаунтов, перепродажа доступа, автоматизированный сбор промобонусов. Здесь придётся строить систему, которая выдерживает эту гонку и успешно борется с лучшими фродерами мира.
💰 Конкурентная зарплата в USD + опционы (Goldman Sachs уже покупает акции ранних сотрудников)
Кого ищем:
- 3+ года в DS/ML, Python и SQL, модели в production
- Опыт работы с бустингами, дисбалансом классов и графами связей
- Умение оценивать модель через предотвращённые потери и стоимость ложных блокировок
- Готовность разбирать кейсы руками и собирать сигналы из сырых событий, платежей и поведения пользователей
- Самостоятельность: от первой гипотезы до работающего скоринга, мониторинга и обновления модели
- Готовность работать 6 дней в неделю. Так работают сильнейшие AI-команды. Рост до $1B ARR за 18 месяцев требует такого темпа. За год здесь получаешь опыт, на который в бигтехе уходят несколько лет.
📍 Офис в Алматы ·
Полная поддержка с релокацией (финансовая + операционная)
💸 $100-350k в год + опционная программа
Подать заявку - @didarnrkr 🚀 | 4 400 |
| 11 | DuckDB 2.0
⚡️ Async I/O: S3 в 2–3 раза быстрее
Раньше каждый поток по очереди качал данные и декодировал их, поэтому CPU простаивал, пока ждал сеть.
Теперь отдельный пул заранее подгружает row groups, а воркеры только декодируют. Запрос к 2,2 ГБ Parquet: 18,8 с → 7,7 с. Включено по умолчанию, в коде ничего менять не нужно (read_ahead_depth). Тысячи мелких файлов по 1 МБ это не спасёт, так что фундамент всё ещё важен.
🌳 Рекурсивные CTE: глубокие иерархии летают
Раньше на каждом шаге рекурсии таблица перечитывалась целиком. Теперь она читается один раз, а дальше идут точечные lookup'ы.
Обход истории из 20 000 коммитов: было от 1,8 до 16 с, стало 0,1 с. Хорошо подходит для git-истории, lineage, тредов и BOM. Для неглубокой оргструктуры разницы почти не будет.
📦 VARIANT вместо JSON
JSON-поля с постоянной структурой автоматически раскладываются в настоящие колонки (shredding), а остальное хранится бинарным хвостом.
Результат: в 2,7 раза меньше места, чем у JSON-строки, и фильтры примерно в 6 раз быстрее, почти как у типизированных колонок.
Есть нюанс: касты списков пока медленные, а поле, которое то число, то строка, в колонку не попадёт. | 5 389 |
| 12 | День из жизни ребенка 9 лет:
Сегодня не пошел в школу, чтобы пропустить урок «сексуального образования» и остался дома, чтобы с помощью Claude Code создавать игру/мир в Unreal Engine с помощью MCP.
Я показал как можно скачивать элементы из fab (каталог вещей) и добавлять их в мир и игру.
А что вы в 9 лет делали?✋ | 4 346 |
| 13 | На этой неделе у нас случилась победа. Настоящая, с письмом на целый орг.
Сканер безопасности (с AI, конечно) нашёл две старые виртуальные машины.
Это были build-агенты, на которых когда-то собирали приложения. Ими давно никто не пользовался.
Дальше начинается Enterprise. Чтобы выключить две VM, понадобилось:
- Security нашли уязвимости и подключили Ops;
- три команды (Ops, разработка и Data & Analytics) оценили влияние и зависимости и разработали план безопасного вывода из эксплуатации;
- Ops выключили машины вечером. Окончательное удаление запланировано через две недели.
Итого четыре команды, план и поэтапный вывод ради двух виртуалок.
По отчёту сканера ушло 22 Critical, 123 High, 79 Medium и 8 Low. Звучит как подвиг, пока не вспоминаешь, что это одни и те же непропатченные пакеты на двух машинах, которые никому не были нужны.
Но главное здесь реакция руководства.
Директор SOC:
«Полностью согласен. В этом и красота управления уязвимостями: одно действие по исправлению устраняет множество экземпляров одной и той же уязвимости. Отличная работа, команда! Я ценю это взаимодействие и командную работу. Так держать.»
Вице-президент:
«Великолепно! Это потрясающая демонстрация командной работы и взаимодействия.»
Я тоже есть в списке благодарностей😃️️️️️️
Без такого Enterprise наши рабочие будни были бы серые и однообразные... | 4 588 |
| 14 | Несмотря ни на что в конце ноября состоится Матемаркетинг 📈
Замечательный ивент с замечательными спикерами 🍪🍪
26–27 ноября в Москве в девятый раз пройдёт техническая конференция для аналитиков, performance-маркетологов и продакт-менеджеров. Онлайн-день — 17 ноября. Более 2000 участников, 100+ докладов и мастер-классов. Партнёры — VK, Avito Tech, Сбер, Magnit Tech, ИТ-холдинг Т1, ТехВилл, UIS, Лемана Тех, UX Rocket и другие компании.
Среди спикеров:
• Валерий Бабушкин (ВР): как прогресс мультимодальных моделей влияет на профессию DS/DA/ML
• Роман Бунин (Nebius): как измерить внедрение ИИ в большой компании
• Денис Пехтерев (Т-Банк): ИИ-операционная система руководителя из 17 ролей и 13 процедур
• Радослав Нейчев (МФТИ): рабочие сценарии для агентов на открытом стеке, без платных подписок
• Сергей Бажин (ИТ-холдинг Т1): агентный кодинг на десятки тысяч строк без ручной проверки
Отдельный блок программы посвящён доверию к результатам ИИ. Участники разберут, как тестировать ИИ-фичи с непредсказуемыми ответами, проверять работу агентов, выполняющих аналитические задачи, и готовить для них контекст — выстраивать семантический слой, оценивать полноту и качество информации. Маркетологи узнают, как измерять присутствие бренда в ответах языковых моделей в рамках GEO.
Между докладами — нетворкинг, карьерные консультации и активности на стендах партнёров.
Место: Москва, кластер «Ломоносов» МГУ, Раменский бульвар, 1.
Программа 🔫
Билеты и регистрация 🎮 | 5 293 |
| 15 | С вас идея, а Т-Банк за нее заплатит
В Т-Банке ищут трейдеров, разработчиков и тех, кто просто увлекается инвестициями. Зарегистрируйтесь на программу «Инвест. Премаркет» до 11 ноября.
Ваши AI-сценарии для бизнеса смогут побороться за призовой фонд программы — 2 500 000 ₽. А сами идеи Т-Банк поможет масштабировать и сделать частью бизнеса.
Успейте подать заявку до 11 ноября | 6 273 |
| 16 | Ну а если хотите кринжануть, можно делать Analytics Engineering на Microsoft Fabric.
PS новая книга вышла | 6 144 |
| 17 | ИИ-агент отвечает настолько точно, насколько готовы ваши данные. Как понять, что они готовы?
Разберёмся 23 октября в Москве на Fine Day 2026, офлайн-конференции о переходе от self-service BI к AI-native аналитике.
💡 В программе:
• дискуссия с руководителями аналитики ПИК, ДИКСИ, СИБУР и АвтоВАЗ: что нужно данным и командам для работы с ИИ
• миграция с Qlik и Power BI на FineBI, в том числе с помощью ИИ-агентов
• BI-система vs LLM: какие задачи кому отдавать, опыт Мосбиржи
демо FineBI 7.0 и ИИ-агентов Dora, можно принести свой сценарий
Участие бесплатное. После регистрации получите чек-лист «Готовы ли ваши данные к ИИ-агенту?» из 25 вопросов.
👉 Регистрация: https://clck.ru/3WUPuR
Реклама. ООО «ГлоуБайт Аналитические Решения». ИНН 9729274905. erid: 2RanykwYevw | 6 686 |
| 18 | Dbt summit можно посмотреть on-demand https://www.getdbt.com/dbt-summit
PS Если вы хотите работать в дата аналитике и инжиниринге, станьте экспертом в dbt, это как раз тот случай, когда 20% дает 80% результата
Чтобы пользоваться dbt нужно
• уметь CLI
• уметь git (GitHub/GitLab)
• понимать CI/CD
• SQL прям быть экспертом
• документация и качество данных
• основы эффективности аналитических хранилищ данных
• основы ETL/ELT
• моделирование данных
• немного инфраструктуры, если будет вопрос как хостить dbt core
• оркестрация
Даже если вы не будете работать с dbt, эти все знания вам упростят жизнь и помогут понять как лучше строить решения. | 5 563 |
| 19 | Я настроил для себя Excalidraw локально и добавил MCP сервер, чтобы можно было делать такие картинки с одного промта.
Вы можете запустить у себя и вас появится нативно MacOS приложение: https://github.com/surfalytics/excalidraw-local/blob/main/README-RU.md (иснтрукуция на русском для MacOS). Может можно и для Windows добавить.
Я решил для себя использовать его как sticky notes пространство и в лучших практиках time management выгрузить из головы все-все задачки и отсортировать их. | 5 306 |
| 20 | Сравните модели GigaChat на своей задаче в GigaPlatform AI Studio
Это среда, в которой можно менять настройки моделей и проверять ответы на своих запросах.
В AI Studio можно:
• Сравнить ответы двух моделей на одном запросе.
• Сравнить ответы при разной температуре.
• Настроить системный промпт и проверить его на нескольких запросах.
• Сохранить промпт и историю диалога в JSON.
Пять рабочих сценариев разобрали в статье.
Попробуйте AI Studio бесплатно и без ВПН. | 5 317 |
