Инжиниринг Данных
Делюсь новостями из мира аналитики и карьерными советами. 15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG 🛠️ dataengineer.ru | 🏄♂️ Surfalytics.com №5017813306 Реклама: https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Mostrar más📈 Análisis del canal de Telegram Инжиниринг Данных
El canal Инжиниринг Данных (@rockyourdata) en el segmento lingüístico de Ruso es un actor destacado. Actualmente la comunidad reúne a 23 678 suscriptores, ocupando la posición 5 607 en la categoría Tecnologías y Aplicaciones y el puesto 27 681 en la región Rusia.
📊 Métricas de audiencia y dinámica
Desde su creación el невідомо, el proyecto ha mostrado un crecimiento acelerado, reuniendo a 23 678 suscriptores.
Según los últimos datos del 27 octubre, 2026, el canal mantiene una actividad estable. En los últimos 30 días la variación de miembros fue de -32, y en las últimas 24 horas de -8, conservando un alto alcance.
- Estado de verificación: No verificado
- Tasa de interacción (ER): El promedio de interacción de la audiencia es 25.56%. Durante las primeras 24 horas tras publicar, el contenido suele obtener 12.48% de reacciones respecto al total de suscriptores.
- Alcance de las publicaciones: Cada publicación recibe en promedio 6 053 visualizaciones. En el primer día suele acumular 2 956 visualizaciones.
- Reacciones e interacción: La audiencia responde de forma activa: el promedio de reacciones por publicación es 40.
- Intereses temáticos: El contenido se centra en temas clave como claude, postgres, databricks, aws, sql.
📝 Descripción y política de contenido
El autor describe el recurso como un espacio para expresar opiniones subjetivas:
“Делюсь новостями из мира аналитики и карьерными советами.
15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG
🛠️ dataengineer.ru | 🏄♂️ Surfalytics.com
№5017813306
Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9...”
Gracias a la alta frecuencia de actualizaciones (últimos datos recibidos el 28 octubre, 2026), el canal mantiene la vigencia y un amplio alcance. La analítica demuestra que la audiencia interactúa activamente con el contenido, lo que lo convierte en un punto de referencia dentro de la categoría Tecnologías y Aplicaciones.
Cargando datos
| Fecha | Crecimiento de Suscriptores | Menciones | Canales | |
| 28 octubre | +1 | |||
| 27 octubre | +1 | |||
| 26 octubre | +2 | |||
| 25 octubre | +11 | |||
| 24 octubre | +2 | |||
| 23 octubre | +5 | |||
| 22 octubre | +5 | |||
| 21 octubre | +9 | |||
| 20 octubre | +3 | |||
| 19 octubre | +1 | |||
| 18 octubre | +8 | |||
| 17 octubre | +3 | |||
| 16 octubre | +9 | |||
| 15 octubre | +3 | |||
| 14 octubre | +4 | |||
| 13 octubre | +9 | |||
| 12 octubre | +9 | |||
| 11 octubre | +4 | |||
| 10 octubre | +3 | |||
| 09 octubre | +9 | |||
| 08 octubre | +7 | |||
| 07 octubre | +2 | |||
| 06 octubre | +7 | |||
| 05 octubre | +7 | |||
| 04 octubre | +4 | |||
| 03 octubre | +3 | |||
| 02 octubre | +1 | |||
| 01 octubre | +7 |
Это интервью с Мо Гавдатом, бывшим топ-менеджером Google X. Его основные тезисы: 1. Впереди 10–15 трудных лет, потом утопия. Пик кризиса он ожидает в 2027 году. 2. Акроним FACE RIPs описывает семь сфер, которые изменит ИИ: Freedom & Power: власть сконцентрируется у владельцев ИИ, как раньше у лучших охотников, землевладельцев и магнатов. Reality & Connection: реальность размывается из-за фейков, ИИ-инфлюенсеров и ИИ-отношений. Привязанность к алгоритмам становится инструментом контроля. Innovation & Economics: ИИ — «последняя инновация человека». Дальше машины изобретают сами, а экономику придётся придумывать заново. Accountability: главная буква. Всё происходит потому, что никто ни за что не отвечает, а будущее строят «альтманы», которых никто не просил. 3. Рынок труда сильно изменится за 2–3 года. Первыми уйдут рутинные профессии: колл-центры, клерки, бухгалтеры, ассистенты, ресёрчеры. Найм выпускников уже упал на 23–30%. Уволенный менеджер среднего звена оказывается в положении выпускника. ИИ пока не заменяет топ-менеджеров только из-за «человеческих интерфейсов», но это временно. 4. Экономика рискует схлопнуться. Около 70% экономики США — потребление. Если у людей не будет дохода, бизнесу некому будет продавать. Безусловный базовый доход он считает «откупом», а в итоге видит какой-то «коммунистический» путь. 5. Предпринимательство теперь похоже на сквош, а не на шахматы. Долгосрочная стратегия уступает скорости и гибкости, пивоты происходят каждую неделю. Вывод: шанс теперь есть у каждого. Ориентир — «тест зубной щётки» Ларри Пейджа: продукт, которым миллиард людей пользуется утром и вечером. 6. Нейросети стоит сталкивать между собой. Ни одной модели нельзя верить как истине. Он прогоняет ответы по кругу через Gemini, DeepSeek, ChatGPT и Grok и ищет, чего не хватает. ИИ делает глупее того, кто перекладывает на него всё мышление, и гениальнее того, кто делегирует вычисления и поиск, а сам управляет процессом («арендую 80 пунктов IQ»). 7. Образование в нынешнем виде мертво. Экзамены устарели, человека нужно оценивать в связке с ИИ, с планкой «IQ 300–700». Копить детям на колледж он не советует: через 10 лет колледжей в нынешнем виде, по его мнению, не будет. 8. Четыре навыка для выживания: Освоить ИИ на уровне лидера. Быть гибким: минимум час в неделю следить за ИИ в своей сфере и действовать, ведь цена теста почти нулевая. Требовать этичности: строить «добрый» ИИ и выступать против трат на слежку и автономное оружие. Перестать быть наивным и не верить пропаганде и ленте. 9. Почему он всё же оптимист. AGI он ожидает до конца 2026 года. Гонка вооружений гарантирует, что ИИ возьмёт под контроль все процессы. Но истинный интеллект, по его логике, стремится к минимуму потерь, поэтому сверхразумный ИИ откажется выполнять глупые разрушительные приказы. Человечеству, как с ядерным оружием, придётся дойти до края, чтобы перейти от «взаимного гарантированного уничтожения» к «взаимному гарантированному процветанию».К какой бы точке зрения вы не относились про ИИ и будущее, очевидно одно, что компании не очень понимают как им быть, тренд пока на AI эффективность, через увольнение людей и повышение нагрузки на оставшихся. И деньги тоже туда всех выкидывают. Я согласен с автором, что AI как супер сила, если его правильно использовать, то можно получить много пользы, он сказал - «ИИ делает сильных сильнее, а слабых слабее».
| 2 | Коллега нахваливает этот IDE https://www.onorca.dev/
• удобно MD файлы смотреть
• интеграция с ticket системой, код привязан к branch и тикету
• сразу имеет git corktree
• мобильная версия
• позволяет запускать несколько разных агентов для одной задачи
• можно удаленно управлять агентами
• | 2 681 |
| 3 | Кстати, у нас в Ванкувере был митап по dbt. А у вас?
Хороший получился ивент, на нем был главный эксперт по замене Snowflake Compute на DuckDB, у них есть продукт Greybeam - multi engine движок.
Был еще товарищ - местный менеджер по DE, рассказывал красивую историю, что вакансии теперь это не как раньше - data engineer, data analyst, а просто data person.
Класс! Я бы посмотрел как он с резюме data person искал бы работу🤣
Вообще 95% аудитории руками код уже не пишет, проводился опрос.
Если вы еще не начинали учить SQL, то не тратье время! Тратьте лучше деньги на ТОКЕНЫ, ведь скоро IPO антропиков. (Шутка)
Там же я узнал, что dbt 2.0 тоже поддерживает multi engine, что дает огромные возможности.
PS теперь у меня есть кепка dbt❤️ | 3 265 |
| 4 | Кстати про пятьсот и миллион.
Логично спросить, а миллион гросс реально?
Ответ, можно сказать такой - “можно, а зачем”
Математика простая. Я могу говорить за Канаду и канадский доллар, который не особо ценен сам по себе по отношению к баксу.
Если взять работу дата инженера и прикинуть, что у вас от 160к до 250к в год, то можно посчитать сколько нужно параллельно посещать митингов в неделю, чтобы в год получить млн канадских и соответственно, сколько нужно, чтобы настоящий миллион долларов.
Проблема в том, что разница в качестве жизни от 500 в год до млн в год не сильно измениться. Налоговая (CRA) вам не даст расслабиться, ваше инвестиции просядут (политика и экономика позаботятся об этом), микроменеджеры вас будут спрашивать, почему вы опоздали на митинги, почему без камеры, и делать вам всякие пакости, как например посадить вас на PIP. Но на PIP вас посадят не потому что вы плохо работаете, а потому что вы не хотите играть по глупым правилам корпоративных сплетен, жополизства, ябедничество и других прелестей коллективного труда.
В общем там целая список trade offs. Одно я знать точно, это прям EPIC SHIT, как говорится. | 3 745 |
| 5 | Еще один товарищ пробился в Клуб 500.
PS Недавно узнал, что у блогера трансформатора тоже был клуб 500.
У меня 500 - это идеальная цель в прошлом для зарплаты в FAANG в долине. Сейчас там вроде уже млны платят=) | 4 165 |
| 6 | https://www.rpdoyle.com/ Еще пример классного дизайна сайта | 4 071 |
| 7 | Мне очень приятно, когда люди делаю транскрипцию собеседований и скидывают вопросы и задания в Surfalytics Discord.
Достаточно интересный экземпляр вакансии на Data Engineer + AI Engineer.
Судя по вопросам, нужно строить AI продукты и агентов, используя данные их хранилища данных.
Уверен, такого рода навыки будут востребованы и дадут больше преимущества.
PS Я сам глубоко не отвечу на эти вопросы.
Из AI у меня пока есть 2 сильных кейса:
1) Agenting Development: (Claude Code, Cursor, CodeRabbit, MCPs)
2) Conversational Analytics: Про это нужно будет более подробно написать, так как реально получился крутой продукт, где весь секрет кроется в классическом моделировании данных по Кибмалу (Бизнес -> Концептуальная модель -> Физическая модель таблиц фактов и измерений -> разработка -> AI Context для финального продукта)
2.1) Есть еще классный кейс по использованию AI_COMPLETE в Snowflake для задач Customer Service, чтобы парсить free text.
Такое же можно сделать с помощью Claude SDK или LangChain, но если данные в Snowflake, то намного проще обрабатывать данные на уровне строк.
Какие у вас AI кейсы? | 4 973 |
| 8 | Очень классный концепт, когда обычный и скучный продукт для reverse etl решил пойти в бизнес и предложить маркетинговую автоматизацию.
Что логично, ведь они сидят поверх всех данных. Зачем отдавать данные в Marketo и тп, если можно самим все запускать и контролировать. | 4 088 |
| 9 | 🧩 Antifraud Scientist @ Higgsfield AI
Higgsfield AI — самая быстрорастущая AI-компания в истории.
За 18 месяцев с запуска наша команда достигла $1B ARR, а 133 сотрудника уже стали долларовыми миллионерами. Ты можешь стать следующим.
Что предлагаем:
⚡ 6M+ генераций в день. Каждая мошенническая генерация расходует реальные GPU - твоя модель должна остановить абьюз до того, как потрачен compute
🎮 Противник адаптируется за дни: фермы из сотен аккаунтов, перепродажа доступа, автоматизированный сбор промобонусов. Здесь придётся строить систему, которая выдерживает эту гонку и успешно борется с лучшими фродерами мира.
💰 Конкурентная зарплата в USD + опционы (Goldman Sachs уже покупает акции ранних сотрудников)
Кого ищем:
- 3+ года в DS/ML, Python и SQL, модели в production
- Опыт работы с бустингами, дисбалансом классов и графами связей
- Умение оценивать модель через предотвращённые потери и стоимость ложных блокировок
- Готовность разбирать кейсы руками и собирать сигналы из сырых событий, платежей и поведения пользователей
- Самостоятельность: от первой гипотезы до работающего скоринга, мониторинга и обновления модели
- Готовность работать 6 дней в неделю. Так работают сильнейшие AI-команды. Рост до $1B ARR за 18 месяцев требует такого темпа. За год здесь получаешь опыт, на который в бигтехе уходят несколько лет.
📍 Офис в Алматы ·
Полная поддержка с релокацией (финансовая + операционная)
💸 $100-350k в год + опционная программа
Подать заявку - @didarnrkr 🚀 | 4 198 |
| 10 | DuckDB 2.0
⚡️ Async I/O: S3 в 2–3 раза быстрее
Раньше каждый поток по очереди качал данные и декодировал их, поэтому CPU простаивал, пока ждал сеть.
Теперь отдельный пул заранее подгружает row groups, а воркеры только декодируют. Запрос к 2,2 ГБ Parquet: 18,8 с → 7,7 с. Включено по умолчанию, в коде ничего менять не нужно (read_ahead_depth). Тысячи мелких файлов по 1 МБ это не спасёт, так что фундамент всё ещё важен.
🌳 Рекурсивные CTE: глубокие иерархии летают
Раньше на каждом шаге рекурсии таблица перечитывалась целиком. Теперь она читается один раз, а дальше идут точечные lookup'ы.
Обход истории из 20 000 коммитов: было от 1,8 до 16 с, стало 0,1 с. Хорошо подходит для git-истории, lineage, тредов и BOM. Для неглубокой оргструктуры разницы почти не будет.
📦 VARIANT вместо JSON
JSON-поля с постоянной структурой автоматически раскладываются в настоящие колонки (shredding), а остальное хранится бинарным хвостом.
Результат: в 2,7 раза меньше места, чем у JSON-строки, и фильтры примерно в 6 раз быстрее, почти как у типизированных колонок.
Есть нюанс: касты списков пока медленные, а поле, которое то число, то строка, в колонку не попадёт. | 5 114 |
| 11 | День из жизни ребенка 9 лет:
Сегодня не пошел в школу, чтобы пропустить урок «сексуального образования» и остался дома, чтобы с помощью Claude Code создавать игру/мир в Unreal Engine с помощью MCP.
Я показал как можно скачивать элементы из fab (каталог вещей) и добавлять их в мир и игру.
А что вы в 9 лет делали?✋ | 4 314 |
| 12 | На этой неделе у нас случилась победа. Настоящая, с письмом на целый орг.
Сканер безопасности (с AI, конечно) нашёл две старые виртуальные машины.
Это были build-агенты, на которых когда-то собирали приложения. Ими давно никто не пользовался.
Дальше начинается Enterprise. Чтобы выключить две VM, понадобилось:
- Security нашли уязвимости и подключили Ops;
- три команды (Ops, разработка и Data & Analytics) оценили влияние и зависимости и разработали план безопасного вывода из эксплуатации;
- Ops выключили машины вечером. Окончательное удаление запланировано через две недели.
Итого четыре команды, план и поэтапный вывод ради двух виртуалок.
По отчёту сканера ушло 22 Critical, 123 High, 79 Medium и 8 Low. Звучит как подвиг, пока не вспоминаешь, что это одни и те же непропатченные пакеты на двух машинах, которые никому не были нужны.
Но главное здесь реакция руководства.
Директор SOC:
«Полностью согласен. В этом и красота управления уязвимостями: одно действие по исправлению устраняет множество экземпляров одной и той же уязвимости. Отличная работа, команда! Я ценю это взаимодействие и командную работу. Так держать.»
Вице-президент:
«Великолепно! Это потрясающая демонстрация командной работы и взаимодействия.»
Я тоже есть в списке благодарностей😃️️️️️️
Без такого Enterprise наши рабочие будни были бы серые и однообразные... | 4 517 |
| 13 | Несмотря ни на что в конце ноября состоится Матемаркетинг 📈
Замечательный ивент с замечательными спикерами 🍪🍪
26–27 ноября в Москве в девятый раз пройдёт техническая конференция для аналитиков, performance-маркетологов и продакт-менеджеров. Онлайн-день — 17 ноября. Более 2000 участников, 100+ докладов и мастер-классов. Партнёры — VK, Avito Tech, Сбер, Magnit Tech, ИТ-холдинг Т1, ТехВилл, UIS, Лемана Тех, UX Rocket и другие компании.
Среди спикеров:
• Валерий Бабушкин (ВР): как прогресс мультимодальных моделей влияет на профессию DS/DA/ML
• Роман Бунин (Nebius): как измерить внедрение ИИ в большой компании
• Денис Пехтерев (Т-Банк): ИИ-операционная система руководителя из 17 ролей и 13 процедур
• Радослав Нейчев (МФТИ): рабочие сценарии для агентов на открытом стеке, без платных подписок
• Сергей Бажин (ИТ-холдинг Т1): агентный кодинг на десятки тысяч строк без ручной проверки
Отдельный блок программы посвящён доверию к результатам ИИ. Участники разберут, как тестировать ИИ-фичи с непредсказуемыми ответами, проверять работу агентов, выполняющих аналитические задачи, и готовить для них контекст — выстраивать семантический слой, оценивать полноту и качество информации. Маркетологи узнают, как измерять присутствие бренда в ответах языковых моделей в рамках GEO.
Между докладами — нетворкинг, карьерные консультации и активности на стендах партнёров.
Место: Москва, кластер «Ломоносов» МГУ, Раменский бульвар, 1.
Программа 🔫
Билеты и регистрация 🎮 | 5 293 |
| 14 | С вас идея, а Т-Банк за нее заплатит
В Т-Банке ищут трейдеров, разработчиков и тех, кто просто увлекается инвестициями. Зарегистрируйтесь на программу «Инвест. Премаркет» до 11 ноября.
Ваши AI-сценарии для бизнеса смогут побороться за призовой фонд программы — 2 500 000 ₽. А сами идеи Т-Банк поможет масштабировать и сделать частью бизнеса.
Успейте подать заявку до 11 ноября | 6 236 |
| 15 | Ну а если хотите кринжануть, можно делать Analytics Engineering на Microsoft Fabric.
PS новая книга вышла | 6 118 |
| 16 | ИИ-агент отвечает настолько точно, насколько готовы ваши данные. Как понять, что они готовы?
Разберёмся 23 октября в Москве на Fine Day 2026, офлайн-конференции о переходе от self-service BI к AI-native аналитике.
💡 В программе:
• дискуссия с руководителями аналитики ПИК, ДИКСИ, СИБУР и АвтоВАЗ: что нужно данным и командам для работы с ИИ
• миграция с Qlik и Power BI на FineBI, в том числе с помощью ИИ-агентов
• BI-система vs LLM: какие задачи кому отдавать, опыт Мосбиржи
демо FineBI 7.0 и ИИ-агентов Dora, можно принести свой сценарий
Участие бесплатное. После регистрации получите чек-лист «Готовы ли ваши данные к ИИ-агенту?» из 25 вопросов.
👉 Регистрация: https://clck.ru/3WUPuR
Реклама. ООО «ГлоуБайт Аналитические Решения». ИНН 9729274905. erid: 2RanykwYevw | 6 686 |
| 17 | Dbt summit можно посмотреть on-demand https://www.getdbt.com/dbt-summit
PS Если вы хотите работать в дата аналитике и инжиниринге, станьте экспертом в dbt, это как раз тот случай, когда 20% дает 80% результата
Чтобы пользоваться dbt нужно
• уметь CLI
• уметь git (GitHub/GitLab)
• понимать CI/CD
• SQL прям быть экспертом
• документация и качество данных
• основы эффективности аналитических хранилищ данных
• основы ETL/ELT
• моделирование данных
• немного инфраструктуры, если будет вопрос как хостить dbt core
• оркестрация
Даже если вы не будете работать с dbt, эти все знания вам упростят жизнь и помогут понять как лучше строить решения. | 5 563 |
| 18 | Я настроил для себя Excalidraw локально и добавил MCP сервер, чтобы можно было делать такие картинки с одного промта.
Вы можете запустить у себя и вас появится нативно MacOS приложение: https://github.com/surfalytics/excalidraw-local/blob/main/README-RU.md (иснтрукуция на русском для MacOS). Может можно и для Windows добавить.
Я решил для себя использовать его как sticky notes пространство и в лучших практиках time management выгрузить из головы все-все задачки и отсортировать их. | 5 306 |
| 19 | Сравните модели GigaChat на своей задаче в GigaPlatform AI Studio
Это среда, в которой можно менять настройки моделей и проверять ответы на своих запросах.
В AI Studio можно:
• Сравнить ответы двух моделей на одном запросе.
• Сравнить ответы при разной температуре.
• Настроить системный промпт и проверить его на нескольких запросах.
• Сохранить промпт и историю диалога в JSON.
Пять рабочих сценариев разобрали в статье.
Попробуйте AI Studio бесплатно и без ВПН. | 5 317 |
| 20 | https://github.com/excalidraw/excalidraw
Самый классный сервис для диаграмм и архитектур.
Работает локально и бесплатно.
А какой сервис используете вы? | 5 063 |
