Инжиниринг Данных
Kanalga Telegram’da o‘tish
Делюсь новостями из мира аналитики и карьерными советами. 15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG 🛠️ dataengineer.ru | 🏄♂️ Surfalytics.com №5017813306 Реклама: https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Ko'proq ko'rsatish📈 Telegram kanali Инжиниринг Данных analitikasi
Инжиниринг Данных (@rockyourdata) Rus til segmentidagi kanali faol ishtirokchi. Hozirda hamjamiyat 23 687 obunachidan iborat bo'lib, Texnologiyalar & Aralashmalar toifasida 5 608-o'rinni va Rossiya mintaqasida 27 691-o'rinni egallagan.
📊 Auditoriya ko‘rsatkichlari va dinamika
невідомо sanasidan buyon loyiha tez o‘sib, 23 687 obunachiga ega bo‘ldi.
26 Oktabr, 2026 dagi oxirgi ma’lumotlarga ko‘ra kanal barqaror faollikka ega. Oxirgi 30 kunda obunachilar soni -34 ga, so‘nggi 24 soatda esa 0 ga o‘zgardi va umumiy qamrov yuqori darajada qolmoqda.
- Tasdiqlash holati: Tasdiqlanmagan
- Jalb etish (ER): Auditoriya o‘rtacha 25.45% darajada jalb etiladi. Nashrdan keyingi dastlabki 24 soatda kontent odatda umumiy obunachilar sonining 12.49% ini tashkil etuvchi reaksiyalarni to‘playdi.
- Post qamrovi: Har bir post o‘rtacha 6 030 marta ko‘riladi; birinchi sutkada odatda 2 960 ta ko‘rish yig‘iladi.
- Reaksiyalar va o‘zaro ta’sir: Auditoriya faol: har bir postga o‘rtacha 43 ta reaksiya keladi.
- Tematik yo‘nalishlar: Kontent claude, postgres, databricks, aws, sql kabi asosiy mavzularga jamlangan.
📝 Tavsif va kontent siyosati
Muallif resursni shaxsiy fikrni ifoda etish maydoni sifatida ta’riflaydi:
“Делюсь новостями из мира аналитики и карьерными советами.
15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG
🛠️ dataengineer.ru | 🏄♂️ Surfalytics.com
№5017813306
Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9...”
Yuqori yangilanish chastotasi (oxirgi ma’lumot 27 Oktabr, 2026 da olingan) sababli kanal doimo dolzarb va katta qamrovli bo‘lib qoladi. Analitika auditoriya kontent bilan faol hamkorlik qilishini, uni Texnologiyalar & Aralashmalar toifasidagi muhim ta’sir nuqtasiga aylantirishini ko‘rsatadi.
23 687
Obunachilar
Ma'lumot yo'q24 soatlar
-77 kun
-3430 kun
Postlar arxiv
23 683
Коллега нахваливает этот IDE https://www.onorca.dev/
• удобно MD файлы смотреть
• интеграция с ticket системой, код привязан к branch и тикету
• сразу имеет git corktree
• мобильная версия
• позволяет запускать несколько разных агентов для одной задачи
• можно удаленно управлять агентами
•
23 683
+3
Кстати, у нас в Ванкувере был митап по dbt. А у вас?
Хороший получился ивент, на нем был главный эксперт по замене Snowflake Compute на DuckDB, у них есть продукт Greybeam - multi engine движок.
Был еще товарищ - местный менеджер по DE, рассказывал красивую историю, что вакансии теперь это не как раньше - data engineer, data analyst, а просто data person.
Класс! Я бы посмотрел как он с резюме data person искал бы работу🤣
Вообще 95% аудитории руками код уже не пишет, проводился опрос.
Если вы еще не начинали учить SQL, то не тратье время! Тратьте лучше деньги на ТОКЕНЫ, ведь скоро IPO антропиков. (Шутка)
Там же я узнал, что dbt 2.0 тоже поддерживает multi engine, что дает огромные возможности.
PS теперь у меня есть кепка dbt❤️
23 683
Кстати про пятьсот и миллион.
Логично спросить, а миллион гросс реально?
Ответ, можно сказать такой - “можно, а зачем”
Математика простая. Я могу говорить за Канаду и канадский доллар, который не особо ценен сам по себе по отношению к баксу.
Если взять работу дата инженера и прикинуть, что у вас от 160к до 250к в год, то можно посчитать сколько нужно параллельно посещать митингов в неделю, чтобы в год получить млн канадских и соответственно, сколько нужно, чтобы настоящий миллион долларов.
Проблема в том, что разница в качестве жизни от 500 в год до млн в год не сильно измениться. Налоговая (CRA) вам не даст расслабиться, ваше инвестиции просядут (политика и экономика позаботятся об этом), микроменеджеры вас будут спрашивать, почему вы опоздали на митинги, почему без камеры, и делать вам всякие пакости, как например посадить вас на PIP. Но на PIP вас посадят не потому что вы плохо работаете, а потому что вы не хотите играть по глупым правилам корпоративных сплетен, жополизства, ябедничество и других прелестей коллективного труда.
В общем там целая список trade offs. Одно я знать точно, это прям EPIC SHIT, как говорится.
23 683
Еще один товарищ пробился в Клуб 500.
PS Недавно узнал, что у блогера трансформатора тоже был клуб 500.
У меня 500 - это идеальная цель в прошлом для зарплаты в FAANG в долине. Сейчас там вроде уже млны платят=)
23 683
Мне очень приятно, когда люди делаю транскрипцию собеседований и скидывают вопросы и задания в Surfalytics Discord.
Достаточно интересный экземпляр вакансии на Data Engineer + AI Engineer.
Судя по вопросам, нужно строить AI продукты и агентов, используя данные их хранилища данных.
Уверен, такого рода навыки будут востребованы и дадут больше преимущества.
PS Я сам глубоко не отвечу на эти вопросы.
Из AI у меня пока есть 2 сильных кейса:
1) Agenting Development: (Claude Code, Cursor, CodeRabbit, MCPs)
2) Conversational Analytics: Про это нужно будет более подробно написать, так как реально получился крутой продукт, где весь секрет кроется в классическом моделировании данных по Кибмалу (Бизнес -> Концептуальная модель -> Физическая модель таблиц фактов и измерений -> разработка -> AI Context для финального продукта)
2.1) Есть еще классный кейс по использованию AI_COMPLETE в Snowflake для задач Customer Service, чтобы парсить free text.
Такое же можно сделать с помощью Claude SDK или LangChain, но если данные в Snowflake, то намного проще обрабатывать данные на уровне строк.
Какие у вас AI кейсы?
23 683
Очень классный концепт, когда обычный и скучный продукт для reverse etl решил пойти в бизнес и предложить маркетинговую автоматизацию.
Что логично, ведь они сидят поверх всех данных. Зачем отдавать данные в Marketo и тп, если можно самим все запускать и контролировать.
23 683
🧩 Antifraud Scientist @ Higgsfield AI
Higgsfield AI — самая быстрорастущая AI-компания в истории.
За 18 месяцев с запуска наша команда достигла $1B ARR, а 133 сотрудника уже стали долларовыми миллионерами. Ты можешь стать следующим.
Что предлагаем:
⚡ 6M+ генераций в день. Каждая мошенническая генерация расходует реальные GPU - твоя модель должна остановить абьюз до того, как потрачен compute
🎮 Противник адаптируется за дни: фермы из сотен аккаунтов, перепродажа доступа, автоматизированный сбор промобонусов. Здесь придётся строить систему, которая выдерживает эту гонку и успешно борется с лучшими фродерами мира.
💰 Конкурентная зарплата в USD + опционы (Goldman Sachs уже покупает акции ранних сотрудников)
Кого ищем:
- 3+ года в DS/ML, Python и SQL, модели в production
- Опыт работы с бустингами, дисбалансом классов и графами связей
- Умение оценивать модель через предотвращённые потери и стоимость ложных блокировок
- Готовность разбирать кейсы руками и собирать сигналы из сырых событий, платежей и поведения пользователей
- Самостоятельность: от первой гипотезы до работающего скоринга, мониторинга и обновления модели
- Готовность работать 6 дней в неделю. Так работают сильнейшие AI-команды. Рост до $1B ARR за 18 месяцев требует такого темпа. За год здесь получаешь опыт, на который в бигтехе уходят несколько лет.
📍 Офис в Алматы ·
Полная поддержка с релокацией (финансовая + операционная)
💸 $100-350k в год + опционная программа
Подать заявку - @didarnrkr 🚀
23 683
+1
DuckDB 2.0
⚡️ Async I/O: S3 в 2–3 раза быстрее
Раньше каждый поток по очереди качал данные и декодировал их, поэтому CPU простаивал, пока ждал сеть.
Теперь отдельный пул заранее подгружает row groups, а воркеры только декодируют. Запрос к 2,2 ГБ Parquet: 18,8 с → 7,7 с. Включено по умолчанию, в коде ничего менять не нужно (read_ahead_depth). Тысячи мелких файлов по 1 МБ это не спасёт, так что фундамент всё ещё важен.
🌳 Рекурсивные CTE: глубокие иерархии летают
Раньше на каждом шаге рекурсии таблица перечитывалась целиком. Теперь она читается один раз, а дальше идут точечные lookup'ы.
Обход истории из 20 000 коммитов: было от 1,8 до 16 с, стало 0,1 с. Хорошо подходит для git-истории, lineage, тредов и BOM. Для неглубокой оргструктуры разницы почти не будет.
📦 VARIANT вместо JSON
JSON-поля с постоянной структурой автоматически раскладываются в настоящие колонки (shredding), а остальное хранится бинарным хвостом.
Результат: в 2,7 раза меньше места, чем у JSON-строки, и фильтры примерно в 6 раз быстрее, почти как у типизированных колонок.
Есть нюанс: касты списков пока медленные, а поле, которое то число, то строка, в колонку не попадёт.
23 683
+1
День из жизни ребенка 9 лет:
Сегодня не пошел в школу, чтобы пропустить урок «сексуального образования» и остался дома, чтобы с помощью Claude Code создавать игру/мир в Unreal Engine с помощью MCP.
Я показал как можно скачивать элементы из fab (каталог вещей) и добавлять их в мир и игру.
А что вы в 9 лет делали?✋
23 683
На этой неделе у нас случилась победа. Настоящая, с письмом на целый орг.
Сканер безопасности (с AI, конечно) нашёл две старые виртуальные машины.
Это были build-агенты, на которых когда-то собирали приложения. Ими давно никто не пользовался.
Дальше начинается Enterprise. Чтобы выключить две VM, понадобилось:
- Security нашли уязвимости и подключили Ops;
- три команды (Ops, разработка и Data & Analytics) оценили влияние и зависимости и разработали план безопасного вывода из эксплуатации;
- Ops выключили машины вечером. Окончательное удаление запланировано через две недели.
Итого четыре команды, план и поэтапный вывод ради двух виртуалок.
По отчёту сканера ушло 22 Critical, 123 High, 79 Medium и 8 Low. Звучит как подвиг, пока не вспоминаешь, что это одни и те же непропатченные пакеты на двух машинах, которые никому не были нужны.
Но главное здесь реакция руководства.
Директор SOC:
«Полностью согласен. В этом и красота управления уязвимостями: одно действие по исправлению устраняет множество экземпляров одной и той же уязвимости. Отличная работа, команда! Я ценю это взаимодействие и командную работу. Так держать.»Вице-президент:
«Великолепно! Это потрясающая демонстрация командной работы и взаимодействия.»Я тоже есть в списке благодарностей😃️️️️️️ Без такого Enterprise наши рабочие будни были бы серые и однообразные...
23 683
Несмотря ни на что в конце ноября состоится Матемаркетинг 📈
Замечательный ивент с замечательными спикерами 🍪🍪
26–27 ноября в Москве в девятый раз пройдёт техническая конференция для аналитиков, performance-маркетологов и продакт-менеджеров. Онлайн-день — 17 ноября. Более 2000 участников, 100+ докладов и мастер-классов. Партнёры — VK, Avito Tech, Сбер, Magnit Tech, ИТ-холдинг Т1, ТехВилл, UIS, Лемана Тех, UX Rocket и другие компании.
Среди спикеров:
• Валерий Бабушкин (ВР): как прогресс мультимодальных моделей влияет на профессию DS/DA/ML
• Роман Бунин (Nebius): как измерить внедрение ИИ в большой компании
• Денис Пехтерев (Т-Банк): ИИ-операционная система руководителя из 17 ролей и 13 процедур
• Радослав Нейчев (МФТИ): рабочие сценарии для агентов на открытом стеке, без платных подписок
• Сергей Бажин (ИТ-холдинг Т1): агентный кодинг на десятки тысяч строк без ручной проверки
Отдельный блок программы посвящён доверию к результатам ИИ. Участники разберут, как тестировать ИИ-фичи с непредсказуемыми ответами, проверять работу агентов, выполняющих аналитические задачи, и готовить для них контекст — выстраивать семантический слой, оценивать полноту и качество информации. Маркетологи узнают, как измерять присутствие бренда в ответах языковых моделей в рамках GEO.
Между докладами — нетворкинг, карьерные консультации и активности на стендах партнёров.
Место: Москва, кластер «Ломоносов» МГУ, Раменский бульвар, 1.
Программа 🔫
Билеты и регистрация 🎮
23 683
С вас идея, а Т-Банк за нее заплатит
В Т-Банке ищут трейдеров, разработчиков и тех, кто просто увлекается инвестициями. Зарегистрируйтесь на программу «Инвест. Премаркет» до 11 ноября.
Ваши AI-сценарии для бизнеса смогут побороться за призовой фонд программы — 2 500 000 ₽. А сами идеи Т-Банк поможет масштабировать и сделать частью бизнеса.
Успейте подать заявку до 11 ноября
23 683
Ну а если хотите кринжануть, можно делать Analytics Engineering на Microsoft Fabric.
PS новая книга вышла
23 683
ИИ-агент отвечает настолько точно, насколько готовы ваши данные. Как понять, что они готовы?
Разберёмся 23 октября в Москве на Fine Day 2026, офлайн-конференции о переходе от self-service BI к AI-native аналитике.
💡 В программе:
• дискуссия с руководителями аналитики ПИК, ДИКСИ, СИБУР и АвтоВАЗ: что нужно данным и командам для работы с ИИ
• миграция с Qlik и Power BI на FineBI, в том числе с помощью ИИ-агентов
• BI-система vs LLM: какие задачи кому отдавать, опыт Мосбиржи
демо FineBI 7.0 и ИИ-агентов Dora, можно принести свой сценарий
Участие бесплатное. После регистрации получите чек-лист «Готовы ли ваши данные к ИИ-агенту?» из 25 вопросов.
👉 Регистрация: https://clck.ru/3WUPuR
Реклама. ООО «ГлоуБайт Аналитические Решения». ИНН 9729274905. erid: 2RanykwYevw
23 683
Dbt summit можно посмотреть on-demand https://www.getdbt.com/dbt-summit
PS Если вы хотите работать в дата аналитике и инжиниринге, станьте экспертом в dbt, это как раз тот случай, когда 20% дает 80% результата
Чтобы пользоваться dbt нужно
• уметь CLI
• уметь git (GitHub/GitLab)
• понимать CI/CD
• SQL прям быть экспертом
• документация и качество данных
• основы эффективности аналитических хранилищ данных
• основы ETL/ELT
• моделирование данных
• немного инфраструктуры, если будет вопрос как хостить dbt core
• оркестрация
Даже если вы не будете работать с dbt, эти все знания вам упростят жизнь и помогут понять как лучше строить решения.
23 683
Я настроил для себя Excalidraw локально и добавил MCP сервер, чтобы можно было делать такие картинки с одного промта.
Вы можете запустить у себя и вас появится нативно MacOS приложение: https://github.com/surfalytics/excalidraw-local/blob/main/README-RU.md (иснтрукуция на русском для MacOS). Может можно и для Windows добавить.
Я решил для себя использовать его как sticky notes пространство и в лучших практиках time management выгрузить из головы все-все задачки и отсортировать их.
23 683
Сравните модели GigaChat на своей задаче в GigaPlatform AI Studio
Это среда, в которой можно менять настройки моделей и проверять ответы на своих запросах.
В AI Studio можно:
• Сравнить ответы двух моделей на одном запросе.
• Сравнить ответы при разной температуре.
• Настроить системный промпт и проверить его на нескольких запросах.
• Сохранить промпт и историю диалога в JSON.
Пять рабочих сценариев разобрали в статье.
Попробуйте AI Studio бесплатно и без ВПН.
23 683
https://github.com/excalidraw/excalidraw
Самый классный сервис для диаграмм и архитектур.
Работает локально и бесплатно.
А какой сервис используете вы?
23 683
Я понял чем мы сейчас занимаемся из-за повышенной нагрузки и использования AI агентов - reckless (data) engineering (безрассудный инжиниринг данных).
😎
