Инжиниринг Данных
Делюсь новостями из мира аналитики и карьерными советами. 15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG 🛠️ dataengineer.ru | 🏄♂️ Surfalytics.com №5017813306 Реклама: https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
显示更多📈 Telegram 频道 Инжиниринг Данных 的分析概览
频道 Инжиниринг Данных (@rockyourdata) 俄语 语言赛道中的 是活跃参与者。目前社区聚集了 23 712 名订阅者,在 技术与应用 类别中位列第 5 476,并在 俄罗斯 地区排名第 27 501 位。
📊 受众指标与增长动态
自 невідомо 创建以来,项目保持高速增长,吸引了 23 712 名订阅者。
根据 05 十月, 2026 的最新数据,频道保持稳定运转。过去 30 天订阅人数变化为 -65,过去 24 小时变化为 3,整体触达仍然可观。
- 认证状态: 未认证
- 互动率 (ER): 平均受众互动率为 17.00%。内容发布后 24 小时内通常能获得 10.73% 的反应,占订阅者总量。
- 帖子覆盖: 每篇帖子平均可获得 4 030 次浏览,首日通常累积 2 545 次浏览。
- 互动与反馈: 受众积极参与,单帖平均反应数为 30。
- 主题关注点: 内容集中在 claude, postgres, databricks, aws, sql 等核心主题上。
📝 描述与内容策略
作者将该频道定位为表达主观观点的平台:
“Делюсь новостями из мира аналитики и карьерными советами.
15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG
🛠️ dataengineer.ru | 🏄♂️ Surfalytics.com
№5017813306
Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9...”
凭借高频更新(最新数据采集于 06 十月, 2026),频道始终保持新鲜度与高覆盖。分析显示受众积极互动,使其成为 技术与应用 类别中的关键影响点。
数据加载中...
| 日期 | 订阅者增长 | 提及 | 频道 | |
| 06 十月 | +2 | |||
| 05 十月 | +7 | |||
| 04 十月 | +4 | |||
| 03 十月 | +3 | |||
| 02 十月 | +1 | |||
| 01 十月 | +7 |
▶️метаслой данных и новые требования к Data Governance ▶️миграция корпоративных хранилищ ▶️методы вычислительных хранилищ в облаке ▶️защита чувствительных данных при работе с LLMА еще вас ждут хардовые доклады про инфраструктуру и разработку, технозоны, воркшопы и много нетворкинга. Количество офлайн-мест ограничено, успейте зарегистрироваться
| 2 | 没有文字... | 3 180 |
| 3 | Столько хотел рассказать, но не успел:) В след раз уже | 4 104 |
| 4 | Народ жгет с AI🙌
PS Сегодня вечером можно выпить сидорка в Seattle на Lake Union, там сейчас проходи Seattle Space Week и я хочу сходить на их Symposium, и сессии для стартапов и AI Manufacturing. | 5 013 |
| 5 | Насколько быстро сейчас вендоры двигаются. Только появилась новая модель Jev, а Omni BI уже добавил фичи https://docs.omni.co/demos/2026/20260925
Omni сейчас прям очень hot! Но дорогой, как Sigma BI + токены есть
Я добавил еще настройки LLM в Omni. Они выдают доступ к подписке и отдельно платим. | 4 694 |
| 6 | ИИ-агент за пару кликов — создаем персонального помощника без кода
Запустить ИИ-агента теперь можно в Agents Space от Cloud.ru. Это пространство в формате чата, где вы легко создать агента и подключить к нему нужные сервисы.
Внутри:
• ИИ-агенты для решения повседневных задач
- Возможность создать собственного агента под конкретные задачи
- Популярные ИИ-модели на выбор: Kimi K2.5, Qwen 3.6-35B-A3B, Claude Opus 4.8 и другие
- Коннекторы к почте, календарю и другим сервисам
При этом не нужно кодить, настраивать модели, серверы и среду.
Попробовать можно здесь | 4 122 |
| 7 | Вот это я понимаю персональная страница созданная с Claude
https://felixrieseberg.com/ | 4 251 |
| 8 | Переходим к новостям про Vibe Coding.
Благодаря нему, у меня появлась возможность добавить много ништячков в Surfalytics.
Несколько человек согласились делать Q&A и сразу чинят, добавляют контент с Claude Code и делают PR в main, смотрят в Supabase и Netlify. Все стали Front/Back разработчиками без опыта.
А кто-то решил добавить свой end-to-end курс по System Design.
Цель просто собрать все вместе и дать возможность автономного обучения. | 4 267 |
| 9 | Пост выше с советами показал, что человеку сложно меняться. Как бы ни хотели и ни мечтали, очень сложно поменять привычки. Одним пост зашёл — именно советы от проактивного человека. Его деятельность мы здесь не рассматриваем, она out of scope, как говорится.
Другим категорически не понравился. Для меня это лишь подтверждение того, что человеку очень сложно меняться. Даже если для одних это очевидные вещи, для других это «дичь» и «зашквар», и сразу находятся какие-то причины и факты, почему это именно так, а не иначе.
В какой-то степени за последние лет 8 я часто общался с людьми с позиции эксперта по поиску работы, построении карьеры, и видел много ситуаций и примеров — у меня уже «глаз намётан», чтобы понять, готов ли человек меняться.
Условно почти все хотят жить лучше, зарабатывать больше, но не все готовы для этого напрягаться. Всегда находится вагон оправданий и причин. Сейчас даже ИИ может написать вам личный план развития, но следовать ему будет долго, скучно и сложно, и никаких гарантий это не даёт.
Было приятно почитать комментарии, которые затронули весь спектр эмоций у подписчиков, а кто-то даже отписался.
Будьте добры друг к другу и помогайте по возможности!🍪🍪 | 3 513 |
| 10 | Не жалуйся на систему, а разумно подстраивай себя под обстоятельства, чтобы получить преимущество и эксплуатировать устройство вселенной. Это куда более продуктивный подход. | 3 593 |
| 11 | Увидел сегодня советы, как стать лучше и успешней, ничего нового, но хочу вам напомнить, если вдруг вы не знаете как быть и с чего начать:
Было бы желание, а поднять свои доходы с низкой базы довольно легко. Из 100 т.р. в мес дорасти до 500-1000 займет не очень много времени, не более года.
Инструкция следующая:
1. Перестать общаться с кем-либо, кто не нужен тебе для решения задач развития, и начать общаться только с теми, кто реально вкалывает и получает результат. Друзья будут обижаться, но мы же решили стать другим человеком? Без жертв тут не обойтись.
2. Перестать тратить время на приятные расслабляющие вещи и начать тратить время исключительно на решение финансовых задач. Выработать у себя привычку заниматься только делом и всё время думать только о деле. Отдохнем когда-нибудь потом, когда будет результат.
3. Бросить пить, перестать болтаться по заведениям, перестать торчать на дофамине — посиделки, чиловые вечера у телека, экстремистские инстаграмы, сериалы — всё отвлекающее дерьмо надо убрать из жизни и не тратить на него время.
4. Каждый день надо думать о том, что нужно сделать для решения основной задачи (х2 - х10 роста от текущего дохода): откуда складывается текущий доход, как и насколько реально в текущей конторе/системе/структуре его получить и что для этого надо делать. Либо двигаться в другую контору/систему/структуру, выбрать, в какую, и далее делать попытки.
5. «Хотелки руководства», которые сейчас кажутся бредовыми, надо воспринимать иначе. Задавать себе вопрос — кто в моей структуре продвигается выше по карьерной лестнице и почему, и делать то же самое. Выяснить причины, по которым начальство двигает кого-то наверх, и стать самым важным и нужным кандидатом для продвижения. Если в твоей структуре наверх двигаются только родственники и любовницы начальника, то выбрать другую структуру. Но это редкость. Кому-то ведь надо работать. Стань самым полезным. Требуй компенсации за свой труд.
6. Звучит смешно и инфоцыгански, но для заработка в 500 т.р. в месяц в России и тем более в Москве реально достаточно просто захотеть. Обычно те, у кого не получается, они не очень-то и хотят. Думают, что хотят, говорят всем, что хотят, но просто взять и потратить всё свободное время на решение задачи — нет. На это они не готовы.
7. Каждый день делай какой-то продвигающее лично тебя вперед дело. Не рутинное, не по дедлайну, не потому, что начальник сказал, а лично своё. Хотя бы час потрать на такое дело. Которое не торопит, которое не горит, а из категории долгосрочных. И не обманывай себя.
Пусть не будет на неделе дней без хотя бы одного такого выполненного дела. Выделяй ежедневную квоту на профессиональны рост и развитие.
Что-то понять, с кем-то полезным встретится, чему-то научиться, что-то попробовать. То, что двигает тебя вперёд.
Остальное всё как-то поделается само, на остальное можешь забить.
Сделай то, что чувствуешь важным, хотя бы раз в день.
Главное, чтобы это было в позитивную, богоугодную сторону. И жизнь изменится.
8. Стать профессионалом в том, что ты делаешь. Если профессионализм в твоем деле не дает требуемый доход, то выбери другую профессию, и стань профессионалом уже в ней. Даже пять лет усилий стоит того, на тысячу процентов. Я за жизнь сменил множество профессий, и дела идут только лучше.
Когда-то я бросил покер после того, как сравнил доходы топ-10 профессиональных покеристов страны с топ-10 банкиров страны. Сравнение было не в пользу покеристов. Выбери область, где усилия компенсируются соответствующей отдачей. Не трать время на мышиную возню.
9. Каждый день тренируйся. Тренировка это когда не хочется делать и тошнит, а ты делаешь и развиваешься.
Например, если у тебя плохо с продажами, то значит этим и надо бы заняться, это продвинет вперед (через практику). Находи свои слабые компетенции и решительно бросайся их исправлять.
Ничего не бойся! Делай всё, что можно и нельзя (только в рамках закона, конечно же). Никто не совладает с одержимым человеком, который реально захотел заработать денег. | 3 527 |
| 12 | И еще одно видео по теме Jev CEO: I made ChatGPT, now I'm building what's next, оно датировано 1 июля 2026 года, еще до релиза Jev.
В нам очень хорошо рассказывают про проблемы с современными моделями - "Why do all LLMs require a human in the loop? The simple answer is we literally put them in the loop" — то есть человек буквально был встроен в процесс обучения через RLHF (Reinforcement Learning from Human Feedback).
Логика RLHF проста: собрать человеческие предпочтения о том, какие ответы модели нравятся людям, а затем оптимизировать модель так, чтобы она давала ответы, которые получают высокую оценку по этим предпочтениям. Цель этого цикла — понравиться человеку, а не автономно и надёжно выполнить программный процесс без присмотра.
Отсюда вытекает ключевая проблема: модели, обученные через RLHF, отлично умеют "выглядеть правильными" (look right), но это не то же самое, что "быть правильными" (be right). Алмейда прямо называет это дизайн-фичей, а не багом: "overpromising is a feature, this is by design" — модель обучена звучать уверенно независимо от того, насколько она права, потому что именно уверенные и убедительные ответы получают более высокую оценку от людей-разметчиков.
Вместо RLHF, Jev обучается новым методом — RLCD (Reinforcement Learning for Calibrated Decisions). Цель этого метода — не понравиться человеку, а научить модель выдавать эпистемически честные, калиброванные вероятности: если модель говорит "70% уверенности", это должно реально означать, что она права в 70% подобных случаев
Благодаря этому Jev не генерирует текст, а выдаёт типизированные решения (choice, score, noul) с прикреплённой откалиброванной вероятностью, которые код может использовать напрямую — без человека, проверяющего каждый вывод. Разработчик сам задаёт порог уверенности: если вероятность выше порога — программа выполняет действие автоматически; если ниже — передаёт решение человеку. Так неопределённость становится управляемым параметром программы, а не источником непредсказуемого поведения.
Надеюсь вам стало понятней, как и мне. Думаю в скором времени у Anthropic и OpenAI появятся свои модели System 1 и нам не нужно будет в ручную строить решения, как в прошлом посте. | 3 361 |
| 13 | Вы уже слышали про новую фронтир-модель Jev?
Чтобы лучше понять, для чего она нужна и как её использовать, можете посмотреть видео Jev will 10x your Claude Code.
Мне понравилось, как автор ссылается на книгу "Думай медленно, решай быстро" Даниэля Канемана.
Jev — это система 1, она максимально быстро выдаёт ответ, но ответ простой: не текст, а типизированное решение (choice, score или noul/вероятность), выбранное из заранее заданных вами вариантов, с калиброванной вероятностью уверенности.
Она не рассуждает пошагово и не пишет объяснений — просто мгновенно "судит" ситуацию, как человек делает быструю интуитивную оценку
Система 2 — это традиционные модели, такие как Claude и ChatGPT.
Они рассуждают токен за токеном, могут писать код, объяснения, вести диалог, но делают это медленнее и дороже.
Если вы уже работали с моделями Claude, то принцип использования Jev будет понятен: модель очень крутая и недорогая, и она может сильно улучшить бизнес-приложения там, где нужны быстрые типовые решения, а не генерация текста.
Из видео и связанных материалов можно выделить такие use cases:
Компактификация контекста в Claude Code — Jev оценивает вывод инструментов (Bash, Read, Grep и т.д.) на релевантность текущей задаче и решает, что оставить, а что сжать/удалить перед отправкой в основную модель, экономя контекстное окно;
Роутинг моделей и уровня "мышления" — Jev определяет сложность задачи и выбирает, какую модель (или режим reasoning) использовать для конкретного запроса в Claude Code / Codex, снижая расходы (сообщается о снижении затрат примерно на 60% в одном из проектов)
Ревью кода — многоэтапный ревьюер, где Jev оценивает корректность, безопасность, надёжность, совместимость и риск тестов, назначает уровень серьёзности и предлагает ревьюера — без использования генеративной модели;
Защита агентов (guard) — Jev выступает в роли фильтра против prompt injection и опасных действий для Claude Code, Codex, Pi и других агентов
Быстрый супервизор — Jev управляет более медленными кодинг-агентами (например, Codex), принимая решения по тикетам, спецификациям и багрепортам;
Веб-агенты и браузерная автоматизация — например, агент для поиска авиабилетов, где Jev быстро решает, на какую кнопку нажать и куда перейти дальше;
Real-time приложения — благодаря задержке около 150 мс, решения Jev можно встраивать в игры (в одной из демонстраций Jev в реальном времени играет в Doom);
Map-Reduce поверх больших данных — благодаря низкой стоимости можно классифицировать огромные объёмы данных, искать релевантную информацию в больших корпусах или извлекать признаки для предсказаний.
Jev не бесплатный. Я к себе еще не добавил, так как у меня нет проблем с токсинами Claude. Но очень интересно, если качество возрастет, и я склоняюсь его добавить для факт-чекинга и для code review.
Пробовали уже? | 3 175 |
| 14 | Как понять, что агенты в команде реально заработали
Эффект от AI-агента распределен по сотне мелких задач: SQL тут, дашборд там, презентация, ответ продакту. В новом выпуске «Доверительного интервала» аналитики Яндекса рассказали, как они это измеряют у себя.
Схема такая:
— основные метрики — adoption (доля аналитиков, которые пользуются инструментами) и время сессий с агентами;
— взяли топ-10 самых активных пользователей;
— их средние показатели сделали целевым ориентиром для остальной команды.
И adoption здесь не самоцель, а важная практика на старте внедрения ИИ: сначала нужно, чтобы им начали пользоваться, и только потом смотреть на эффект. Ориентир при этом понятный и достижимый — это не абстрактная планка сверху, а уровень, которого коллеги уже добились на практике.
Из выпуска еще понравился пример «антиобучения» для менеджеров: им показали, как данные без описания приводят к неверным выводам, а затем — как выглядит корректная работа с хорошо описанной таблицей. Чтобы менеджеры могли самостоятельно получать ответы на свои вопросы, для них собирают набор проверенных SQL-запросов и каталог метрик. При этом результаты всё равно проходят проверку у аналитиков.
Открытый вопрос на следующие кварталы ставят так: как строить валидацию, когда self-service уйдёт в массы. Рабочая страховка на сегодня простая: результат агента всегда проверяет аналитик, а ответственность за вывод остаётся на человеке. | 3 947 |
| 15 | Наконец-то могу сказать, что накопленная дата имеет ценность. За 3 года (вот время летит-то) в Surfalytics в Discord мы накопили много ценных советов по поиску работы, резюме и тп. Это огромный объем информации и вручную сложно в нем ковыряться, но с помощью ИИ можно сделать ценный easy-going курс с примерами и цитатами. | 3 591 |
| 16 | AI конечно уже не тот;
У нас накопилось много ценной информации в Discord про лучшие практики поиска работы. Я настроил Airflow и DuckLake, чтобы вытащить всю историю и на базе нее сделать курс.
AI говорит “ай яй яй”, наверно это комплимент, ведь по честному работу практически не найти | 4 017 |
| 17 | Стоимость data stack растёт на границах между его компонентами
Когда загрузка, хранение, обработка и визуализация реализованы в отдельных системах, data-команда поддерживает не только сами инструменты, но и обмен между ними. Изменение источника, схемы данных или способа расчета затрагивает сразу несколько интеграций.
DataLens Platform объединяет основные этапы работы с данными. В основе находится lakehouse на S3 и Apache Iceberg. Trino отвечает за интерактивные запросы, Spark — за ресурсоемкие преобразования, Airflow — за оркестрацию процессов.
На уровне всей платформы работают каталог метаданных и общая модель доступа. Хранение и вычисления масштабируются отдельно.
ИИ-помощник становится еще одним способом использовать подготовленные данные: он помогает исследовать их, формировать SQL-запросы и строить визуализации. | 3 889 |
| 18 | На LinkediIn есть небольшой бесплатный курс (временно) - Build with AI: SQL AI Agents in Production
На примере SQL задачек автор использует AI агентов вместе с различными методами.
Я его не смотрел, но посмотрю, всего 1,5 часа.
Мне понравилась идея посмотреть его, чтобы понять, что можно в свое резюме закинуть, чтобы рассказывать как мы с SQL строим космические корабли делаем AI. | 3 796 |
| 19 | Последние пару недель я ковырял Azure Databricks с Claude Code.
Как известно у Databricks есть Unity каталог и много enterprise фич. А еще в Enterprise хотят использовать No Public Network и No Public IP, то есть все наглухо закрыто, даже между средами разработки.
Код инфраструктуры и declarative pipelines живет в Azure DevOps Repos и Pipelines.
Это какой-то enterprise стандарт по Microsoft, для тех кто любит страдать на работе.
Обычно с Claude я могу сделать что-угодно очень быстро в Airflow, Snowflake, dbt и других популярных решениях.
Но уже 3 недели я бьюсь с тем что есть, чтобы сделать так как надо мне. Он конечно делает, но какой ценой…
Любое изменение напоминает историю «хвост подняли, голова утонуло».
Я очень разочаровался в Databricks, нах@@вертили фич, да еще им название меняют каждые пол года, что даже лучшие LLM не справляются.
PS из интересного разобрался как запустить Claude Code если у вас нет прав админа и все API закрыты для всех LLM.
Решение оказалось через использование VMFusion на маке с Windows 11 ARM, настройки proxy в VSCode на локальный трафик для LLM. А потом можно делать enrolment этой VM и уже админские права не нужны. Такое решение подойдет для всех у кого можно делать Bring your own device и enrolment. | 4 046 |
| 20 | В Surfalytics придумал новую полезную фичу - mock собеседование system design перед реальным собеседованием. На вход у меня есть описание вакансии и вместе с ИИ я составлю примерную архитектуру и решения, которые использует компания и дальше уже провожу собеседование, которое максимально приближено к кейсам компании (к кейсам описания вакансии)
Проверил про AWS System Design, где подсветили несколько советов и решений.
https://youtu.be/2gTo-mdTBQw?si=xG_2Qhy_th-IxwsO | 4 535 |
