Data Engineer
Kanalga Telegram’da o‘tish
Дата-инженерия в схемах и мемах По всем вопросам — @mobiledeveloper_bot
Ko'proq ko'rsatish477
Obunachilar
-124 soatlar
-27 kun
-230 kun
Ma'lumotlar yuklanmoqda
O'xshash kanallar
Ma'lumot yo'q
Muammo bormi? Iltimos, sahifani yangilang yoki bizning qo'llab-quvvatlash boshqaruvchimizga murojaat qiling>.
Taglar buluti
Ma'lumot yo'q
Muammo bormi? Iltimos, sahifani yangilang yoki bizning qo'llab-quvvatlash boshqaruvchimizga murojaat qiling>.
Kirish va chiqish esdaliklari
---
---
---
---
---
---
Obunachilarni jalb qilish
Oktabr '26Okt '26
Oktabr '26
+187
0 kanalda
Sentabr '260
0 kanalda
Get PRO
Avgust '260
0 kanalda
Get PRO
Iyul '260
0 kanalda
Get PRO
Iyun '260
0 kanalda
Get PRO
May '260
0 kanalda
Get PRO
Aprel '260
0 kanalda
Get PRO
Mart '260
0 kanalda
Get PRO
Fevral '260
1 kanalda
Get PRO
Yanvar '260
0 kanalda
Get PRO
Dekabr '250
1 kanalda
Get PRO
Noyabr '250
3 kanalda
Get PRO
Oktabr '250
1 kanalda
Get PRO
Sentabr '250
0 kanalda
Get PRO
Avgust '250
0 kanalda
Get PRO
Iyul '250
0 kanalda
Get PRO
Iyun '250
2 kanalda
Get PRO
May '250
0 kanalda
Get PRO
Aprel '250
0 kanalda
Get PRO
Mart '250
0 kanalda
Get PRO
Fevral '250
0 kanalda
Get PRO
Yanvar '250
1 kanalda
Get PRO
Dekabr '240
0 kanalda
Get PRO
Noyabr '240
0 kanalda
Get PRO
Oktabr '240
0 kanalda
Get PRO
Sentabr '240
0 kanalda
Get PRO
Avgust '240
0 kanalda
Get PRO
Iyul '240
0 kanalda
Get PRO
Iyun '240
0 kanalda
Get PRO
May '240
0 kanalda
Get PRO
Aprel '240
0 kanalda
Get PRO
Mart '240
0 kanalda
Get PRO
Fevral '240
0 kanalda
Get PRO
Yanvar '240
0 kanalda
Get PRO
Dekabr '230
0 kanalda
Get PRO
Noyabr '23
+10
0 kanalda
Get PRO
Oktabr '23
+291
0 kanalda
| Sana | Obunachilarni jalb qilish | Esdaliklar | Kanallar | |
| 30 Oktabr | 0 | |||
| 29 Oktabr | 0 | |||
| 28 Oktabr | 0 | |||
| 27 Oktabr | 0 | |||
| 26 Oktabr | 0 | |||
| 25 Oktabr | 0 | |||
| 24 Oktabr | 0 | |||
| 23 Oktabr | 0 | |||
| 22 Oktabr | 0 | |||
| 21 Oktabr | 0 | |||
| 20 Oktabr | 0 | |||
| 19 Oktabr | 0 | |||
| 18 Oktabr | 0 | |||
| 17 Oktabr | 0 | |||
| 16 Oktabr | 0 | |||
| 15 Oktabr | 0 | |||
| 14 Oktabr | 0 | |||
| 13 Oktabr | 0 | |||
| 12 Oktabr | 0 | |||
| 11 Oktabr | 0 | |||
| 10 Oktabr | 0 |
Kanal postlari
| 2 | «Даже у технических специалистов без управленческой роли время встреч выросло на 16% за год»
Комментировать это - только портить… То, о чем все время говорили большевики, наконец-то, свершилось…
https://t.me/book_cube/5077 | 255 |
| 3 | 2️⃣3️⃣✖️0️⃣✖️2️⃣6️⃣
🦀 Big Data дайджест · 22–23 сентября 2026
🍄 CLICKHOUSE
• На этой неделе вышел «осенний» релиз ClickHouse 26.9: 56 новых фич, 135 оптимизаций производительности, 464 багфикса. Из вкусного: жёсткие лимиты на размер и число таблиц (max_table_size_rows / max_tables) — прямая заявка на мультитенантные сервисы; parallel replicas научились читать Merge-таблицы; вся семья SQL-стандартных функций линейной регрессии (regr_slope, regr_intercept, regr_r2…) с теми же именами, что в PostgreSQL/Oracle/Snowflake — запросы портируются as is; bracket-синтаксис для JSON-путей вида json['user']['name']; режим exclusive у S3Queue без координации через Keeper. Разбор релиза: https://presentations.clickhouse.com/2026-release-26.9/
• Mike Scarpelli — бывший CFO Snowflake и ServiceNow — вошёл в совет директоров ClickHouse Inc. Привлечение финансиста такого калибра обычно читают как подготовку к серьёзным корпоративным шагам — за компанией определённо что-то планируют. https://clickhouse.com/blog/clickhouse-appoints-mike-scarpelli-to-board-of-directors
❄️ SNOWFLAKE
• Сентябрьский AI Pulse: анонсированы AI Gateway с governance-политиками для LLM-трафика, Semantic Studio для семантического моделирования и обновления агентов Coco/Cowork. Экосистема уверенно дрейфует в «data platform для агентов». https://www.snowflake.com/en/ai-pulse/september-2026/
📚 ПОЧИТАТЬ
• «Postgres on NVMe» от ClickHouse — большой разбор того, как быстрые NVMe сближают транзакционную и аналитическую нагрузки и что из этого следует для HTAP-архитектур. https://clickhouse.com/blog/postgres-on-nvme
• Хвост недели от ClickHouse: официальный провайдер для Apache Airflow, интеграция с dbt platform, PromQL TimeSeries-движок (drop-in замена Prometheus) и WalShadow — сабсекундная репликация Postgres из физического WAL. Всё в сентябрьском newsletter: https://clickhouse.com/blog/202609-newsletter
• В экосистеме Postgres тихо, но: вышел pgAdmin 4 v9.18 и pgsql-test — инструмент для запуска реальных тестов против живого Postgres вместо моков. https://www.postgresql.org/about/newsarchive/
🧠 Что запомнить: ClickHouse откровенно готовится ко взрослой корпоративной жизни — LTS 26.8 в сентябре, мультитенантные лимиты и переносимый SQL в 26.9, CFO Snowflake в совете директоров. А тезис «OLTP и OLAP сближаются на быстрых дисках» — главный архитектурный сюжет осени. | 265 |
| 4 |  Кабанчик приехал | 321 |
| 5 |  LLMSQLQueryOperator
В Airflow появился новый декоратор task.llm_sql, который генерирует SQL из запроса на обычном языке.
Вы описываете, какие данные нужны, передаёте схему — и LLM генерирует SQL.
Главное — безопасность: Airflow разбирает SQL в AST и разрешает только
SELECT, UNION, INTERSECT и EXCEPT.
DELETE, DROP, UPDATE и INSERT
блокируются.
Также можно включить
require_approval=True
, чтобы человек проверил SQL перед продолжением DAG.
Сам
@task.llm_sql
запрос не выполняет — только генерирует и валидирует его.
@tldr_data | 350 |
| 6 | Кабанчик уже не тот
https://t.me/alexgladkovblog/7608 | 427 |
| 7 |  Apache Airflow 3.3.0: Stateful Tasks and Multi-Language Support
В Airflow 3.3 появился AIP-108 — Language Task SDK. Теперь отдельные tasks можно реализовывать на Java или Go, при этом сам DAG и scheduling остаются в Python.
В DAG задача объявляется как stub:
@task.stub(queue="golang")
Дальше Airflow через Coordinator передает выполнение нужному runtime: JavaCoordinator для JVM или ExecutableCoordinator для Go.
При этом задача остается частью Airflow: доступны XCom, Variables, Connections, retries и стандартный logging.
Это особенно интересно для команд, где orchestration построен на Airflow, а часть production-кода уже написана на Java или Go. Теперь такую логику не обязательно переписывать на Python или выносить за пределы task model Airflow.
Пока Language Task SDK — experimental feature, поэтому API и protocol еще могут меняться.
Документация
@tldr_data | 446 |
| 8 |  Продолжая закрывать свой букдолг, дошел до книги Питхейна Стренгхольта «Архитектура медальона». Надо сказать, что я долгое время сознательно удерживал себя от погружения в сию концепцию, ибо подустал от непрекращающихся попыток ребрендинга давно устоявшегося понятийного аппарата, являющихся теми же яйцами, только в профиль. Причем каждый новый автор, как по мне, действует по принципу «легче мне не станет, и тебе не станет, но не в этом суть».
Сплошной «танец желтых листьев», в общем, который, «может быть»… Ага…
Тяжело приступать к чтению, имея на старте подобные предубеждения, но я справился. Тем более что автор тоже постарался.
Пара слов о нем самом. Питхейн Стренгхольт - человек в мире данных очень известный, эксперт, блогер, спикер, освещающий в своих выступлениях новейшие тенденции. Еще один его труд - «Масштабируемые данные» - также находится в моем списке.
Книга состоит из четырех частей.
Первая представляет собой теоретический анализ концепции и закладывает прочный фундамент для дальнейшего изучения. В ней автор проводит читателя через эволюцию архитектур данных, рассматривает предусловия, на которых медальон строится, описывает ключевые концепции и паттерны. Читается на удивление легко.
Вторая посвящена практическому применению - сквозной пошаговый процесс построения архитектуры. Много кода и Microsoft Fabric. Мне после долгих лет с MSSQL - нормально, хейтерам же, возможно, стоит пропустить.
Третья - живые внедрения. В ней автор в формате интервью с представителями трех компаний показывает проблемы, с которыми могут столкнуться новички, и технические особенности управления крупномасштабными системами данных. Читать про чужие сложности всегда приятнее, чем сталкиваться со своими.
Заключительная посвящена масштабированию и будущему архитектуры медальона. Отдельная глава выделена под взаимодействие с генеративными ИИ, куда ж сейчас без этого… Однако лично я в ней ничего интересного не нашел, кажется, автор включил ее исключительно в угоду моде.
В целом же книга мне понравилась, особенно тем, что архитектура медальона рассматривается не как жесткий каркас, а как гибкая структура, прежде всего логическая, оставляющая проектировщику большое число степеней свободы и право на собственное мнение. Единой версии правды и лучшего кунг-фу здесь нет.
Яйца и вправду оказались теми же самыми, но вполне пригодными к употреблению. | 287 |
| 9 |  Раз уж чтение становится ключевым навыком инженера данных, а, по мнению голландских ученых, его лучше развивать при помощи бумажных книг, то прикупил себе сей чудесный экземпляр в бумажную коллекцию. | 276 |
| 10 | «Говорил я ему, говорил: кабаки и бабы доведут до цугундера!» (МВИН)
https://t.me/rockyourdata/6062 | 300 |
| 11 | Я тоже буду
https://t.me/analyticsfromzero/728 | 437 |
| 12 |  С недавних пор я официально являюсь сертифицированным руководителем отдела, закончив соответствующий курс в «Стратоплане». Оказывается, руководить людьми довольно просто - «развивай свои сильные стороны, а слабые закрывай шаблонами». Все по бразильской системе, короче…
Пришел я сюда с целью «легитимизировать свой опыт», придать ему системный характер. В каком-то хаотичном виде он у меня и так присутствовал… Колес и велосипедов за свою управленческую карьеру я изобрел предостаточное количество. «Обломал немало веток, наломал немало дров», не один штрафной круг по граблям прошел. Мне бы вот все эти мои новые знания четыре года назад, глядишь, бы и не было затянувшегося творческого кризиса с обязательной сменой работы каждый год. А иногда и не один раз…
Четыре месяца пролетели незаметно. Менялись темы, менялись преподаватели, неизменными были высокий уровень каждого занятия и заряд энергии, приобретаемый от общения с умными людьми на групповых занятиях.
Что мне дал этот курс?
1️⃣ Помог лучше узнать себя, ближе к концу я разобрался, зачем я здесь, для чего это все мне нужно и что делать дальше.
2️⃣ Мой образ жизни стал несколько здоровее, я стал следить за сном, перестал терзать себя чрезмерными беговыми объемами, даже сбросил пару накопленных за период зимней спячки килограммов. «Вы где-нибудь видели топ-менеджера, который пихает в себя всякую гадость?» - в общем.
3️⃣ По DISC-классификации я желто-зеленый. Про желтый цвет и до этого понятно было, а вот зеленый удивил. Правда, после того, как я начал высыпаться, вместо зеленого стал проявляться красный.
4️⃣ GOSPA - очень простой и вместе с тем эффективный метод стратегического планирования. Настолько он меня поразил, что я прямо на занятии полез переписывать свою стратегию, а остаток лекции теперь придется пересматривать в записи.
5️⃣ Куча полезной литературы для дальнейшего самостоятельного развития. На пару лет точно хватит даже с моей скоростью чтения.
6️⃣ Я познакомился с большим количеством умных людей, советы и рекомендации коих очень помогли мне при разборе различных рабочих ситуаций.
Всем им за это я премного благодарен.
Как и моему бадди, конечно же. Не считая решенных рабочих вопросов, без него не появился бы канал про бег.
Также я благодарен всем преподавателям и сотрудникам «Стратоплана» за то, что эти четыре месяца получились такими насыщенными и интересными.
Всего-то чуть больше недели прошло, а я уже скучаю. Обязательно вернусь через год. | 498 |
| 13 |  Раз уж вписался в ИИ-трансформацию, надо хотя бы делать вид, что понимаешь, что происходит. Обложился, в общем, специальной литературой, благо ее сейчас предостаточно, да и на русском выходит со скоростью Себастьяна Саве, устаревая примерно так же. Так что «не хайпа ради, а служебной пользы для». Да и стратегию защищать нужно...
Чип Хьюен - персонаж в сфере сей довольно авторитетный: работала в NVIDIA, преподавала в Стэнфорде и даже написала книгу о машинном обучении. Которую я, конечно же, «ни при какой погоде не читал». Ну, не интересовала меня эта тема...
Люблю, когда автор начинает с определения:
«ИИ-инженерия - процесс создания приложений на основе доступных моделей»
Сразу настраивает на рабочий лад.
Далее Хьюен по шагам проводит читателя от знакомства с базовыми моделями до архитектуры ИИ-инженерии. Ровно посередине находится глава, посвященная промт-инжинирингу, который автор определяет как «процесс разработки инструкции, которая позволяет добиться от модели желаемого результата». Отмечая, что:
«Проблема не в промт-инжиниринге. Это реальный и полезный навык. Проблема возникает, когда люди не знают ничего, кроме промт-инжиниринга. Вам будут нужны знания из области статистики, инженерии и классического ML для отслеживания экспериментов, оценки и редактирования наборов данных»
Такой вот нас ждет «новый дивный мир»...
Книга мне понравилась, подойдет тем, кто уже имеет некий инженерный опыт, но в ИИ еще не вляпался. | 327 |
| 14 |  #напочитать
Даниэль Пинк - «Драйв»
Типичная книга из серии «Литература для бизнеса», построенная по формуле «Проблема-Следствие-Аргументы-Выгода». Много воды, различного рода кейсов из жизни деревень Вилларибо и Виллабаджо. В Вилларибо все еще используют обычное моющее средство и вследствие этого кипятятся, а в Виллабаджо уже рубят. И да, мы идем к вам.
Суть первых двух частей можно свести к простой мысли: для творческих задач внутренняя мотивация важнее внешней. Для рутинных задач внешний стимул в короткой перспективе может стать отличным импульсом.
Мотивируют людей, согласно Пинку, всего три вещи:
🔹 Автономность - наше стремление к самоуправлению
🔹 Мастерство - побуждение становиться все лучше и лучше в своем деле
🔹 Целеустремленность - явная отсылка к Фейербаху - желание быть частью чего-то большего, чем мы сами
Самая полезная - третья часть - полный комплект подсказок, упражнений и ресурсов, призванных помочь создавать условия для поведения, определяемого внутренними желаниями. Ради нее и стоит читать книгу.
Цитаты:
«Одна из главных причин фрустрации на рабочем месте - несоответствие между тем, что люди должны делать, и тем, что они могут. Слишком простые задачи заставляют их скучать, слишком сложные - тревожиться»
«Когда вы будете размышлять о своей цели в жизни, начните с важного вопроса: как звучит ваша главная фраза?»
Когда я заступал на пост Head of DE в зеленом (тогда) DIY-ритейлере, у меня была похожая идея с отсылкой на японских императоров, которые в начале своего правления тоже должны были представить некий девиз. Я тогда что-то придумал, следовал выбранному курсу, но нигде это не афишировал, а коль скоро так, то и у меня из головы это вылетело. Но наверняка там что-то было про непрерывное развитие… | 318 |
| 15 | Оформил предзаказ на второе издание «Книги с кабанчиком» и по этому поводу явился в офис в соответствующей футболке. Такая книга точно должна быть в моей бумажной коллекции!
https://habr.com/ru/companies/piter/articles/1059118/ | 330 |
| 16 | https://github.com/AlexGladkov/quickai
Напоминаю, что если вы хотите замерять эффективность своей работы с агентами и Клодом (а сейчас уже и не только), то можете воспользоваться тулзой выше | 282 |
| 17 | Человек, который в конце прошлого года клялся и божился, что станет меньше читать, уже к началу июля залил в «болото данных» своего головного мозга еще 60 книг. И ни конца ни края сему беспределу не видно.
Основными катализаторами стали:
1️⃣ Выход в офис - 2 часа в дороге.
2️⃣ Аудиокниги - еще час во время тренировок. Итого с обеденным перерывом около 4 часов в день выходит, все книги мира прочитать можно.
3️⃣ Учеба в Стратоплане серьезно так пополнила буклог, все такое интересное и само на экран просится.
4️⃣ Смена деятельности - раз уж взялся ИИ-трансформацию внедрять, то надо хотя бы понять, что это такое. Не удивлюсь, если к концу года я еще и геологию активно изучать начну.
5️⃣ В угоду скорости почти перестал читать на английском. Тот же Серра, например, читался в переводе, слезы кровавые ручьем лились, но так все равно быстрее. Мир опять ускорился, пришлось в этот раз под него прогнуться.
Лучшее из прочитанного:
📖 Карл Саган - «Наука в поисках Бога». Саган однозначно попадает в мой личный топ в компанию к Дэвиду Греберу, Ричарду Фейнману и Стивену Хокингу. Даже странно, что я до этого не обращал на него внимания. Прочитаю всё, что смогу, что-то обязательно будет добавлено в бумажную коллекцию.
📖 Элияху Голдрат - «Цель» и «Цель-2». Формат бизнес-романа - новый для меня - читается легко и хорошо запоминается. Не скажу, что стал знатоком теории ограничений, но при решении кейсов на групповых занятиях в Стратоплане регулярно с умным видом врываюсь в дискуссию со словами: «Коллеги, посмотрите, ну, это же чистый Голдрат».
📖 Антон Савочка - «Путь тимлида». Еще один бизнес-роман, вместе с тем представляющий собой набор рецептов по обнаружению и обходу разного рода грабель, хаотично расставленных на пути начинающего тимлида. Пять лет назад эта книга стала бы для меня настоящим спасением, да и сейчас, в общем-то, актуальности не утратила.
📖 Должно же быть в этом списке что-то про данные. Пусть будет Серра из поста выше - проглочен влет, невзирая на кровавые слезы от перевода.
А зарок читать поменьше переносится на следующий год, видимо. | 425 |
| 18 |  Дочитал «Архитектуры данных» Джеймса Серры.
Товарищ сей мне весьма симпатичен, было время, когда я наблюдал за его каналом на YouTube. Мне импонировало то, что, рассказывая про Data Mesh, он не пытался эксплуатировать тему «самого лучшего кунг-фу», а просто рассказывал свое видение ситуации и предлагал свой критерий соответствия функции данных в компании методологии имени Жамак Дегани.
Серра почти 40 лет в IT, 15 из них в хранилищах, «я здесь давно, мне можно верить», короче. Книгу он решил написать, поскольку обратил внимание, что архитектуры данных сложны и «большинство людей не понимают их концепций, если вообще что-то знают о них». Он попытался объективно рассказать о достоинствах и недостатках каждой из представленных архитектур. На мой взгляд, у него получилось. Особенно порадовала глава о проведении дизайн-сессий по разработке архитектуры - хорошее практическое пособие для начинающих архитекторов. Ну, или чек-лист вопросов, которые имеет смысл задать на собеседовании по System Design.
По части Data Mesh Серра не стал отделываться общими словами, а прикинул, как оно будет выглядеть на практике. Его вердикт сродни: «Чистого спирта не бывает. Максимум - 96 градусов!». По его мнению, из тех, кто назовет свое решение Data Mesh:
▪️ ~90% внедрят доменное владение
▪️ ~70% данные как продукт
▪️ ~треть осилит самообслуживаемую инфраструктуру
▪️ ~половина федеративное управление
В суть Data Mesh вообще мало проник, кроме Трента Кримма, разве что. Сам Серра, по собственному признанию, десятки раз перечитывал блоги Дегани и до сих пор иногда обнаруживает, что понял что-то неправильно.
В завершение, как обычно, парочка любимых цитат:
«Слухи о смерти реляционных хранилищ данных сильно преувеличены»
«Стандартных определений концепций и архитектур данных не существует. Иначе эта книга была бы не нужна.»
«Хотя технологии и шагнули далеко вперед, дело не в них - а в людях и процессах, и мы не так хорошо продвинулись в работе с ними. Вы можете придумывать новые крутые словечки и методы, которые вам нравятся, но очень трудно заставить людей измениться.»
Поскольку я не являюсь любителем модных словечек и хайпа вокруг них, то книга Джеймса Серры мне понравилась, рекомендуется всем, кто хочет понять суть, а не заниматься жонглированием малопонятными терминами. | 318 |
| 19 | Prefect приобретает Dagster Labs
Очень неожиданная новость. Если бы еще вчера меня спросили, кто кого купит — Prefect или Dagster, я бы точно не поставил на такой исход.
Prefect объявил о приобретении Dagster Labs.
За последние восемь лет Prefect и Dagster подталкивали друг друга к развитию, двигая вперед всю категорию инструментов оркестрации. То, что начиналось как два разных подхода, со временем стало всё более взаимодополняющим, особенно сейчас, когда ИИ меняет подход к выполнению задач и управлению рабочими процессами.
Для пользователей ничего не меняется: Dagster и Dagster+ продолжат развиваться, а команда обещает сохранить долгосрочные инвестиции в продукт и сообщество.
Интересно будет посмотреть, как объединение двух главных игроков на рынке оркестрации повлияет на развитие экосистемы. Особенно сейчас, когда границы между data orchestration, workflow orchestration и AI-агентами становятся всё менее заметными.
@tldr_data | 256 |
| 20 | Если уж решил заняться вайбкодингом, то нужно идти в своем увлечении до конца…
https://t.me/vibecoding_tg/3420 | 404 |
