🔋 Труба данных

Открыть в Telegram

Авторский канал обо всем, что происходит в мире работы с данными: хранение, обработка, визуализация, как мы принимаем решения и как мы становимся профессионалами в работе с данными. Автора канала - @SimonOsipov

Больше

Россия142 120 Технологии и приложения21 693

4 057

Подписчики

Нет данных24 часа

+257 дней

+930 день

1 086

Просмотры поста

Нет данных24 часа

Нет данных48 часов

26.77%

Коэффициент вовлеченности

Нет данных

Постов в день

Ads index

beta

Загрузка данных...

Похожие каналы

SberProfi DWH/BigData

Больше каналов

Входящие и исходящие упоминания

---

Привлечение подписчиков

март '26

+36

в 0 каналах

февраль '26

+50

в 0 каналах

Get PRO

январь '26

+61

в 0 каналах

Get PRO

декабрь '25

+83

в 1 каналах

Get PRO

ноябрь '25

+58

в 1 каналах

Get PRO

октябрь '25

+63

в 0 каналах

Get PRO

сентябрь '25

+55

в 1 каналах

Get PRO

август '25

+61

в 1 каналах

Get PRO

июль '25

+39

в 0 каналах

Get PRO

июнь '25

+60

в 1 каналах

Get PRO

май '25

+76

в 1 каналах

Get PRO

апрель '25

+68

в 0 каналах

Get PRO

март '25

+74

в 0 каналах

Get PRO

февраль '25

+69

в 0 каналах

Get PRO

январь '25

+91

в 2 каналах

Get PRO

декабрь '24

+77

в 0 каналах

Get PRO

ноябрь '24

+89

в 0 каналах

Get PRO

октябрь '24

+113

в 1 каналах

Get PRO

сентябрь '24

+106

в 1 каналах

Get PRO

август '24

+91

в 0 каналах

Get PRO

июль '24

+89

в 0 каналах

Get PRO

июнь '24

+83

в 0 каналах

Get PRO

май '24

+73

в 1 каналах

Get PRO

апрель '24

+72

в 2 каналах

Get PRO

март '24

+94

в 1 каналах

Get PRO

февраль '24

+112

в 3 каналах

Get PRO

январь '24

+154

в 2 каналах

Get PRO

декабрь '23

+189

в 4 каналах

Get PRO

ноябрь '23

+79

в 1 каналах

Get PRO

октябрь '23

+42

в 2 каналах

Get PRO

сентябрь '23

+126

в 0 каналах

Get PRO

август '23

+78

в 0 каналах

Get PRO

июль '23

+64

в 0 каналах

Get PRO

июнь '23

+93

в 0 каналах

Get PRO

май '23

+226

в 0 каналах

Get PRO

апрель '23

+46

в 0 каналах

Get PRO

март '23

+69

в 0 каналах

Get PRO

февраль '23

+102

в 0 каналах

Get PRO

январь '23

+146

в 0 каналах

Get PRO

декабрь '22

+240

в 0 каналах

Get PRO

ноябрь '22

+96

в 0 каналах

Get PRO

октябрь '22

+55

в 0 каналах

Get PRO

сентябрь '22

+84

в 0 каналах

Get PRO

август '22

+205

в 0 каналах

Get PRO

июль '22

+222

в 0 каналах

Get PRO

июнь '22

+94

в 0 каналах

Get PRO

май '22

+49

в 0 каналах

Get PRO

апрель '22

+39

в 0 каналах

Get PRO

март '22

+27

в 0 каналах

Get PRO

февраль '22

+25

в 0 каналах

Get PRO

январь '22

+64

в 0 каналах

Get PRO

декабрь '21

+58

в 0 каналах

Get PRO

ноябрь '21

+39

в 0 каналах

Get PRO

октябрь '21

+107

в 0 каналах

Get PRO

сентябрь '21

+46

в 0 каналах

Get PRO

август '21

+73

в 0 каналах

Get PRO

июль '21

+37

в 0 каналах

Get PRO

июнь '21

+24

в 0 каналах

Get PRO

май '21

+12

в 0 каналах

Get PRO

апрель '21

+55

в 0 каналах

Get PRO

март '21

+714

в 0 каналах

Дата	Привлечение подписчиков	Упоминания	Каналы
15 марта	+2
14 марта	+1
13 марта	+10
12 марта	+8
11 марта	+6
10 марта	+3
09 марта	0
08 марта	0
07 марта	0
06 марта	+1
05 марта	0
04 марта	0
03 марта	+3
02 марта	+2
01 марта	0

Посты канала

Обычно по пятница выходит пятничный юмор, но сегодня - крайняя шутка. Этот канал прослужил мне верой и правдой почти 6.5 лет и за это время подарил мне очень разнообразный опыт, 5 тысяч рублей донатов, вакансии и проекты и больше 4 тысяч людей, которым интересно мое мнение на тему, о существовании которой я узнал чисто случайно 7 лет назад. Макс, ты помнишь как ты мне сказал "Так ты ведь получается занимаешься дата инжинирингом?" 😃 Я безумно благодарен вам всем за то, что приходили в комменты и писали свое мнение, за бесконечное количество 💩 оставленных под постами, за репосты и материал, который вы приносили. Я смотрю на этот путь, который мы прошли с вами и я вам очень благодарен! По количеству постов в канале вы могли заметить, что он (а точнее я) просто устал. Устал бежать и бесконечно искать адекватные новости (а в мире где AI генерирует все подряд, объемы стали очень огромными), нажать кнопку "отправить" больше не дает эндорфинов и пришло время отпустить. Комменты открыты, можно написать автору всякого!

2	https://clickhouse.com/blog/clickhouse-kubernetes-operator Кликхаус выкатил K8S Operator. Это чтобы было изи раскатить клик в кубере. Да-да, давайте не будем базы данных держать в кубернетесе, только bare metal и весь остальной бубнеж. Большинству компаний будет достаточно и клика в кубере. (хотя, если честно, таким компаниям, наверное, рано в кубер) @ohmydataengineer	0
3	Если вы искали качественный туториал про то как использовать Claude Code лучше всего с лучшими настройками на данный момент, то вот, я прнс	0
4	https://www.youtube.com/watch?v=rmvDxxNubIg В личку принесли еще один прекрасный, небольшой доклад про Context Engineering. Из забавного - почти ко всем советам, про которые говорится в докладе, дошел и стал применять самостоятельно, видимо я не настолько туп 😁 @ohmydataengineer - канал "Труба данных" про всякое в мире работы с данным	0
5	Хотя про AI-агентов сейчас пишут буквально из каждого утюга, в этой статье мне особенно зацепился один момент — визуализация зависимости качества ответов LLM от длины контекста. Интуитивно мы все чувствуем, что «чем больше — тем лучше», но на практике кривая выглядит иначе: после определённого порога контекст начинает не помогать, а мешать. Сигнал тонет в шуме, модель теряет фокус, а качество решений деградирует. Забрал эту картинку себе в копилку как хорошее напоминание. Из этого логично вытекает важный тезис: формулировка задачи вторична, первична политика контекста. Не «как красиво спросить», а что именно и в каком объёме сейчас действительно нужно модели. Принцип «минимум, достаточный для текущего шага» оказывается куда более надёжным, чем попытка загрузить в контекст всё возможное «на всякий случай». Отдельно понравилась мысль про инструменты. Да, туллинг расширяет возможности LLM, но каждый их вывод — это ещё один удар по контекстному бюджету. Если инструменты шумят, возвращают избыточные данные или нестабильный формат, агент быстро начинает деградировать. Поэтому критичны строгие контракты, малый, предсказуемый и структурированный вывод — иначе инструменты становятся источником энтропии, а не силы. История сообщений — ещё одна зона инженерной ответственности. Хранить всё подряд — плохая стратегия. Актуальное должно быть доступно, «закрытые» куски — сжаты и зафиксированы в виде состояния, всё остальное — безжалостно отброшено. Контекст — не лог событий, а рабочая память, и к ней применимы те же принципы, что и к архитектуре систем. Итог для меня простой: контекст-инжиниринг — это полноценная дисциплина проектирования. Каждая загрузка в окно контекста — осознанное решение с ограничениями. Надёжность агента обеспечивается не магией промпта, а управлением информационным бюджетом, продуманной retrieval-стратегией и регулярной компакцией состояния. Именно здесь сейчас проходит граница между «демо» и реально работающими агентными системами. https://newsletter.systemdesign.one/p/what-is-context-engineering	0
6	https://karpathy.bearblog.dev/year-in-review-2025 Andrej Karpathy (ну тот, который был главнюком за AI в Tesla и не только) подвел отличные и оч лаконичные итоги года. Еще мне на прошлой неделе удалось посмотреть два интересных интервью и один докладик - Andrej Karpathy — “We’re summoning ghosts, not building animals” - https://www.youtube.com/watch?v=lXUZvyajciY - Ilya Sutskever – "We're moving from the age of scaling to the age of research"- https://www.youtube.com/watch?v=aR20FWCCjAs - Andrej Karpathy: Software Is Changing (Again) - https://www.youtube.com/watch?v=LCEmiRjPEtQ И нет, это не х2 скорость, это он так в реальности говорит 😃 @ohmydataengineer - канал "Труба данных" про всякое в мире работы с данным	0
7	Новые поглощения и покупки: IBM покупает Confluent (не путать с Confluence 😆, это которые Kafka) https://www.reuters.com/technology/ibm-nears-roughly-11-billion-deal-confluent-wsj-reports-2025-12-08/ @ohmydataengineer	0
8	Показываем аудитории молодые open-source проекты. Мне не жалко, вдруг кому-то будет интересно. 🔐 Postgresus - self-hosted инструмент для резервного копирования и мониторинга PostgreSQL базы данных 🔥 Возможности: - создание бекапов по расписанию для PostgreSQL 13-18; - уведомления в Telegram, Slack, Discord, если бекап сломался или база недоступна; - хранение бекапов локально, в S3 или Google Drive; - health check базы данных раз в минуту; - Apache 2.0 лицензия (полностью открытый); Запуск через Docker: docker run -d --name postgresus -p 4005:4005 -v ./postgresus-data:/postgresus-data --restart unless-stopped rostislavdugin/postgresus:latest 📌 GitHub	0
9	MiniO все. This project is currently under maintenance and is not accepting new changes. • The codebase is in a maintenance-only state • No new features, enhancements, or pull requests will be accepted • Critical security fixes may be evaluated on a case-by-case basis • Existing issues and pull requests will not be actively reviewed • Community support continues on a best-effort basis through Slack https://github.com/minio/minio @ohmydataengineer	0
10	https://bfcm.shopify.com У Shopify в этом году на Βlack Friday было 45kk сообщений в Кафку в секунду... (скриншот, конечно, сегодняшний, а не пятничный, но сам вебсайт оч классный с техническими метриками) @ohmydataengineer	0
11	Российские ETL решения.... Я даж не знаю, смеяться или плакать..🙈	0
12	https://github.com/toon-format/toon Если у вас есть какие-либо автоматизации с использованием LLM и вы в них кидаетесь данными, то вот тут ребята собрали небольшой оптимизатор структур, позволяющий экономить на токенах. @ohmydataengineer	0
13	https://topicpartition.io/blog/postgres-pubsub-queue-benchmarks Прекрасная статья о том, что момент, когда вам в большинстве случаев, перестанет хватать Posgres на самом деле очень и очень далек. И как Pub/Sub решение, и как Redis решение, и Data Lake решение. Циферки, метрики, замеры внутри, все как вы любите 😃 P.S. Конечно же, никто не говорит о том, что Kafka надо заменять на Postgres. The claim isn’t that Postgres is functionally equivalent to any of these specialized systems. The claim is that it handles 80%+ of their use cases with 20% of the development effort. Но поздно, стервятники уже налетели...https://www.morling.dev/blog/you-dont-need-kafka-just-use-postgres-considered-harmful/ @ohmydataengineer	0
14	IYKYK 😆 @ohmydataengineer	0
15	https://clickhouse.com/blog/librechat-open-source-agentic-data-stack Тут CH купил (поглотил, заполучил) еще ребят. Из забавного - opensource ребят 😂 Вот этих https://www.librechat.ai @ohmydataengineer	0
16	На днях в open source выпустили распределённую файловую систему, которая рассчитана на эксабайты (тысячи петабайт). Сделали это чуваки из XTX, мощные трейдеры, которые известны двумя вещами: тем, что у них (по крайней мере недавно) был топ-3 кластер по количеству ГПУ, и тем, что их основатель, Александр Герко, так любит Лондон, что каждый год платит 500+ млн фунтов налогов на доходы как физическое лицо. Из интересного (они выделили 9 пунктов, но только 5 мне кажутся отличительными) Has no single point of failure in its metadata services. Is hardware agnostic and uses TCP/IP to communicate. Utilizes different types of storage (such as flash vs. hard disks) cost effectively. Exposes read/write access through its own API over TCP and UDP, and a Linux kernel filesystem module. Requires no external service and has a minimal set of build dependencies Начали работы над системой в 2022 году, в середине 2024 мигрировали весь ML TernFS' metadata is split into 256 logical shards. Shards never communicate with each other. This is a general principle in TernFS: Splitting the metadata into 256 shards from the get-go simplifies the design, given that horizontal scaling of metadata requires no rebalancing, just the addition of more metadata servers. Ну и заодно свой формат сериализации разработали, чтобы разработчики передвигали не json, thrift, а что-то там свое. Еще из интересного - обсуждение когда нужно зеркалить файлы, а когда делать Reed-Solomon coding. Рекомендую почитать	0
17	Python 3.14 уже здесь! Пару часов назад вышел финальный релиз новой версии Python 3.14. Это, пожалуй, один из самых мощных релизов на моей памяти. Новая версия несёт в себе ряд крутых фич, а именно: - полная поддержка Free-threaded Python - T-strings, спорная фича, но на мой взгляд удобно иметь в стандартной библиотеке (синтаксис знакомых нам f-strings) - zstd внутри стандартной либы, один из самых эффективных алгоритмов сжатия данных - поддержка multiple interpreters из коробки - uuid 6-8, на 40% быстрее И многое другое, полный список изменений ловите по ссылке: https://pythoninsider.blogspot.com/2025/10/python-3140-final-is-here.html	0
18	Очередная движуха для тех, кто живёт аналитикой. Коллеги и друзья из NEWHR снова собирают рынок — кого, где, за сколько и зачем нанимают. Всё по классике: зарплаты, новые задачи, как и где работают, кто топит за культуру. В этот раз цепляют и бизнес/системных аналитиков, и даже начальников. ⏳ 20 минут на опрос — и потом инсайты, стрим и вся вкусная инфа (полный разбор ждём в 2026, а промежуточное — сразу по ходу). Чем больше залетит народу — тем точнее картина, поэтому и делюсь ссылкой P.S. Да, ждать результат надо, но стоит того — предыдущие выпуски были полезными Ссылка на последнее 2024 Как принять участие в исследовании? ⏩ Заполните 20-мин опросник⏪	0
19	Big data integration company Fivetran Inc. is reportedly holding advanced talks with dbt Labs Inc. over a multibillion-dollar acquisition. https://siliconangle.com/2025/09/28/report-fivetran-talks-dbt-labs-multibillion-dollar-big-data-merger/ Просто новость. Выводов никаких не будет =) @ohmydataengineer - канал "🕯Труба Данных"	0
20	https://medium.com/@thedatainsight/bronze-is-the-battlefield-why-real-data-engineers-start-at-the-source-6eaa16730f0a Нормально делай - нормально будет! Саша снова насыпал базисной базы, а мне даже добавить нечего. @ohmydataengineer - канал "🕯Труба Данных"	0

Посмотреть все записи