Архитектор Данных
前往频道在 Telegram
Алексей, архитектор данных Большие данные и облака. Для связи @alexbelozersky
显示更多1 871
订阅者
无数据24 小时
+147 天
+4830 天
数据加载中...
吸引订阅者
八月 '26
八月 '26
+60
在2个频道中
七月 '26
+39
在4个频道中
Get PRO
六月 '26
+74
在2个频道中
Get PRO
五月 '26
+27
在0个频道中
Get PRO
四月 '26
+296
在8个频道中
Get PRO
三月 '26
+62
在3个频道中
Get PRO
二月 '26
+192
在5个频道中
Get PRO
一月 '26
+156
在4个频道中
Get PRO
十二月 '25
+82
在5个频道中
Get PRO
十一月 '25
+143
在7个频道中
Get PRO
十月 '25
+106
在4个频道中
Get PRO
九月 '25
+190
在3个频道中
Get PRO
八月 '25
+252
在10个频道中
Get PRO
七月 '25
+89
在3个频道中
Get PRO
六月 '25
+36
在1个频道中
Get PRO
五月 '25
+24
在1个频道中
Get PRO
四月 '25
+166
在2个频道中
Get PRO
三月 '250
在1个频道中
Get PRO
二月 '250
在0个频道中
Get PRO
一月 '25
+102
在1个频道中
| 日期 | 订阅者增长 | 提及 | 频道 | |
| 27 八月 | 0 | |||
| 26 八月 | 0 | |||
| 25 八月 | +10 | |||
| 24 八月 | 0 | |||
| 23 八月 | 0 | |||
| 22 八月 | +1 | |||
| 21 八月 | +3 | |||
| 20 八月 | +6 | |||
| 19 八月 | +2 | |||
| 18 八月 | +3 | |||
| 17 八月 | 0 | |||
| 16 八月 | 0 | |||
| 15 八月 | +1 | |||
| 14 八月 | +2 | |||
| 13 八月 | +1 | |||
| 12 八月 | +7 | |||
| 11 八月 | +1 | |||
| 10 八月 | 0 | |||
| 09 八月 | +1 | |||
| 08 八月 | +4 | |||
| 07 八月 | +1 | |||
| 06 八月 | +2 | |||
| 05 八月 | +4 | |||
| 04 八月 | +4 | |||
| 03 八月 | +7 | |||
| 02 八月 | 0 | |||
| 01 八月 | 0 |
频道帖子
Когда нанимаешься руководителем в большую сформированную команду - это как садиться доигрывать шахматную партию за кем-то другим.
Приходится угадывать, почему фигуры стоят вот так и в чем был замысел. Насколько этот замысел хорош и стоит ли его развивать.
И да, доигрывать выигрышную партию тебя никто не позовет. Выигрышную Доиграют сами.
А в гринфилд проекте начинаешь играть с е2-е4, это проще.
| 2 |  Молния!
Амазон купили DuckDB | 541 |
| 3 | В Airflow теперь можно запустить java-scala приложения нативно
Например - скрипты поддержки Iceberg таблиц, так как много функционала нет в pyiceberg.
При этом эта ява сможет пользоваться xcom, кредовым волтом, правильно ретраиться и по всем параметрам будет полноценной аэрфлошной джобой а не БашОператором, о котором движок АФ ничего не знает. | 584 |
| 4 |  Apache Airflow 3.3.0: Stateful Tasks and Multi-Language Support
В Airflow 3.3 появился AIP-108 — Language Task SDK. Теперь отдельные tasks можно реализовывать на Java или Go, при этом сам DAG и scheduling остаются в Python.
В DAG задача объявляется как stub:
@task.stub(queue="golang")
Дальше Airflow через Coordinator передает выполнение нужному runtime: JavaCoordinator для JVM или ExecutableCoordinator для Go.
При этом задача остается частью Airflow: доступны XCom, Variables, Connections, retries и стандартный logging.
Это особенно интересно для команд, где orchestration построен на Airflow, а часть production-кода уже написана на Java или Go. Теперь такую логику не обязательно переписывать на Python или выносить за пределы task model Airflow.
Пока Language Task SDK — experimental feature, поэтому API и protocol еще могут меняться.
Документация
@tldr_data | 527 |
| 5 | В опросе забыл самую главную опцию:
«Клодик, посчитай мне сумму… ну вопщем что-нибудь там посчитай. Чтоб по красоте было» | 566 |
| 6 |  Забыли подвести итоги по статистике подписчиков канала.
Почти 60% SQL-исты разных видов. Привет вам!
Датасаенс с пандасом - ок. 10%
12% суровых спарковиков. Или это те суровые ДЛХ-шники, которые разгребают то что не смогли сделать ДЛХ-шники попроще через Трино в пункте первом 😎
Только 4 человека честно признались что они экселисты. Пятый это админ-редактор нашего канала )
11% приняли верное жизненное решение и работают не с кодом а с людьми, как тов. Сталин. | 564 |
| 7 |  Видео пока на монтаже ) | 621 |
| 8 | webinar-deck.pdf | 609 |
| 9 | Сейчас все силы вложены в запуск 4-го потока курса по Лейкхаусу
Еще больше информации и опыта внедрения/миграции на стек DLH
Что разберем:
- Как работает форматы Iceberg, Paimon и чем это лучше чем раскладка паркетов по папочкам (спойлер: сильно лучше)
- Какими инструментами работать с лейкхаусом: Trino, Spark (и это не все!)
- Зачем нужны каталоги, как работают различные каталоги (JDBC, REST etc)
- Как поддерживать датасеты на Iceberg.
В прошлый четверг разбирали как один из слушателей закончил переезд на Lakehouse с Greenplum и сэкономил на инфре на порядок (!). Лайвхаки и опыт этого переезда также разберем на курсе!
Старт на этой неделе - Запись здесь!
https://devhands.ru/lakehouse | 606 |
| 10 | Ничего не могу с собой поделать, и снова вспоминаю самый известный пример поэтического промпт-инжиниринга. (М.Круг «Кольщик)
——
Квенчик, нарисуй мне океан.
На опен-джиэле да си-шарпчике.
…..
Если РАМа хватит, нарисуй
Лодку с парусами, ветром полными | 690 |
| 11 |  О важности Харнесов.
Фрагмент переписки на реддите. Все носятся с Qwen 3.8 семейством и спорят, дотягивает ли он до Claude Opus. И в ходе многочисленных тестов из под кучи мусора появляется бриллиант.
Задача - нарисовать реалистичный рендер океана на OpenGL.
VS Code Copilot дает нечто с черным экраном, утверждая, что это рабочее.
Deepseek Harness - с тем же сетапом, промптом, целью - рабочий результат. Который на одном из промежуточных этапов спотыкается об проблему с черным экраном, но преодолевает ее. Еще и скрины делает в качестве репорта промежуточного результата.
Тред тут.
Час работы на RTX 5090. (На скрине ценник за голую ВК для подобного результата). | 667 |
| 12 | Никак не могу понять загадку
Откуда в нашей компании такой пик потребления канцоваров в конце августа и начале сентября.
Но когда-нибудь я разгадаю эту тайну
(С) руководитель отдела закупок - с недобрым блеском в глазах 😈 | 637 |
| 13 | Энтерпрайз архитектура
Сцена в опенспейс, действующие лица: Арх и СТО.
—————————————————
- Ситио Айтишевич, почему вы ходите без штанов?
- Так исторически сложилось!
- Наденьте штаны, пожалуйста.
- Это изменения в архитектуре! Пиши RFC, выноси на арх комитет! В ближайшие два комитета повестка готова, к концу квартала рассмотрим твой вопрос. А пока утверди изменение у КиберБеза. | 742 |
| 14 | Архитектор, personal log
Пока на моем винте ждал момента офигенный 4-часовой гайд по агентам, который мне нужно разобрать, дипсик выпустил свой Harness.
И все, гайд можно не смотреть, он устарел.
Сэкономил себе время получается 😄 | 840 |
| 15 | Reminder!
Сегодня делаем обзор миграции КХД на Лейкхаус!
18:30 сегодня. Получить ссылку можно в боте
https://t.me/devhands_meetup_bot | 912 |
| 16 |  没有文字... | 1 153 |
| 17 |  На что только не пойдешь, чтобы получить хорошо работающий ОнПрем S3 под свой DLH | 1 019 |
| 18 | На что бы вы потратили $1 трлн? | 975 |
| 19 |  Не знаю, как подсчитали, но цифра интересная.
Ну и еще раз - годовые инвестиции каждой из упомянутых компаний больше чем потрачено за всю историю российского ИТ. И это создает огромный финансовый стресс даже для грандов рынка. А если (когда?) этот пузырь рванет, то дот-ком и ипотечный кризис - ерундой покажутся.
У нас же - мы в одной компании пытались за квартал продать что-то типа 80 чипов.э класса Н100/Н200. И ох это и задача!
Хотя, надо сказать, что с продажей более дешевых массовых инференс чипов L40S проблем никогда не было. | 995 |
| 20 | Возвращаемся к видео-формату!
В этот четверг в 18:30 обсуждаем кейс переезда с Greenplum на Lakehouse с Алмазом Хайфуллиным из SkillBox! С командой SkillBox я работал около 2 лет по линии ВК-Теха. Мы начали с эвакуации данных из одного из западных облаков в домашний контур. Но команда Скиллбокса на этом не остановилась и следующим шагом поменяла классическое MPP КХД на Лейкхаус.
О предпосылках, ходе миграции, встреченных граблях и найденных лайвхаках поговорим в четверг в 18:30.
От результатов миграции в цифрах у меня возник небольшой культурный шок. Не знаю как вы, а я буду задавать Алмазу много вопросов!
Отдельно мне весьма приятно, что Алмаз был слушателем 1-го потока моего курса по Лейкхаусу в ноябре. А уже в июле полностью мигрировал на стек S3-Iceberg-Trino!
Запись через бот DevHands! До встречи в эфире!
P.S. Запись будет в «Разговорах на Архитекторском» на Youtube и ВК Видео. | 926 |
