Архитектор Данных
رفتن به کانال در Telegram
Алексей, архитектор данных Большие данные и облака. Для связи @alexbelozersky
نمایش بیشتر1 871
مشترکین
اطلاعاتی وجود ندارد24 ساعت
+147 روز
+4830 روز
در حال بارگیری داده...
کانالهای مشابه
هیچ دادهای
مشکلی وجود دارد؟ لطفاً صفحه را تازه کنید یا با مدیر پشتیبانی ما تماس بگیرید.
ابر برچسبها
اشارات ورودی و خروجی
---
---
---
---
---
---
جذب مشترکین
اوت '26
اوت '26
+60
در 2 کانالها
ژوئیه '26
+39
در 4 کانالها
Get PRO
ژوئن '26
+74
در 2 کانالها
Get PRO
مه '26
+27
در 0 کانالها
Get PRO
آوریل '26
+296
در 8 کانالها
Get PRO
مارس '26
+62
در 3 کانالها
Get PRO
فوریه '26
+192
در 5 کانالها
Get PRO
ژانویه '26
+156
در 4 کانالها
Get PRO
دسامبر '25
+82
در 5 کانالها
Get PRO
نوامبر '25
+143
در 7 کانالها
Get PRO
اکتبر '25
+106
در 4 کانالها
Get PRO
سپتامبر '25
+190
در 3 کانالها
Get PRO
اوت '25
+252
در 10 کانالها
Get PRO
ژوئیه '25
+89
در 3 کانالها
Get PRO
ژوئن '25
+36
در 1 کانالها
Get PRO
مه '25
+24
در 1 کانالها
Get PRO
آوریل '25
+166
در 2 کانالها
Get PRO
مارس '250
در 1 کانالها
Get PRO
فوریه '250
در 0 کانالها
Get PRO
ژانویه '25
+102
در 1 کانالها
| تاریخ | رشد مشترکین | اشارات | کانالها | |
| 27 اوت | 0 | |||
| 26 اوت | 0 | |||
| 25 اوت | +10 | |||
| 24 اوت | 0 | |||
| 23 اوت | 0 | |||
| 22 اوت | +1 | |||
| 21 اوت | +3 | |||
| 20 اوت | +6 | |||
| 19 اوت | +2 | |||
| 18 اوت | +3 | |||
| 17 اوت | 0 | |||
| 16 اوت | 0 | |||
| 15 اوت | +1 | |||
| 14 اوت | +2 | |||
| 13 اوت | +1 | |||
| 12 اوت | +7 | |||
| 11 اوت | +1 | |||
| 10 اوت | 0 | |||
| 09 اوت | +1 | |||
| 08 اوت | +4 | |||
| 07 اوت | +1 | |||
| 06 اوت | +2 | |||
| 05 اوت | +4 | |||
| 04 اوت | +4 | |||
| 03 اوت | +7 | |||
| 02 اوت | 0 | |||
| 01 اوت | 0 |
پستهای کانال
Когда нанимаешься руководителем в большую сформированную команду - это как садиться доигрывать шахматную партию за кем-то другим.
Приходится угадывать, почему фигуры стоят вот так и в чем был замысел. Насколько этот замысел хорош и стоит ли его развивать.
И да, доигрывать выигрышную партию тебя никто не позовет. Выигрышную Доиграют сами.
А в гринфилд проекте начинаешь играть с е2-е4, это проще.
| 2 |  Молния!
Амазон купили DuckDB | 541 |
| 3 | В Airflow теперь можно запустить java-scala приложения нативно
Например - скрипты поддержки Iceberg таблиц, так как много функционала нет в pyiceberg.
При этом эта ява сможет пользоваться xcom, кредовым волтом, правильно ретраиться и по всем параметрам будет полноценной аэрфлошной джобой а не БашОператором, о котором движок АФ ничего не знает. | 584 |
| 4 |  Apache Airflow 3.3.0: Stateful Tasks and Multi-Language Support
В Airflow 3.3 появился AIP-108 — Language Task SDK. Теперь отдельные tasks можно реализовывать на Java или Go, при этом сам DAG и scheduling остаются в Python.
В DAG задача объявляется как stub:
@task.stub(queue="golang")
Дальше Airflow через Coordinator передает выполнение нужному runtime: JavaCoordinator для JVM или ExecutableCoordinator для Go.
При этом задача остается частью Airflow: доступны XCom, Variables, Connections, retries и стандартный logging.
Это особенно интересно для команд, где orchestration построен на Airflow, а часть production-кода уже написана на Java или Go. Теперь такую логику не обязательно переписывать на Python или выносить за пределы task model Airflow.
Пока Language Task SDK — experimental feature, поэтому API и protocol еще могут меняться.
Документация
@tldr_data | 527 |
| 5 | В опросе забыл самую главную опцию:
«Клодик, посчитай мне сумму… ну вопщем что-нибудь там посчитай. Чтоб по красоте было» | 566 |
| 6 |  Забыли подвести итоги по статистике подписчиков канала.
Почти 60% SQL-исты разных видов. Привет вам!
Датасаенс с пандасом - ок. 10%
12% суровых спарковиков. Или это те суровые ДЛХ-шники, которые разгребают то что не смогли сделать ДЛХ-шники попроще через Трино в пункте первом 😎
Только 4 человека честно признались что они экселисты. Пятый это админ-редактор нашего канала )
11% приняли верное жизненное решение и работают не с кодом а с людьми, как тов. Сталин. | 564 |
| 7 |  Видео пока на монтаже ) | 621 |
| 8 | webinar-deck.pdf | 609 |
| 9 | Сейчас все силы вложены в запуск 4-го потока курса по Лейкхаусу
Еще больше информации и опыта внедрения/миграции на стек DLH
Что разберем:
- Как работает форматы Iceberg, Paimon и чем это лучше чем раскладка паркетов по папочкам (спойлер: сильно лучше)
- Какими инструментами работать с лейкхаусом: Trino, Spark (и это не все!)
- Зачем нужны каталоги, как работают различные каталоги (JDBC, REST etc)
- Как поддерживать датасеты на Iceberg.
В прошлый четверг разбирали как один из слушателей закончил переезд на Lakehouse с Greenplum и сэкономил на инфре на порядок (!). Лайвхаки и опыт этого переезда также разберем на курсе!
Старт на этой неделе - Запись здесь!
https://devhands.ru/lakehouse | 606 |
| 10 | Ничего не могу с собой поделать, и снова вспоминаю самый известный пример поэтического промпт-инжиниринга. (М.Круг «Кольщик)
——
Квенчик, нарисуй мне океан.
На опен-джиэле да си-шарпчике.
…..
Если РАМа хватит, нарисуй
Лодку с парусами, ветром полными | 690 |
| 11 |  О важности Харнесов.
Фрагмент переписки на реддите. Все носятся с Qwen 3.8 семейством и спорят, дотягивает ли он до Claude Opus. И в ходе многочисленных тестов из под кучи мусора появляется бриллиант.
Задача - нарисовать реалистичный рендер океана на OpenGL.
VS Code Copilot дает нечто с черным экраном, утверждая, что это рабочее.
Deepseek Harness - с тем же сетапом, промптом, целью - рабочий результат. Который на одном из промежуточных этапов спотыкается об проблему с черным экраном, но преодолевает ее. Еще и скрины делает в качестве репорта промежуточного результата.
Тред тут.
Час работы на RTX 5090. (На скрине ценник за голую ВК для подобного результата). | 667 |
| 12 | Никак не могу понять загадку
Откуда в нашей компании такой пик потребления канцоваров в конце августа и начале сентября.
Но когда-нибудь я разгадаю эту тайну
(С) руководитель отдела закупок - с недобрым блеском в глазах 😈 | 637 |
| 13 | Энтерпрайз архитектура
Сцена в опенспейс, действующие лица: Арх и СТО.
—————————————————
- Ситио Айтишевич, почему вы ходите без штанов?
- Так исторически сложилось!
- Наденьте штаны, пожалуйста.
- Это изменения в архитектуре! Пиши RFC, выноси на арх комитет! В ближайшие два комитета повестка готова, к концу квартала рассмотрим твой вопрос. А пока утверди изменение у КиберБеза. | 742 |
| 14 | Архитектор, personal log
Пока на моем винте ждал момента офигенный 4-часовой гайд по агентам, который мне нужно разобрать, дипсик выпустил свой Harness.
И все, гайд можно не смотреть, он устарел.
Сэкономил себе время получается 😄 | 840 |
| 15 | Reminder!
Сегодня делаем обзор миграции КХД на Лейкхаус!
18:30 сегодня. Получить ссылку можно в боте
https://t.me/devhands_meetup_bot | 912 |
| 16 |  بدون متن... | 1 153 |
| 17 |  На что только не пойдешь, чтобы получить хорошо работающий ОнПрем S3 под свой DLH | 1 019 |
| 18 | На что бы вы потратили $1 трлн? | 975 |
| 19 |  Не знаю, как подсчитали, но цифра интересная.
Ну и еще раз - годовые инвестиции каждой из упомянутых компаний больше чем потрачено за всю историю российского ИТ. И это создает огромный финансовый стресс даже для грандов рынка. А если (когда?) этот пузырь рванет, то дот-ком и ипотечный кризис - ерундой покажутся.
У нас же - мы в одной компании пытались за квартал продать что-то типа 80 чипов.э класса Н100/Н200. И ох это и задача!
Хотя, надо сказать, что с продажей более дешевых массовых инференс чипов L40S проблем никогда не было. | 995 |
| 20 | Возвращаемся к видео-формату!
В этот четверг в 18:30 обсуждаем кейс переезда с Greenplum на Lakehouse с Алмазом Хайфуллиным из SkillBox! С командой SkillBox я работал около 2 лет по линии ВК-Теха. Мы начали с эвакуации данных из одного из западных облаков в домашний контур. Но команда Скиллбокса на этом не остановилась и следующим шагом поменяла классическое MPP КХД на Лейкхаус.
О предпосылках, ходе миграции, встреченных граблях и найденных лайвхаках поговорим в четверг в 18:30.
От результатов миграции в цифрах у меня возник небольшой культурный шок. Не знаю как вы, а я буду задавать Алмазу много вопросов!
Отдельно мне весьма приятно, что Алмаз был слушателем 1-го потока моего курса по Лейкхаусу в ноябре. А уже в июле полностью мигрировал на стек S3-Iceberg-Trino!
Запись через бот DevHands! До встречи в эфире!
P.S. Запись будет в «Разговорах на Архитекторском» на Youtube и ВК Видео. | 926 |
