Архитектор Данных
الذهاب إلى القناة على Telegram
Алексей, архитектор данных Большие данные и облака. Для связи @alexbelozersky
إظهار المزيد1 871
المشتركون
لا توجد بيانات24 ساعات
+147 أيام
+4830 أيام
أرشيف المشاركات
1 870
Когда нанимаешься руководителем в большую сформированную команду - это как садиться доигрывать шахматную партию за кем-то другим.
Приходится угадывать, почему фигуры стоят вот так и в чем был замысел. Насколько этот замысел хорош и стоит ли его развивать.
И да, доигрывать выигрышную партию тебя никто не позовет. Выигрышную Доиграют сами.
А в гринфилд проекте начинаешь играть с е2-е4, это проще.
1 870
В Airflow теперь можно запустить java-scala приложения нативно
Например - скрипты поддержки Iceberg таблиц, так как много функционала нет в pyiceberg.
При этом эта ява сможет пользоваться xcom, кредовым волтом, правильно ретраиться и по всем параметрам будет полноценной аэрфлошной джобой а не БашОператором, о котором движок АФ ничего не знает.
1 870
Repost from N/a
Apache Airflow 3.3.0: Stateful Tasks and Multi-Language Support
В Airflow 3.3 появился AIP-108 — Language Task SDK. Теперь отдельные tasks можно реализовывать на Java или Go, при этом сам DAG и scheduling остаются в Python.
В DAG задача объявляется как stub:
@task.stub(queue="golang")1 870
В опросе забыл самую главную опцию:
«Клодик, посчитай мне сумму… ну вопщем что-нибудь там посчитай. Чтоб по красоте было»
1 870
Забыли подвести итоги по статистике подписчиков канала.
Почти 60% SQL-исты разных видов. Привет вам!
Датасаенс с пандасом - ок. 10%
12% суровых спарковиков. Или это те суровые ДЛХ-шники, которые разгребают то что не смогли сделать ДЛХ-шники попроще через Трино в пункте первом 😎
Только 4 человека честно признались что они экселисты. Пятый это админ-редактор нашего канала )
11% приняли верное жизненное решение и работают не с кодом а с людьми, как тов. Сталин.
1 870
Сейчас все силы вложены в запуск 4-го потока курса по Лейкхаусу
Еще больше информации и опыта внедрения/миграции на стек DLH
Что разберем:
- Как работает форматы Iceberg, Paimon и чем это лучше чем раскладка паркетов по папочкам (спойлер: сильно лучше)
- Какими инструментами работать с лейкхаусом: Trino, Spark (и это не все!)
- Зачем нужны каталоги, как работают различные каталоги (JDBC, REST etc)
- Как поддерживать датасеты на Iceberg.
В прошлый четверг разбирали как один из слушателей закончил переезд на Lakehouse с Greenplum и сэкономил на инфре на порядок (!). Лайвхаки и опыт этого переезда также разберем на курсе!
Старт на этой неделе - Запись здесь!
https://devhands.ru/lakehouse
1 870
Ничего не могу с собой поделать, и снова вспоминаю самый известный пример поэтического промпт-инжиниринга. (М.Круг «Кольщик)
——
Квенчик, нарисуй мне океан.
На опен-джиэле да си-шарпчике.
…..
Если РАМа хватит, нарисуй
Лодку с парусами, ветром полными
1 870
О важности Харнесов.
Фрагмент переписки на реддите. Все носятся с Qwen 3.8 семейством и спорят, дотягивает ли он до Claude Opus. И в ходе многочисленных тестов из под кучи мусора появляется бриллиант.
Задача - нарисовать реалистичный рендер океана на OpenGL.
VS Code Copilot дает нечто с черным экраном, утверждая, что это рабочее.
Deepseek Harness - с тем же сетапом, промптом, целью - рабочий результат. Который на одном из промежуточных этапов спотыкается об проблему с черным экраном, но преодолевает ее. Еще и скрины делает в качестве репорта промежуточного результата.
Тред тут.
Час работы на RTX 5090. (На скрине ценник за голую ВК для подобного результата).
1 870
Никак не могу понять загадку
Откуда в нашей компании такой пик потребления канцоваров в конце августа и начале сентября.
Но когда-нибудь я разгадаю эту тайну
(С) руководитель отдела закупок - с недобрым блеском в глазах 😈
1 870
Энтерпрайз архитектура
Сцена в опенспейс, действующие лица: Арх и СТО.
—————————————————
- Ситио Айтишевич, почему вы ходите без штанов?
- Так исторически сложилось!
- Наденьте штаны, пожалуйста.
- Это изменения в архитектуре! Пиши RFC, выноси на арх комитет! В ближайшие два комитета повестка готова, к концу квартала рассмотрим твой вопрос. А пока утверди изменение у КиберБеза.
1 870
Архитектор, personal log
Пока на моем винте ждал момента офигенный 4-часовой гайд по агентам, который мне нужно разобрать, дипсик выпустил свой Harness.
И все, гайд можно не смотреть, он устарел.
Сэкономил себе время получается 😄
1 870
Reminder!
Сегодня делаем обзор миграции КХД на Лейкхаус!
18:30 сегодня. Получить ссылку можно в боте
https://t.me/devhands_meetup_bot
1 870
На что только не пойдешь, чтобы получить хорошо работающий ОнПрем S3 под свой DLH
1 870
Не знаю, как подсчитали, но цифра интересная.
Ну и еще раз - годовые инвестиции каждой из упомянутых компаний больше чем потрачено за всю историю российского ИТ. И это создает огромный финансовый стресс даже для грандов рынка. А если (когда?) этот пузырь рванет, то дот-ком и ипотечный кризис - ерундой покажутся.
У нас же - мы в одной компании пытались за квартал продать что-то типа 80 чипов.э класса Н100/Н200. И ох это и задача!
Хотя, надо сказать, что с продажей более дешевых массовых инференс чипов L40S проблем никогда не было.
1 870
Возвращаемся к видео-формату!
В этот четверг в 18:30 обсуждаем кейс переезда с Greenplum на Lakehouse с Алмазом Хайфуллиным из SkillBox! С командой SkillBox я работал около 2 лет по линии ВК-Теха. Мы начали с эвакуации данных из одного из западных облаков в домашний контур. Но команда Скиллбокса на этом не остановилась и следующим шагом поменяла классическое MPP КХД на Лейкхаус.
О предпосылках, ходе миграции, встреченных граблях и найденных лайвхаках поговорим в четверг в 18:30.
От результатов миграции в цифрах у меня возник небольшой культурный шок. Не знаю как вы, а я буду задавать Алмазу много вопросов!
Отдельно мне весьма приятно, что Алмаз был слушателем 1-го потока моего курса по Лейкхаусу в ноябре. А уже в июле полностью мигрировал на стек S3-Iceberg-Trino!
Запись через бот DevHands! До встречи в эфире!
P.S. Запись будет в «Разговорах на Архитекторском» на Youtube и ВК Видео.
