Папка “Избранное”

Так, я три дня отписывался одними репостами, теперь пришло время написать нормально. Во-первых, я – украинец. Во-вторых, я из Донецка. Я говорю по-русски. В 2014 году Россия уже отобрала у меня и моих родных мой город. А теперь ваш дед принял решение напасть на мою страну. По статистике группы я вижу, что по крайней мере 70% подписчиков этой группы из России. Поэтому я призываю вас помочь Украине. Как это сделать: 1. Напишите пост в ВК или Одноклассниках с осуждением военных действий в Украине. Многие до сих пор думают что у нас "спецоперация", потому что так сказал лиллипут по телевизору. И тех четырех тысяч двухсотых не существует. А у нас настоящая война, взрывы и разрушения. 2. Более действенная мера – выйти на протест на улицу. Это будет громче, чем телевизор или соцсеть. 3. Если боитесь за свою жизнь, "вне политики" и не хотите делать первые два пункта – тогда вам придется жить в изоляции от всего мира, с чебурнетом, променять отпуск в Испании на Беларусь, ну и терпеть. Эта группа содержит очень мало подписчиков, всего 200 человек. Если хотя бы 5 россиян меня услышат и помогут, то это будет очень круто. Вам не надо извиняться за то, что вы русские или на коленях просить прощения. Это должна сделать ваша власть. И вы можете заставить её сделать это. Русский военный корабль, иди нахуй!

Киев и город Буча киевской области.

Вместо тысячи слов

Антон Птушкин из «Орла и Решки» обратился к россиянам с призывом выступить против войны. «Украина - это государство, которое никогда не нападало на Российскую Федерацию. А сегодня Россия объявила нам войну», - заявил он.

Вчера нашел офигенную штуку n8n. Это как Zapier, только имеет гораздо больше инструментов для разработчиков и можно поставить на свой сервер. Помимо кучи источников-сервисов откуда можно доставать и отправлять данные (типа Гугл таблиц, ноушн, телеграм, страйп, sendgrid) есть много инструментов для разработчиков: выполнение bash-скриптов, SSH оператор, crud операции на базах данных (mongo, mysql, posgres), куча AWS сервисов, прослушка вебхуков, крон джоб. А если и этого мало, есть Function node, где можно написать любой кастомный JS код для обработки данных. Т.е. если подумать, то можно автоматизировать кучу вещей с помощью low-code: - CI\CD деплой - отправку триггерных имейлов - нотификации и алерты - ежедневное выполнение кода по расписанию Попробовать можно через нативные приложения для винды или макоси. Но я запустил из докера командой:

docker run -it --rm \
--name n8n \
-p 5678:5678 \
-v ~/.n8n:/home/node/.n8n \
n8nio/n8n

Ну и напоследок скажу, не пробуйте его использовать как ETL тулзу, т.к. пропускная способность будет явно ограничена (по сравнению с тем же NiFi).

#linux #git А вы знали, что если файл является исполняемым (chmod +x), то его состояние тоже можно (нужно?) коммитить в гит? Вот так добавляем права на файл

git update-index --chmod=+x foo.sh

а дальше как обычно git commit -> git push. https://ionic.zendesk.com/hc/en-us/articles/360000160067-Adding-execute-permissions-using-git

#data #metrics Я недавно постил заметку про новый нынче тренд про Headless BI. Это когда модель данных отделяется от визуализаций (как в Looker). Это позволяет строить более гибкие модели, переиспользовать данные в любом инструменте (не важно в питоне, экселе или BI тулзе). Еще очень часто такие штуки называют Metrics Store. Так вот, я тут покопался и нашел парочку открытых инструментов такого типа, которые возможно стоит попроовать. Во-первых, давайте начнем с Cube.js, мне кажется я слышал про них очень давно, но как-то не обращал внимания. Работает очень просто – подключаете источник, описываете модель данных (табицы и связи между ними), а потом достаётё данные по АПИ запросу, который сам сделает нужные запросы и отправит в базу, а вам отдаст результат. Второй инструмент Lightdash. Есть демка. Очень похоже на Лукер 🙂 Прямо чувствуется, что вдохновлялись им. Работает точно так же как и cubejs. Единственное преимущество – есть интеграция с dbt (видимо чтобы строить витрины через него). MLCraft – это некая надстройка над Cubejs. Даёт доступ по JDBC и GraphQL, контроль версий, multitenancy и прочие приблуды для корпоративного развёртывания. Возможно имеет смысл если кубы вам понравились, но хотелось более продакш сетапа. Ну и последний кандидат – Metriql. Это какая-то смесь dbt и Trino. Вроде как строим модели через dbt и отдаём данные через Трино. Звучит интересно, но беглый взляд на доки не помог разобраться более подробно, нужно погружаться.

#data Хорошая статья в стиле притчи о том, как построить аналитику в компании. https://erikbern.com/2021/07/07/the-data-team-a-short-story.html Речь идёт про вымышленную компанию, которая постеепенно будет превращаться из хаоса в систему работы с данными. Рассматриваются и организационные и технические решения. Мне кажется очень хорошая статья для команд на ранней стадии развития аналитики.