There will be no singularity

Two weird PostgreSQL-related projects in a row: postgresml.org - OSS extension for training and deploying ML models from inside Postgres hydras.io - SaaS Postgres to Snowflake mapping

​There is a new item (from the subscriber) in my collection of non-DB SQL tools at github: https://github.com/noborus/trdsql CLI tool that can execute SQL queries on CSV, LTSV, JSON and TBLN. Can output to various formats.

Clickhouse is faster than PostgreSQL or BigQuery for Geospatial Enrichment https://tech.marksblogg.com/faster-geospatial-enrichment.html

YDB is open source (Apache 2.0) now: https://github.com/ydb-platform/ydb

​Miss me? It seemed to me that since we did not have the news that you all are waiting for, then I should just be silent. But some of you are missing my old man jokes, and I decided to break the silence. I'm still here. I'm feeling good and located in a safe place if you're asking :) We almost shipped the first version of column-to-column lineage in dwh.dev and browser plugin for fast cloud providers integration in holistic.dev So, everything is going on, some great news is coming :) As you can notice, I decided to try to switch to English. For sure, my graphomaniac texts will lose spectacular humor and charm, but I think that this is the least of what is not a pity to lose in the current situation. PS: We are sinking!

Я как-то рассказывал об одной неочевидной причине, по которой апгрейд версии посгреса может привести к болям в разных частях тела - после 12 версии изменился формат сообщений об ошибках (https://t.me/nosingularity/875). Но сегодня всплыл еще один сюрприз: тип результата функции EXTRACT в 14 версии изменился с double precision на numeric. И казалось бы, в чем проблема? Но дальше все зависит от вашего языка и драйвера. Pg-promise по умолчанию кастит numeric к строке, и в результате вместо ожидаемого инта вы получаете строку, в которой будет число с 16 нулями после запятой. Дальше, я думаю, понятно... И я подумал - почему бы не взять все доступные функции и сравнить их сигнатуры от версии к версии. Благо в посгре это можно сделать одним селектом из таблицы pg-proc. Сказано - сделано! https://github.com/antonrevyako/postgresql-functions-changes Справедливости ради, особых откровений в этом сравнении нет: - в pg12 выкинули типы abstime and reltime, и соответственно все функции с ними. - в pg12 добавили параметр к функциям конвертации character encoding. - в pg14 уточнили типа anyarray и any до anycompatiblearray и anycompatible соответственно. - ну и всякое по мелочи... Но EXTRACT в этот список не попал :) В pg-proc не входят функции со специальным синтаксисом, они захардкожены. Мне когда-нибудь будет не лень и я сравню и все специальные функции тоже... Еще в процессе тестирования выяснилось, что pg10 ругается, когда пытаешься скастить json-ноду к простому типу, например BOOLEAN, а все версии выше не ругаются. Энивей, так делать не надо ни в какой версии, поэтому про это будет соответсвующее правило в holistic.dev :)

​В чатике дата инженеров показали опенсорсную тулзу для lineage. Мне стало интересно, что даже пришлось ставить богомерзкий питон, чтобы потестить. Предсказуемо, тулза не понимает специфичного для разных баз синтаксиса, потому что основана на другом опенсорс пакете, который его не понимает. О чем я и рассказал в этом чатике, позвав всех нуждающихся в lineage для snowflake к нам в dwh.dev За что мне мгновенно напихали в панамку на тему того, что я скАтина такая, не контрибучу в опенсорс, а посмел сделать что-то лучше, чем есть в опенсорсе, да еще и за деньги (кстати, пока бесплатно). Так-то оно, конечно, так, но это отличный повод напомнить про мою подборку опенсорс тулзин для SQL :) https://github.com/antonrevyako/useful-links/blob/master/opensource-sql-tools.md

+1 графовая база со своим языком. На это раз поверх постгри: https://www.edgedb.com/blog/edgedb-1-0 video: http://youtu.be/WRZ3o-NsU_4 Концепция делать новые базы поверх существующих хороших баз мне очень нравится :) Сам планирую одну… К слову, Firebolt сделан поверх Clickhouse, FerretDB поверх постгри.

А вот это неплохо: использовать синтаксис партиционирования, чтобы на балансере сделать из партиций шарды. Понятно, что про сквозные констрейнты (PK, UNIQUE) можно забыть, но если это не требуется, то звучит интересно… https://github.com/levkk/pgcat

Первый раз в жизни был гостем подкаста и мне с первого раза понравилось :) Поразгоняли про snowflake, статические анализаторы и наш замечательный data lineage продукт dwh.dev Го слушать :) https://t.me/datacoffee/88 PS: если вы работаете со snowflake, но почему-то еще не в наших чатиков, самое время присоединиться: ru - https://t.me/snowflakedbchat en - https://t.me/snowflakedbchat_en news - https://t.me/snowflake_daily

Час назад выложили плейлист SmartData 2021 https://www.youtube.com/playlist?list=PLeN_80lmoMY37-33D7Jbq09x9wt5BcdBb

Крутейшая новость для тех, кто любит читать пейперы (а именно препринты на arXiv). Если в ссылке на abstract статьи заменить "arxiv" на "ar5iv", то можно читать статью в виде веб-страницы. Тут больше деталей - https://twitter.com/dginev/status/1488157927001268231 Примеры статей: https://arxiv.org/html/1504.00204 → https://ar5iv.org/html/1504.00204 https://arxiv.org/html/2102.02527 → https://ar5iv.org/html/2102.02527

Комрадс, свершилось! Начинаю искать сотрудников в holistic.dev Работать работу. Оплата деньгами. Прямо сейчас нужны js'еры, кто умеет в типы (ts/flow) и знает про SQL. Сначала писать будем правила для анализатора. Т.е. никаких крудов и перекладывания жсонов (хотя, блин, как посмотреть). Не-js'ры, желающие влиться в наш молодой (кхе-кхе) дедовский коллектив, тоже вэлкам, бэклог на 5 лет вперед, работа найдется :) Так же нужен будет техпис, который знает про SQL. Пишите мне в личку @antonrevyako Помни, лайк и шер повышает стрит кридабилити! :)

Пришло письмо от PGConf.Russia В этом году будет проходить 28 февраля – 01 марта. Программы пока нет, ждут доклады. https://pgconf.ru/2022

По мотивам истории с faker.js заметка злого фронтенда про гугл шрифты: https://t.me/angry_front_end/20