There will be no singularity

Алекс поделился историей про саппорт aws: https://t.me/devfounder/112 Для меня недосягаемой вершиной саппорта всегда был Рокетбанк. Без булщита, с живыми людьми, которые говорят с тобой на одном языке. Вот тут коротенько написано про них. С чем категорически не согласен, так это что саппорт это _дешевая_ замена маркетинга. Хороший саппорт - это, сцк, очень дорого.

​Firebolt зовут на Product Showdown 25 августа Но внезапно обнаружились записи весенних сессии https://vimeo.com/522252264 https://vimeo.com/511021032 Коротко: - Архитектура Snowflake-like - хранение на s3, независимо запускаемые compute инстансы + слой оркестрации и метадаты. - Хранение данных очень похоже на clickhouse: колонки, партиции и сжатие. Колонки сортируются по PRIMARY KEY в пределах партиции (видимо). Для тех, кто не знаком с clickhouse, замечу, что PK в данном случае не имеет ничего общего с уникальностью. Это sparse index, который определяет поля, по которым будет проводиться сортировка (в пределах партиции). - Есть еще 2 типа индексов - aggregated и join. Aggregate похож на materialized view. Но это не точно: https://vimeo.com/512940949 Join похож на... обычный индекс: https://vimeo.com/512937916 Пока индексы нужно создавать вручную, но потом система сама начнет их рекомендовать. Почему не делать автоматически - хз. - Есть ДВА доступных движка: read/write для general purpose (ETL) и read only для data analytics. Движки выбираются в специальном интерфейсе (а не из SQL, как ожидалось бы) и запускаются на EC2 инстансах, размер которых нужно выбрать до запуска. Можно указать auto-stop период для каждого инстанса: 20 минут/час/никогда. - Упоминается Firebolt ETL на SQL. Из уникальных фич: импорт из kafka. - Заявляется в 10 раз более эффективное расходование ресурсов aws. $16 snowflake vs $1.54 firebot. Табличка сравнения содержит запросы #1, #2, #3, #4 и #5. Что бы это ни значило.... - Вопрос из зала #1: чем вы отличаетесь от snowflake? - во-первых, мы быстрее - во-вторых, мы даем вам больше свободы выбора железа - в-третьих, мы дешевле ¯\_(ツ)_/¯ - Вопрос из зала #2: какой дилект SQL вы поддерживаете? - Postgre-sh - Вопрос из зала #3: сколько времени занимает изменение размера compute-инстанса? - 2-3 минуты Формально получается, что firebolt - это оркестратор managed баз. Скорее всего только Posgresql. В разделе про неструктурированные данные идет речь о функции unnest, которая есть, кажется, только в Posgresql и BigQuery. Еще возникают интересные вопросы, например, об уровне изоляции транзакций в read/write движке. Теоретически, его же можно применять не только для ETL. Можно же, да?.. Пока рано говорить об удобстве использования, но выбор движка в интерфейсе, 3 настройки автостопа, и запуск инстанса за 2-3 минуты заставляет приуныть...

​Phil Eaton, который перепиливал PostgreSQL на go, запостил список SQL парсеров на go, js, java, python: https://twitter.com/phil_eaton/status/1428490231532212231 До моей коллекции SQL тулзин на github ему, конечно, далеко, но несколько новых ссылок я туда добавил :)

​Известного в 80-90х годах музыканта, когда он в сотый раз поехал с турне «лучшее за 30 лет», спросили, не собирается ли он написать новых песен, а то сколько уже можно? Он ответил: «новые песни пишут те, у кого старые плохие» Вот и Егор иногда стряхивает пыль со своих нетленок: ActiveRecord Is Even Worse Than ORM

@здец подкрался незаметно, хоть виден был из далека... Сложно это признавать, но не только таксистов и продавцов со дня на день заменят железные болваны, но и нас с вами. Нас, это нас - программистов, верстальщиков, тестировщиков. Всех. Вы хочите пруфов? Их есть у меня: https://www.youtube.com/watch?v=Mc-gWblq7K4 Ничего не будет. Ни кино, ни театра, ни книг, ни газет – одно сплошное телевидение. Пользуясь пятницей, предлагаю отправиться в запой. В этом нас AI пока не догнал. Но это только ПОКА...

Из нашего чатика: https://twitter.com/andy_pavlo/status/1425277882935488518

​Хозяйке стартаперам на заметку: в B2B все происходит ОЧЕНЬ долго. Многие из вас знают, что мы разрабатываем несколько продуктов - holistic.dev, parsers.dev и dwh.dev У holistic.dev есть интеграции со всеми основными клауд провайдерами в РФ. Они сделаны в виде FaaS (function as a service) только по одной причине - облакам некогда заниматься такими интеграциями. Но ребята из MCS (облако mailru) оказались наиболее легкими на подъем и запилили интеграцию для своих managed баз прямо к себе в админку. Таймлайн выглядел так: - 2020 весь год. Я ищу контакты в MCS - 2020 декабрь. С первого разговора с нужным человеком MCS принимают решение об интеграции - 2021 февраль. Интеграция готова - 2021 март. Я узнаю о том, что интеграция готова, мы начинаем общаться о промо материалах - 2021 апрель. Я рассказываю об интеграции у себя в канале - 2021 июнь. Мы общаемся о промо материалах. - 2021 август. Промо выходит в медиа каналах mail.ru (Новость на сайте и в телеге) Собственно, это была подводка к новости - про нашу интеграцию с MCS объявлено официально, ура! :) PS: если решите делать B2B стартап, ищите sales-кофаундера сразу....

Oracle придумал ускоритель для managed mysql в своем облаке (HeatWave): oracle.com/mysql/heatwave/ Это такая in-memory ai нахлобучка, что бы все было быстрее. For analytics workloads, HeatWave is 6.5X faster than Amazon Redshift at half the cost, 7X faster than Snowflake at one-fifth the cost, 9X faster than Google Big Query at one-fourth the cost, 3X faster than Azure Synapse at one-fifth the cost, and 1400X faster than Amazon Aurora at half the cost. For mixed workloads, HeatWave delivers 42 times better price performance than Amazon Aurora. Как понимаю, это что-то похожее на ottertune.com от Andy Pavlo. Мне кажется, что что-то похожее есть в самом оракле уже года 3-4. Но это не точно..

​Слышали про язык V (As fast as C)? Вот и я не слышал... Но вдруг вам захочется странного, вот SQL database written in pure V. PS: добавил в свою коллекцию опенсорц тулзин для SQL на github. По наводке @sysadmin_tools

Наша постоянная рубрика чего только эти зумеры ни придумают everything is saas: secfi.com We are a team of equity experts 100% focused on helping startup employees understand, maximize and unlock the value of their stock options and shares.

Если вам вдруг интересно про snowflake, но в наших чатах вам сидеть не хочется, то вот канал со snowflake-новостями @snowflake_daily

Facebook похвастался своей key value (largest strongly consistent, geographically distributed) базой zippyDB на основе rocksDB, которую они пилят с 2012: https://engineering.fb.com/2021/08/06/core-data/zippydb/ Похвастался, но сорцов не дал. О чем тогда новость? А новость о том, что уже есть (еще один) serverless REDIS с таким же названием, криповым лендом и зарегистрированной торговой маркой: zippydb.com Его зарегали в 2014. Конечно же это всех запутало :) Смешно будет, если они начнут судиться из-за названия бд…

Плейлист PG Day'21 https://www.youtube.com/playlist?list=PL83V-7Vhzqkpj0qwmOimKR-x3FRVg9lDn Доклады https://pgday.ru/ru/2021/papers

​​Вот есть managed redis (upstash.com), но почему еще никто не сделал managed sqlite?… UPD: конечно же не managed, а serverless

​Клабхаус (извините) открыл регистрацию для всех, без инвайтов. Но дело его живет! Если вы думаете, что оценка snowflake в $70B при выходе на IPO это верх хайпа в мире баз данных, то нет, появился еще претендент. Знаете, есть такие коктейльные бары, в которые пускают только тех, кто в теме. Такие бары называются speakeasy. Со времен сухого закона в США, когда бары располагались за секретной дверью в глубине парикмахерской. В Москве есть бар "Чайная", который находится в подвале в одной из подворотен около Белорусского вокзала. В Куала-Лумпуре вход в такой бар был стилизован под электрическую подстанцию. Так вот, теперь есть speakeasy клауд база данных! firebolt.io Зарегаться в ней можно, только если докажешь, что тебе очень надо! Да, именно. Вы должны доказать, что вам надо. Не наоборот. Нужно созвониться с сейлзами, восхитить их длинной своих пайплайнов и размером хранилища. Мне, например, не удалось. Меня послали в конец очереди ждать паблик релиз в конце этого года. Но все это не помешало компании с двухлетней историей поднять $164m инвестиций. О, этот "а чо, так можно было?" moment. Единственное что я понял, там бай дизайн есть несколько разных движков под разные нагрузки, которые можно выбирать в зависимости от того, что вы ходите сделать. Так же в демке я заметил очень прикольные штуки:

CREATE AGGREGATE INDEX agg_ind ON fact_round (
  game_code,
  player_code, 
  count(distinct round_id), 
  sum(credit),
  ...
)

и

CREATE JOIN INDEX join_games_ind ON dim_games (
  game_code,      -- join column
  game_studio,    -- dim column
  game_currency   -- dim column
)

Похоже действительно пришло время подумать о своей базе данных...

Так, граждане. Базы данных - в утиль. Делаем стартап с антивирусами для машин лергинга https://t.me/denissexy/3859

Месяц назад в великий и ужасный Lukas Eder добавил в JOOQ поддержку Snowflake (через 1.5 года после создания issue). JOOQ един в двух лицах — билдер SQL-запросов для java и AST-парсер для разных SQL диалектов. Думаю, что все знают как я отношусь к ORM в целом и к билдерам запросов в частности. Ну а AST-парсер просто мой прямой конкурент :) И конечно же, как любая low-code технология, это поползло и в другие языки. В go, например. Некоторое время назад я тестировал его парсер для postgreSQL, и, конечно же, все сломал :) Пришло время протестировать Snowflake. У меня накопилось около 7500 тестов для моего AST-парсера и я решил выборочно проверить несколько из них в онлайн демке JOOQ. Угадайте, сколько тестовых запросов из моего набора спарсились без ошибок? PS: подписывайтесь на мою коллекцию опенсорц тулзин для SQL на github.