There will be no singularity

Наша постоянная рубрика чего только эти зумеры ни придумают everything is saas: secfi.com We are a team of equity experts 100% focused on helping startup employees understand, maximize and unlock the value of their stock options and shares.

Если вам вдруг интересно про snowflake, но в наших чатах вам сидеть не хочется, то вот канал со snowflake-новостями @snowflake_daily

Facebook похвастался своей key value (largest strongly consistent, geographically distributed) базой zippyDB на основе rocksDB, которую они пилят с 2012: https://engineering.fb.com/2021/08/06/core-data/zippydb/ Похвастался, но сорцов не дал. О чем тогда новость? А новость о том, что уже есть (еще один) serverless REDIS с таким же названием, криповым лендом и зарегистрированной торговой маркой: zippydb.com Его зарегали в 2014. Конечно же это всех запутало :) Смешно будет, если они начнут судиться из-за названия бд…

Плейлист PG Day'21 https://www.youtube.com/playlist?list=PL83V-7Vhzqkpj0qwmOimKR-x3FRVg9lDn Доклады https://pgday.ru/ru/2021/papers

​​Вот есть managed redis (upstash.com), но почему еще никто не сделал managed sqlite?… UPD: конечно же не managed, а serverless

​Клабхаус (извините) открыл регистрацию для всех, без инвайтов. Но дело его живет! Если вы думаете, что оценка snowflake в $70B при выходе на IPO это верх хайпа в мире баз данных, то нет, появился еще претендент. Знаете, есть такие коктейльные бары, в которые пускают только тех, кто в теме. Такие бары называются speakeasy. Со времен сухого закона в США, когда бары располагались за секретной дверью в глубине парикмахерской. В Москве есть бар "Чайная", который находится в подвале в одной из подворотен около Белорусского вокзала. В Куала-Лумпуре вход в такой бар был стилизован под электрическую подстанцию. Так вот, теперь есть speakeasy клауд база данных! firebolt.io Зарегаться в ней можно, только если докажешь, что тебе очень надо! Да, именно. Вы должны доказать, что вам надо. Не наоборот. Нужно созвониться с сейлзами, восхитить их длинной своих пайплайнов и размером хранилища. Мне, например, не удалось. Меня послали в конец очереди ждать паблик релиз в конце этого года. Но все это не помешало компании с двухлетней историей поднять $164m инвестиций. О, этот "а чо, так можно было?" moment. Единственное что я понял, там бай дизайн есть несколько разных движков под разные нагрузки, которые можно выбирать в зависимости от того, что вы ходите сделать. Так же в демке я заметил очень прикольные штуки:

CREATE AGGREGATE INDEX agg_ind ON fact_round (
  game_code,
  player_code, 
  count(distinct round_id), 
  sum(credit),
  ...
)

и

CREATE JOIN INDEX join_games_ind ON dim_games (
  game_code,      -- join column
  game_studio,    -- dim column
  game_currency   -- dim column
)

Похоже действительно пришло время подумать о своей базе данных...

Так, граждане. Базы данных - в утиль. Делаем стартап с антивирусами для машин лергинга https://t.me/denissexy/3859

Месяц назад в великий и ужасный Lukas Eder добавил в JOOQ поддержку Snowflake (через 1.5 года после создания issue). JOOQ един в двух лицах — билдер SQL-запросов для java и AST-парсер для разных SQL диалектов. Думаю, что все знают как я отношусь к ORM в целом и к билдерам запросов в частности. Ну а AST-парсер просто мой прямой конкурент :) И конечно же, как любая low-code технология, это поползло и в другие языки. В go, например. Некоторое время назад я тестировал его парсер для postgreSQL, и, конечно же, все сломал :) Пришло время протестировать Snowflake. У меня накопилось около 7500 тестов для моего AST-парсера и я решил выборочно проверить несколько из них в онлайн демке JOOQ. Угадайте, сколько тестовых запросов из моего набора спарсились без ошибок? PS: подписывайтесь на мою коллекцию опенсорц тулзин для SQL на github.

У всех так пригорело от поста Тонского (см выше), что Никиту в комментах почти распяли, а сам он даже начал отползать с извинениями. Между тем Кортланд Аллен недавно позвал в свой подкаст "Indie hackers" Андрея Азимова - живущего на Бали парня, который кодить почти не умел и продукты делал настолько "на коленке", что волосы шевелятся. Когда он писал свою тулзу "year in progress" - Андрюха не знал, как сделать в макоси прогресс-бар. Поэтому он нарисовал сто (!) картинок от 1% до 100% и написал сто if-ов "if (x==1) нарисовать 1.gif" (это буквальная цитата из его рассказа, я так ржал, что почти врезался в человека на пробежке) От такого кода у любого уважающего себя синьора, конечно, вытекут глаза. Андрей, между тем, зарабатывает $10к в месяц и сам над собой хохочет. Когда он строил какой-то очередной сайт-поделку, он не умел в базы данных. Поэтому засунул все в google sheets и за пару дней наговнокодил скрипт (на php конечно) который забирает контент по API и пихает в HTML. После чего почесал репу и создал из этого красивый продукт https://www.sheet2site.com/ (на этом месте вытекли глаза не только у сеньоров, а вообще у всех продактов/стартаперов) Зато все маркетологи мира очень ему благодарны. Поправил табличку - сайт изменился. Никаких тебе логинов, вордпрессов, CMS-ок или даже маркдауна с джемстеком и тейлвиндом с деплоем через git. Просто дай права на гугл-доку, выбери шаблон - и вот вам ваш готовый сайт. Свободная касса. PS. подкаст тут (на английском), там сверху ссылки itunes/spotify и тд

Сингулярности не будет. Но будет много богатых сайто-поделочников. Лишь бы такой же фигни с медициной и фермерством не случилось.....

​SQL-WTF SQL-TIL snowflake edition Такое ощущение, что в Snowflake сами не знают что умеет их база. Недавно выяснилось, что при создании таблиц поддерживается описание типов из ORACLE:

VARCHAR2(100 BYTE),
NVARCHAR2(80)

В документации, конечно, тишина. Сейчас понадобилось сделать демку с использованием MASKING POLICY. Решил освежить знания по документации. Листаю список ограничений: ... не применяется к виртуальным колонкам ... WAT? Виртуальные колонки? Откуда в Snowflake виртуальные колонки? Есть что-нибудь в документации? Есть, но про EXTERNAL TABLE. А давайте попробуем...

create table vc_test (
  key       number,
  check_sum number as HASH(key)
);

insert into vc_test(key) values (1);
select * from vc_test;

-- 1,-4730168494964875235

oO Работает! Так, абажжи...

create table vc_test2(
  key       number,
  check_sum number as (SELECT key FROM vc_test) DEFAULT 1 NOT NULL
);
insert into vc_test2(key) values (1);

И это работает! А ну-ка...

select * from vc_test2;

-- [42000][1003] SQL compilation error: syntax error line 1 at position 1 unexpected 'SELECT'. syntax error line 1 at position 31 unexpected 'GENERATOR'.

Чивооо? GENERATOR?

SELECT GET_DDL('table', 'VC_TEST2');

-- result:
create or replace TABLE VC_TEST2 (
  KEY NUMBER(38,0),
  CHECK_SUM NUMBER(38,0) AS ((SELECT 1 AS "KEY" FROM TABLE (GENERATOR)ROWCOUNT => 1, rowCount => 1) GENERATOR)) NOT NULL DEFAULT 1
);

Directed by Frank Slootman Тейкэвей: - в snowflake существуют виртуальные колонки для обычных таблиц - при объявлении засунуть в них можно что угодно, но работать будет не все :) - значения в колонках не мемоизируются - с виртуальными колонками многое что нельзя, но несмотря на предыдущий пункт, кластеризацию все-таки можно

Перефразируя классика: Если в 2021 вы еще не в облаке, то что-то с вами не так и вообще позорище... :) Событие пройдет сегодня-завтра, поэтому есть шанс про него не забыть (а не то что pgday). ☁️ Сегодня, в 18:00 (GMT+3), AWS комьюнити приглашает на All about AWS 2021 — бесплатный онлайн ивент, посвященный клауд миграции и её стратегиям ☁️ 📍Язык ивента: украинский и русский 15 июля пройдут панельные дискуссии, где спикеры из AWS и SoftServe будут говорить о: — миграции в клауд, как ее разумно планировать, чтобы сэкономить время и уменьшить расходы; — почему бизнес решает оставаться в дата центрах. 👉 Регистрация

​Чят, пожалуйста, помогите с кастдевом! Мы делаем тулзу для поиска и анализа связей в структурах данных в аналитических базах данных. Есть несколько гипотез, которые хочется протестировать. Вендор базы значения не имеет, думаю, что проблемы у всех приблизительно одинаковые. Есть большая потребность в теплом интро к Data Lead, Chief Data Officier, VP of Data Engineering - с любым техническим или нетехническим специалистам верхних уровней, связанных с датой. Интересуют все области - и дата инжиниринга и дата саентисты. Может еще какие-то есть? :) Не надо пугаться, на данный момент мы НИЧЕГО НЕ ПРОДАЕМ. Основная задача - проверить попадаем мы ли мы в боль и насколько сильно болит. Поэтому не стесняйтесь сдавать своих коллег и коллег коллег :) Языки - RU/EN. Пишите @antonrevyako или в чат

Оказывается сегодня бесплатная конфа по #postgres Список докладов https://pgday.ru/ru/2021/papers

Почему я не написал про pgday? Правильно, потому что никто не прислал письма с напоминанием...

​Разговорились с @oleg_log и по мотивам upstash.com родилась идея стартапа: - Берем sqlite и redis - Соединяем одно с другим, наружу выставляем sqlite - Идем в YC как sql over redis as a service ... - PROFIT! Сами мы это, конечно, делать не будем, но вдруг вам захочется странного...

В чатике срач про дефолты. Люблю такое :) PS: читать начиная с закрепа

​Я ужасно ненавижу дефолты. В любых проявлениях. Но в аргументах методов особенно. Я уже бомбил об этом здесь Если коротко, то это write only фича. IDE тебе подскажет значения дефолтов, когда ты пишешь код. А когда читаешь? А если читаешь не в IDE, а, например, ревьюишь код в гитхабе(лабе)? Все константы должны быть в конфиге и явно передаваться везде, где хочется воткнуть дефолт. А что я об этом вспомнил? У Никиты вышел пост про сборщики в java-мире. Я застал и ant и groovy. Возможно, это и было основной причиной того, что я никогда больше не хочу связываться с java. Хотя, кого я обманываю... Конечно же, не только это. Так вот, Никиту бомбит с того, что джависты взялись писать сборщики на groovy. И там считается нормальным напихать дефолты в любую дырку... Есть некоторые, простигосподи, CTO с 10k подписчиков в твиттере, которые не видят в этом никакой проблемы. Предлагаю всем включить вопрос про дефолты в culture fit interview... :)