There will be no singularity

Вы наверное помните, у Китая довольно большие проблему с Уйгурами — Китай всячески их притесняет, не так давно стало известно, что существуют «лагеря задержания», а регион где все это происходит оснащен максимальным количеством всевозможных устройств сбора данных. На той неделе по цепи уйгуров в сеть утекла информация (CNN, BBC) для внутреннего пользования полиции Синьцзяна от 2017 года. В том числе секретные брифинги, которые показывают, как эта полиция получает приказы от огромного «кибернетического мозга», известного как IJOP, который помечает целые категории людей для расследования и задержания. Утечка документов включает в себя: • Руководство по эксплуатации для администрации лагерей задержания. • Четыре коротких брифинга на китайском языке, известные как «бюллетени», в которых даются рекомендации по ежедневному использованию «Интегрированной платформы совместных операций» (IJOP), инструменты массового наблюдения и прогностической полицейской деятельности, которая анализирует данные из Синьцзяна. В документах буквально идет речь о том, что некий алгоритм внутри IJOP, обученный на огромном количестве данных (от группы крови до показателей счетчиков электричества, IJOP приложения для полиции, в документе перечислены очень много параметров), способен решать, как задерживать и реагировать на потенциальных преступников, до факта преступления — это принято называть «предиктивная полицейская деятельность». Например, в «Бюллетене № 14» содержится инструкция о том, как проводить массовые расследования и задержания после того, как IJOP сформировал длинный список подозреваемых. В документе сказано, что за 7 дней в июне 2017 года полицейские задержали 15 683 жителей Синьцзяна, помеченных IJOP, и поместили их в лагеря для интернированных Это все выглядит как какой-то фильм или книга, где алгоритм решает как жить людям, но я склонен верить, что скорее всего так и есть, утечка подверждена множеством экспертов, включая лингвистический анализ. Страшно подумать, как за 3 года IJOP поумнел. Правительство Китая утверждает, что все эти документы — фейк. Весь лонгрид на тему слитых документов можно почитать тут.

вот такой вот iJOP...

Как работа стала новой религией Наткнулся на статью, автор которой идеально ухватил дух времени: работа стала новой религией. Он не первый обращает на это внимание, но сформулировал лучше всех. Хотя автор пишет про Америку, его наблюдения справедливы и для большей части развитых стран, включая Россию (по крайней мере, крупные города). Содержание вкратце. В 30-50-х годах Кейнс и ряд других экономистов верили, что мир движется в сторону сокращения рабочей недели, и главной проблемой будущего станет избыток свободного времени. С тех времен нагрузка действительно сократилась — в среднем на 200 часов в год. Но верхняя прослойка людей с высшим образованием, особенно мужчины, стали работать больше. В наше время работа стала ассоциироваться не столько с пропитанием, сколько с идентичностью. Это новая религия — работизм. Последователи работизма верят, что работа лежит в основе их идентичности и составляет смысл жизни. Взлет работизма случился одновременно с угасанием традиционных религий и распространением других религий современности: гламура, движения в защиту меньшинств и др. Рост занятости высших классов идет вразрез с экономической логикой. Исторически элита всегда работала меньше. Аристократия доиндустриальной Европы тратила почти все свое время на ужины, балы и сплетни. Богатые американцы в начала XX века развлекали себя спортом и каждую неделю ходили в кино. Переворот произошел относительно недавно. Еще в 1980 году американские мужчины с самым большим доходом работали на несколько часов в неделю меньше, чем мужчины со средними и низкими доходами. Но уже к 2005 году 10% самых богатых женатых мужчин работали дольше всех, а мужчины с высшим образованием сократили время на отдых больше, чем любая другая социальная группа. Начавшись с богатых мужчин, эпидемия позже распространилась на другие слои населения. Сегодня 95% американских подростков говорят в опросах, что «чрезвычайно важно получат удовольствие от работы / карьеры». Помощь нуждающимся (81%) и брак (47%) в качестве приоритетов называет значительно меньший процент. Для части людей, продолжает автор, сделать работу смыслом жизни совершенно нормально. Предприниматели, топ-менеджеры, ученые рассматривают работу как увлекательное соревнование. Но распространение работизма на все население ведет к массовому стрессу и неибежному выгоранию. Все больше работодателей говорит о миссии, ценностях, призвании и ожидают от соискателей религиозного рвения и фанатичной преданности. Для топ-менеджеров это хоть как-то оправдано. Но какой высший смысл может найти в своей работе бухгалтер, менеджер по маркетингу или продавец? И даже высокооплачиваемый разработчик не чувствует отдачи от своей работы, если он всего лишь винтик в большой организации. Проблема удовлетворенности особенно критична для белых воротничков. Синие воротнички, по крайней мере, производят материальные объекты, которые можно потрогать. Белые воротнички производят отчеты, алгоритмы и рекламные кампании. Чем белее воротничок, тем неосязаемее продукт. Претендуя на роль новой религии, работизм мало что дает в ответ. Через традиционные религии люди обретают смысл, спокойствие и поддержку общины. Проповедники работизма тоже вещают про общность и высшую цель, но по факту это крысиные бега «элементарных частиц». По опросу Gallup, на который ссылается автор, 87% опрошенных в США не испытывают любви к своей работе. И это число растет с каждым годом. #работа

Хорошая причина. Многое объясняет (с) С нетерпением жду, когда автору напихают за богатых белых мужчин...

И чтобы завершить тему с валидацией email :) Есть простой прием, которым почему-то никто не пользуется. Перед добавлением адреса в базу, проверьте домен почты пользователя на наличие mx записи в dns. У nodejs, например, для этого есть отдельный core модуль: https://nodejs.org/api/dns.html

Забыл дать ссылку на правильный регексп для валидации email :) http://www.ex-parrot.com/~pdw/Mail-RFC822-Address.html И, оказывается, целый сайт про это есть emailregex.com

Информация для тех, кто никогда не пробовал валидировать email регекспами :) Оказывается практически никто не знает, что большенство почтовых сервисов поддерживает адреса формата user+meta@ Это значит, что на адрес user@gmail.com придут письма, отправленные на ящики вида user+tag@gmail.com Зачем это нужно? Например, чтобы можно было оставлять один адрес во всех интернет магазинах и баннить их в случае утечек баз. Ну и любая другая логика.

Только про сбербанк с его рандомом все забыли, как отличился ai от тинькофф

Для тех кто придумал коллективные твиттеры заготовлена отдельная банка в матрице. Смотришь - текст от имени девушки, а на аватаре довольный москвич с синими волосами. Наверняка еще и рубист.

Запись моего доклада на highload 2019 включили в общий плейлист, перезалив оригинальный ролик. Теперь там отдельный счетчик просмотров и лайков. #attentionwhore

По просьбам читателей добавил лайки. Т.к. к старым постам их не прикрутить, лайкайте все посты про поездку в Пермь тут. PS: Дуров, лайки в твоем телеграмме без поллитра не прикрутишь. Шейм он ю

Вот вам немножко фотографий из их офиса

PS: Miro отличные ребята. Все что они рассказывают про продуктовую часть своей работы - прекрасно. Я им желаю всяческих успехов и захвата мира. Если мир захватится с такими костылями, мир сам виноват. Перезагрузка матрицы всё почистит :)

И самое интересное. На конференции выступал разработчик из Stripe. Stripe - карточный процессинг, самый дорогой выпускник Y-Combinator с оценкой в $35b. Основной их фишкой с самого начала был самый легкий онбординг в индустрии. From developers to developers. Лучшая документация, лучшее версионирование api. Мне немного удалось пообщаться с докладчиком. Знаете какой у них стек? Ruby + mongoDb. И, кажется, vertica для аналитики (он ни разу не слышал про ClickHouse) Но не просто Ruby и не просто MongoDb. Они и то и то допилили. На вопрос "как же вы без транзакций живете, вы же платежный сервис", был дан ответ "страдаем" :)) Хотел сохранить эту ссылочку до разговора о NOSQL базах данных, но сейчас подходящий момент. Если вкратце - кластер MongoDb может терять до 42% данных. https://aphyr.com/posts/284-jepsen-mongodb Да, статья старая. в 2017 году автор написал что в новых версиях стало еще хуже :)) Улучшилось что-то в четвертой ветке - неизвестно, предлагаю желающим проверить на продакшене :))) Кстати, о Redis. Кластер Redis может терять до 56% данных... https://aphyr.com/posts/283-jepsen-redis Выводов не будет, выводы в названии канала.

Во-вторых, что у них на бэке... Начнем с того, что они долгое время хранили все в... Redis. Они, судя по всему, очень удачливые сукины сыны. Это отчасти объясняет то, что у них нет namespace'ов в API. Потом они решили, что дальше так нельзя и надо сложить данные в Postgresql. И знаете что они сделали? Они пропустили шаг с ORM и пошли еще дальше. Взяли JOOQ (это такая либа для описания SQL в виде собственного DSL) и засунули его в свою Java. Т.е. они пишут запросы на JOOQ, который компилируется во время выполнения в SQL. Кстати, у них есть вакансии постгревых DBA с релокацией в Пермь :)

...После митапа на highload я полетел в Пермь на Miro Platform Developers Conference. 2 часа я ехал на такси до Шереметьево и 2 часа летел.... Вышел в час ночи в публичную зону аэропорта Большое Савино, заказал такси, стою, жду. Рядом местный молодой человек орал в трубку кому-то из встречающих - "Да вы что, сдурели, я вас тут 15 минут ждать буду?" :) Miro - душевные ребята. Возможно, вы их знаете по названию RealTimeBoard. Офис у них в отдельном здании на берегу реки. Здание - бывший ремонтный цех. Т.е. лофт, все как положено :) Конференция прошла задорно, но как вы понимаете, этого поста бы не было, если бы было все хорошо. Во-первых, сама платформа. Как говорится, я джва года ждал эту игру (с). Они сделали API для Mindmap. На самом деле можно строить любые схемы. Я давно мечтал о такой штуке, чтоб визуализировать все issue из всех проектов в gitlab на одном графике. Жаль, что сейчас это не очень актуально, но вдруг кто-то сделает. Но не просто API, а платформу. Т.е. возможность делать сторонние интеграции на базе этого API. Кстати, они запустили contest с призом в $21k. Вряд ли вы успеете, но вдруг. https://go.miro.com/platform-contest Так вот. Видно, что ребята не часто делали API. Сколько мануалов в сети с bestpractice, но это все равно не помогло. Например, описание линии

{
  "type": "line",
  // required for creation
  "startWidget": {
    "id": "3074457346811293699"
  },
  // required for creation
  "endWidget": {
    "id": "3074457346811293709"
  },
  "style": {
    // supports short hex code color format
    "borderColor": "#da0063", // default: "#000000"
    // allowed values: "normal", "dashed", "dotted"
    "borderStyle": "normal", // default: "normal"
    // allowed values: 1.0, 2.0, 3.0, 4.0, 5.0, 8.0, 12.0, 16.0, 20.0, 24.0
    "borderWidth": 1.0, // default: 1.0
    // allowed values:
    // "none", "opaque_block", "rhombus", "opaque_rhombus", "circle", 
    // "opaque_circle", "block", "open_arrow", "opaque_arrow"
    "lineEndType": "opaque_block",
    "lineStartType": "opaque_block",
    // allowed values: "straight", "orthogonal", "bezier", "sketch"
    "lineType": "orthogonal" // default: "straight"
  }
}

Да, это прям из документации :) Тут плохо приблизительно все, начиная от id в виде больших интов в строке вместо uuid, отсутствия общего namespace для borderColor, borderStyle, borderWidth и line, заканчивая енумом толщин линий, заданных в формате float. Я думаю, они это осознают, но потом будет всем немножко больно.

¯\_(ツ)_/¯