Архитектор Данных

UPD В предыдущем посте про Deepseek: Я был не прав относительно инновационных архитектурных решений платформы, которая обеспечила невиданную ранее производительность и эффективность. Вышли обзоры нескольких уважаемых экспертов, действительно молодцы. Это сделала небольшая команда молодых китайских выпускников лучших технических университетов мира. А это давно не новость, что Китай отправляет лучшие мозги учиться по всему миру. Как Петр I в свое время… Зато я был прав что в отношении к безопасности данных и прочих правовых вопросах, сервисы, расположенные в Китае не очень полезны для здоровья: «Wiz Research обнаружила "DeepLeak" - общедоступную базу данных ClickHouse, принадлежащую DeepSeek, раскрывающую высокочувствительную информацию, включая секретные ключи, сообщения в обычном текстовом чате, данные серверной части и журналы…. Это означало, что любой мог получить доступ к логам, содержащим реальные сообщения чатов, внутренние секреты, сервисные данные и, возможно, похищать данные, а также повышать привилегии внутри сервера»

Берегите свои БД от доступа. Закрывайте сетевыми экранами!

Богатыри - не вы! Мы - люди двадцатых годов, золотого века данных. Мы могли: 👨‍💻 Писать SQL запросы полностью в текстовом редакторе. А потом смотреть глазами текстовые (!!) планы и оптимизировать их. 📈 Делать BI отчеты вручную в редакторе. 🏋️‍♀️ Разрабатывать пайплайны без всякого LowCode. Даже делать целые библиотеки для этого. А потом вручную искать, откуда взялись дубли в данных и править это. 🔬Принимать бизнес решения, глядя глазами на графики без генератора готовых инсайтов. А еще люди 20-х наслаждались атмосферой невероятной свободы, когда ИИ еще не гоняли поминутно кожаных мешков по процессам! Все мы живем в чьей-то седой древности. Все мы наслаждаемся «золотым веком» чего-то. Все мы чьи-то «Богатыри - не вы!» и чьи-то деды с перфокартами.

Депрессия в профессии Продолжаю получать по разным каналам инсайды о сокращениях в проектах, связанных с данными. Кампании подбивают финансовые результаты года и сокращают бюджеты на ИТ. Высокие процентные ставки выедают маржу, продажи не растут, аренда и персонал дорожает. «Если у вас выполнение выручки 70%, то и бюджет на все 70%!» - один директор ритейла из моего сезона 2014/15 года. Данные при всей своей полезности, не являются критичной статьей затрат, и идут под нож даже раньше многого другого. Срезали бюджет - приходится корректировать планы развития. Где-то стопать процессы и удалять данные. Где-то решения принимаются более радикальные вплоть до расформирования дата-офиса целиком. В моменте имеем депрессию в профессии, надеюсь, что локальную. Облако исторически было в том числе ответом на подобные кризисы. Если альтернатива: сжать облачный КХД или уволить людей, то лучше иметь такой выбор, чем не иметь его. Он-прем КХД на Оракле или Гринпламе само не сожмется и выбора не будет. Еще проще, если используется ЛейкХаус. Можно потушить отдельные кластера Compute или перевести режим хранения данных в S3 на архивный. Так можно сохранить и команду, и данные, которые тоже актив.

Huge Data На этой неделе общался с боссами дата офиса ВК. Господа управляют всеми данными 3 соцсетей группы ВК, а также ВК Видео, РуСтора, и многих десятков других бизнес-юнитов группы. Масштабы впечатляют. Счет идет на сотни петабайт полезных данных, а планы - на многие сотни петабайт. Кластера из тысяч нод под 100% нагрузкой. Ни в какие хадупы это уже не влезает. Без всяких шансов. И я задумался. Есть такая штука как BigData. У нее есть много определений, таких как 3-V, или «нечто, что бесполезно даже пытаться уместить на одной машине». Там правят бал системы наподобие Hadoop, Greenplum, Vertica, Trino. Системы с шардированием и горизонтальным масштабированием из-коробки, которые можно проскейлить от 10 до 200 узлов, не меняя подходы к управлению данными. Большинству компаний этого хватает. Но в какой-то момент начинается HugeData. По аналогии, это то, что бесполезно даже пытаться поместить в один Хадуп. Как быть, если есть планы на 100 ПБ в одном кластере? Что если бизнес видит в этом пользу? Можно подумать так. Допустим в России 10к платформ данных. То есть 10 тысяч компаний, которые занимаются обработкой данных много и профессионально. Крупный бизнес. Топ-2% из них это BigData - те, кто ставят себе большие планы на развитие, которые видят ценность накопить 50 или 1000 ТБ. Получаем 200 платформ. Топ-2% от этих топ-2% это и есть HugeData. Всего 3-5 платформ данных, которые метят в экзабайты. Интересно, какая статистика в других странах? Кто знает, как в Европе, США, Китае? Есть ли в Японии или Германии компании с данными такого размера и команды, которые берутся за такие задачи?

Про Trino — статьи и видео Привет! На вебинаре во вторник мы рассказали про Trino. Смотрите вебинар Самое время вспомнить наш летний дайджест, посвященный этой теме. Статьи на русском 🔹 Почему Trino такой быстрый: динамические фильтры 🔹 Почему Trino такой быстрый: архитектура оптимизатора SQL-запросов 🔹 Как устроен massively parallel processing (MPP) в Trino 🔹 Обращаемся к Apache Hive через Trino: архитектура движка и принцип действия коннектора Статьи на английском 🔹 Trino versus Apache Spark 🔹 Deploy MinIO and Trino with Kubernetes 🔹 The Best Data Transformation Tools for Trino 🔹 Use Trino with Dataproc 🔹 Enabling Highly Available Trino Clusters at Goldman Sachs 🔹 Trino Architecture Видео 🔹 Как пересесть на Trino после Vertica: реальный кейс Авито 🔹 Роль Trino в Тинькофф: использование встроенных возможностей, собственные доработки и future work 🔹 Как устроено выполнение SQL-запросов в Presto/Trino 🔹 Trino Fest 2024 — 13 докладов 👉🏻 Подписаться на телеграм-канал «Данные на стероидах» #дайджест #ликбез #trino

Всем ли нужно заниматься данными? Нередко заказчики спрашивают что-то подобное. Что, прямо в каждой компании должен быть стек обработки [больших] данных? Сложилась аналогия. Всем ли нужно заниматься спортом? Нет, не всем. Можно прожить вообще без этого и быть довольным. Ведет ли занятие спортом к улучшению жизни? Разумеется, ведет! Требует ли занятие спортом дополнительных вложений денег/времени/сил? Конечно, требует. Вот вам и уравнение. И с данными точно так же.

Спасибо всем кто смотрел вебинар! Запись тут: https://vkvideo.ru/video-164978780_456239621 Спасибо всем, кто задавал вопросы! Продолжить дискуссию можно в комментариях.

Про DLH и Trino. Статьи и вебинар 11.02 Привет! Собрали пятничный #дайджест про Data Lakehouse и Trino. Читайте статьи и приходите на наш вебинар. 🔹 Нужна ли нам Lakehouse архитектура? 🔹 Быстрая обработка данных в data lake с помощью SQL 🔹 Платформа данных в хранилище Магнит OMNI 🔹 Как устроен massively parallel processing (MPP) в Trino 🔹 Почему Trino такой быстрый: динамические фильтры 🔹 Почему Trino такой быстрый: архитектура оптимизатора SQL-запросов Вебинар «Поднимаем Data Lakehouse на основе Trino в облаке» 11 февраля в 17:00 мы разберем, что такое Data Lakehouse. Узнаем, как эта архитектура объединяет преимущества DLH и DWH, чтобы упростить управление, удешевить хранение и ускорить анализ данных из различных источников в одном месте. На примере в лайв-режиме покажем различия в стоимости и скорости работы DLH и DWH. Ведущий — Алексей Белозерский, руководитель группы BigData Services VK Cloud. Подробности и регистрация Хорошего чтения и приятных выходных! 👉🏻 Подписаться на телеграм-канал «Данные на стероидах» #дайджест #ликбез #Data #AI

Мой топ алго собеса. В очень маленькой компании на позицию дата инженера. Пришел разработчик и задал литкод - что-то вроде найти три наименьших расстояния в массиве чисел без сортировки. Только после решения такой задачи человека можно было допустить к перекладыванию данных из Монго в Кликхаус. Я не справился. Потому что не люблю литкод.

Алгосики Вечная тема в ИТ и (около-)разработческих кругах. Нужны ли? Правильно ли делать алго-секции если ты чуть меньше Яндекса/Авито/Тинька? Очередной пост у Киры Кузьменко (осторожно много букв!) поднимает тему. Мое мнение - алгоритмы на собеседованиях в ИТ - это явление из средневекового цеха. Многие ИТ-ники очень стремятся выделить себя в отдельную касту или "цех". Претендуешь попасть в нее - докажи, что ты можешь общаться с нами на равных. Только если разврнешь список рекурсией, мы согласимся что ты не чушпан не подведешь высокое звание ИТ-шника. А как без алгосиков, скажут иные. Ловите, к примеру, такой лайвхак. Первый собес. Находишь тему, которую наш герой а) точно не знает и б) точно нужна на позиции. Глубоко в нее копаешь и четко и прозрачно говоришь - вот это надо. Во-первых, видишь поведение человка, когда он не знает ответ на вопрос. Выкручивается ли? Бегают ли глазки в гугл/ЧатГПТ в соседней вкладке? Уже полезно. Во-вторых, на следующей встрече повторяешь этот же вопрос. И смотришь, есть ли дельта в знаниях. Отсюда сразу видна тяга/способность к изучению нового и быстро. И мотивация попасть конкретно к тебе. Придумал это, когда надо было из 200 резюме выбрать себе 2 падаванов. Работает.

Вебинар по Трино и Лейкхаус Кто пользуется VK Cloud, уже получил приглашение на вебинар по почте. В телеграме будут рассылки чуть позже Встречаемся 11 февраля вечером.

Также посвящается внедрившим API LLM в боты суппорта компаний. Также надеящимся, что Алиса - грамотный ассистент для домашней работы. Как в романе "Алмазный Век" Нила Стивенсона, ага.

Мужчины: «да нет у меня никакой депрессии», также мужчины: Источник.

Любителям использовать ответы нейросетей как аргумент в спорах посвящается Далее репост.

Нейросети и Китайские комнаты Есть известный мысленный эксперимент - «Китайская комната». Представим себе ящик, и в нем сидит человек. На вход подаются карточки с фразами на китайском, который сам человек не знает. Но у него есть подробная инструкция, как ему отвечать. Если на вход карточки 1, 50, 100500800, то на выход - 3, 180, 666666. И так система в целом общается с внешним миром. Инструкция максимально детальная и до какой-то степени релевантная. Постоянно обновляется. Можно ли сказать, что этот человек говорит по-китайски и является носителем китайского языка? Можно ли считать студента, задрочившего все билеты, знатоком предмета? Можно ли школьника, заточенного под идеальную сдачу ЕГЭ и сдавшего на 100, считать освоившим школьную программу? Интересный ответ был предложен в романе «Ложная Слепота» Уотсом. Давайте разделим интеллект и разум. Китайская комната обладает интеллектом, но не разумом. Правда, если начать копать в этом вопросе, то выяснится, что и человек-то не слишком разумен. Я же считаю, что китайская комната не есть интеллект, хотя может быть полезным бизнес-инструментом с кучей оговорок и нюансов. Очень умный попугай не есть эксперт по всем вопросам. Интеллект это способность решать нестандартные задачи нестандартным способом. И вообще, может ли компьютер сочинить симфонию?

Анонс - Data Lake[House] В начале февраля буду презентовать Cloud Trino. Это первый кирпичик в технологии Data Lake / Data LakeHouse. В комплекте идет Iceberg Catalog, который впоследствии может быть подключен к кластерам Trino, Spark, Clickhouse. В итоге будет возможно работать с одним датасетом несколькими сервисами одновременно. Сделали ETL на Спарке, и эти данные сразу же увидели аналитики и BI, подключенные к Трино. Это пока что в будущем. Пока же первый шаг - кластер Trino + k8s + Iceberg Catalog + S3 Bucket. Все сервисы один-к-одному, то есть нельзя будет подключиться 2 кластерами Трино+Трино или Трино+Спарк к одному бакету. В комменты обязательно накидайте вопросы по данному набору технологий, которые хотели бы подсветить. Следите за анонсами, чтобы не пропустить.