Архитектор Данных

Новая глава в курсах Clikchouse && Lakehouse - агентные данные! Все, кто занимается данными, столкнутся с агентами в самом недалеком будущем. ➖ Аналитиков попросят сделать, чтобы система отвечала на вопросы заказчиков «на естественном языке». ➖ К Инженерам данных придут с вопросом: «Как так вы еще не вайбкодите свои пайплайны и стримы?» ➖ Архитекторы будут биться с возрастающей и специфичной нагрузкой от агентов ——————————————————————————————— Мы в наших курсах вводим новые главы - как построить общение агентов с корпоративными данными. В ней мы от простого к сложному будем разбирать, как можно улучшить (а не ухудшить) жизнь профессионалов данных в нейро-реалиях. ❓ Как использовать возможности систем по оптимизации? Ведь вопрос заказчика на естественном языке это не 2 запроса в час от живого аналитика, а 100 запросов за 10 минут, где агент переберет сначала все неправильные варианты, прежде чем прийти к правильному. ❓ Какое составить описание данных и как правильно подать его агентам? Ведь описать все невозможно, а гарантировать подачу именно правильных таблиц и витрин агенту -- критически важно! ❓ Как убедиться, что ответ (показатель=100) действительно верный и сохраняется через все рассуждения агента? ❓ Ну или хотя бы как сделать, чтобы агент не пытался самому себе назначить гранты и не искал пароли к БД в конфигах проекта? Ближайший запуск - Четверг 29 октября, Кликхаус!

Утром кефир покупал, случайно нажал кнопку «Хочу работать в Пятерочке» Вышли люди, куда-то повели, и вот. Ну ладно, думаю, 10 Петабайт лейкхауса менеджить, не самое плохое что могло случиться.

Ну вот так

Надеюсь, вы не забыли про нашу трансляцию! Ссылка - https://vkvideo.ru/live-228742675_456239047 Вопросы и комментарии - под этим постом

В эту пятницу - "Разговоры на архитекторском" выпуск 6! С Александром Томиным поговорим о взломе данных через ИИ Гость - Александр Томин - Web3 Архитектор Время - 18:30 МСК, Пятница 23 Октября В программе: ➖ Кейс - Как ИИшка получила доступ к данным в Clickhouse и всем интеграциям ➖ Простые способы защиты от темных искусств на примере Clickhouse. Какие есть средства для правильной организации доступов к данным, которые должен знать любой дата-маг. От ролевых моделей до продвинутых прокси и детекции нетипичного поведения. ➖ Также о специфике Крипто данных. Как можно использовать данные из публичных реестров для собственной выгоды. Ссылка будет в пятницу в канале. Не отключайтесь.

Разговоры на архитекторском Подкаст зародился в недрах ВК, когда мы с Владом (который все это время главное лицо и вдохновитель канала Данные на стероидах) придумали приглашать гостей для беседы. К счастью несколько классных приглашений уже были в силе - тут помогла поездка на South Hub 2025. После ухода из ВК пути наши разошлись, и дальше я продолжил дело уже самостоятельно. Вот что получилось за чуть более чем год - пять выпусков. Выпуск 1 - Вадим Белов (Х5) - Об архитектуре Лейкхаус Здесь мы побеседовали с Вадимом о переходе платформы данных X5 Tech на архитектуру Лейкхаус. Насколько я знаю, проект продолжается и в районе конца этого года парни планируют полностью потушить старое ХД на Greenplum. Выпуск 2 - Олег Королев (Авито) - О современных платформах ML и корпоративном инференсе Олег - человек за роботами, которые живут в чатах Авито. Точнее человек за человеками за роботами, так как ввсе, что делается в Авито на тему МЛ и ИИ делается на платформе Олега. Выпуск 3 - Влад Каменский (канал об управлении данных) - О пути из CEO в вайбкодеры Влад - человек променявший пиджак Генерального Директора, совладельца компании в области управления данными на спецовку вайбкодера (или в чем там ходят вайбкодеры?) Рассказ о тернистом пути разработки в 2026 году. Выпуск 4 - Андрей Демчинский и Никита Булдаков (Нейроимпланты Элвис) - О современных нейроимплантах и ИИ в медицине Как современные импланты переходят в интерфейс человек-компьютер. И когда уже будущее из Бегущих Призраков КИберпанка (или уже???) Выпуск 5 - Алмаз Хайфуллин (Скилбокс) - О миграции с Greenplum на Lakehouse Отличный кейс быстрой и безболезненной миграции корпоративного КХД. Именно что быстрой и бесболезненной, все слова ключевые! Да, бывает и такое, в умелых руках! —————————————————— Заметили, как первый сезон вводит арку, начинаясь и заканчиваясь с одной и той же темы?

Курс по Clickhouse который запускаем 29 октября Ссылка на программу В программу пока не внесли работу с нейро-агентами, но она обязательно будет! Всех, кто слушал предыдущие потоки также приглашаем на сессию и лабораторку по запуску нейро-агентов. Так как на наших курсах ценность продолжается сильно после их окончания!

Запись вебинара с таймкодами 📱 Youtube 📱 VK Video (пока в обработке) Качественный контент 00:01:22 - Пруф что нейронки умеют хорошо работать как аналитик данный 00:04:30 - Геп на рынке - нет людей, который умеют заниматься и нейроведением и данными 00:07:01 - Метод Царь-промпта 00:11:22 - Самый полезный набор артефактов Офиса Данных - что это? 00:23:20 - Простой хак по написанию полезных Царь-промптов 00:24:30 - Агенты и ассистенты 00:31:05 - Простой сетап для общения с данными на естественном языке! 00:36:06 - Агент плывет за буйки и ищет ключи к Кликхаусу в файловой системе 00:38:20 - Хорошо описанные данные ценнее чем собственные кастомные MCP 00:39:45 - Обвязка чтобы улучшить работу и объяснить агенту что почем 00:46:40 - Нейро-Лабораторка на курсе по Clickhouse 00:49:10 - Чем задача ИИ работы с данными отличается от ИИ (вайб)кодирования 00:52:30 - Экономика инвестиций в ИИ агентов против чисто белковой аналитики 00:53:30 - В чем полезности даже простого сетапа ИИ для аналитиков 00:57:00 - Как добиться правда от ИИ аналитика 01:02:10 - Дизайн дата-интенсивных нейроприложений на естественом языке 01:10:00 - Агентная облачная среда от Кликхауса. Тот же принцип но красивее 01:13:25 - Что будем делать с агентами на курсе —————— Отдельное спасибо всем кто пришел (несмотря на мои чудачества с ссылками) и поделился своими сетапами и опытом!

Подтверждение тезисов со встречи от коллег

как вы используете ИИ для аналитики и разработки КХД

Ссылка на вебинар. Через полчаса стартуем! https://us06web.zoom.us/j/87429185704?pwd=eQr0dJylW8gbdMVgfGODlscm3FjgCo.1

REMINDER - Сегодня в 18:30 подключайтесь на вебинар по Агентским данным

Все эти заполошные крики от Антропика, ОпенИИ и иже с ними «давайте запретим развитие ИИ» - на самом деле от невозможности продолжать гонку. Чисто финансовой невозможности

Запись стрима с таймкодами на Youtube. С вас лайки и подписки. Комментарии разберем в следующей серии. Тайм коды 02:58 - Как моя платформа данных переживает падение Яндекс Облака 08:42 - Данные как правило - не Mission Critical для компании и как с этим жить 12:10 - Как меня несколько раз спасали логические бекапы витрин и основных таблиц 16:00 - Что мы знаем об устройстве Яндекс Клауда 21:36 - О важности различных объектов глазах уважаемых людей и как правильно выбирать себе облако 26:00 - О рынке облаков в России 31:00 - О русском подходе к инжинерии

Открытый вебинар Уже в этот четверг проведем открытый вебинар по агентским возможностям в данных на примере небольшого КХД в Clickhouse Вместе с вами будем разбираться ➖ Как совместить мощь агентов и локальные датасеты в вашей СУБД ➖ Как научить агентов видеть ваши датасеты и разбираться в них - также как постепенно разбирается новый аналитик в вашей команде ➖ Какие нововведения появились для агентов в Clickhouse 26.x и правда ли это лучшая СУБД для агентов. ➖ Что полезного можно найти в опенсорсе И вместе порассуждаем ❓ А как убедиться и убедить бизнес-заказчика, что агент говорит ему правду? Или по крайней мере примерно то же, что сказал бы человек-аналитик —————————- Для кого: Для аналитиков и инженеров данных, которые хотят оптимизировать свою работу с помощью агентов. Четверг - 15 октября, вечер Ссылка будет в канале

Яндексоиды очень долго отвязывали ручные контроли рекламных кабинетов. Доверяйте нашим роботам, говорили они. У нас в метрике риалтайм данные по доброй половине рунета в реальном времени, показывали они. Вы никогда не настроите свою рекламу так эффективно как сделают наши роботы. Вот только нет теперь ни риалтайм сбора метрик, ни пака исторических данных, роботы скорее всего тоже поглупеют. Вручную это также уже не исправишь, вчера кабинеты просто лежали. Отсюда просадка по перфу рекламы. Следом просадка бюджетов и отток на альтернативные площадки. В какой-то мере это так или иначе грозит. Кто-то перераспределит 20% бюджета в другой канал. Кто-то потратит на наружку.

Стрим стрим стрим! (Давайте попробуем) Присоединяйтесь на стрим по ссылке https://vkvideo.ru/live-228742675_456239045 Вопросы и комментарии можно написать под этим постом!

Поисковые роботы яндекса падали до нуля и сейчас работают примерно на 20% от объема

Я тут написал несколько простыней по поводу ситуации с Яндексом Про себя и как команда даты должна реагировать. Про последствия для Яндекса и российского рынка облаков и инфры. Про рыночные эффекты Но потом пальчики устали Давайте сегодня стрим в 21:00 или около того. 25 сердечек этому посту и стримим 💓