Данные на стероидах
Ir al canal en Telegram
Команда Дата сервисов VK Tech о практиках и подходах для извлечения максимальной пользы из работы с данными. Мы в MAX: https://max.ru/stereodata
Mostrar más3 251
Suscriptores
-624 horas
+67 días
-330 días
Archivo de publicaciones
3 251
Роман Стятюгин, директор по AI-продуктам VK Tech, показал, как сотрудники могут работать с ИИ-агентами в привычном интерфейсе — через веб-чат и ботов👇
3 251
Продолжаем трансляцию VK Workspace Сonf 2026. Говорим про ИИ в рабочей среде 🤖
Дмитрий Меркушов, руководитель ML-направления VK Tech, и Сергей Харламов, руководитель отдела AI VK Tech, показывают возможности ИИ-ассистента VK WorkSpace: как он находит нужное в переписке, учитывает права доступа и формирует ответы со ссылками на источники.
Еще на выступлении расскажут, как VK WorkSpace может работать с внешними агентами, и раскроют подробности про автоматизацию через MCP.
Смотрите трансляцию по ссылке ➡️
3 251
Repost from VK WorkSpace
На VK WorkSpace Conf 2026 мы представили новые возможности цифровой среды VK WorkSpace для совместной работы внутри компаний и с коллегами из других организаций
🤝 Расширили сценарии работы сотрудников из разных корпоративных доменов
В облачной версии платформы компании смогут объединять в единый тенант неограниченное число доменов одной организации. Сотрудники объединенных доменов смогут общаться друг с другом в Мессенджере и Видеоконференциях.
В On-Premise-версии уже доступна федерация между любым количеством инсталляций, использующих версию VK WorkSpace 26.2 и выше.
💙 Представили новые возможности сервисов
— В Диске VK WorkSpace реализовали настройку прав на просмотр, редактирование и комментирование документов, а также возможность ограничить срок действия ссылки и защитить ее паролем.
— Календарь VK WorkSpace позволяет сотрудникам делиться рабочим расписанием встреч, отражающим актуальную занятость без раскрытия конфиденциальной информации о встречах.
— В Доске VK WorkSpace при гостевом доступе можно дополнительно защищать доски паролем. Функция уже доступна в SaaS и до конца года будет реализована в On-Premise.
⚙️ Обновили технологическую архитектуру On-Premise-версии
Платформа переходит с инфраструктуры на базе Docker Compose на Kubernetes. В графическом инсталляторе появился механизм, который позволяет пошагово перевести существующую инсталляцию на Kubernetes через веб-интерфейс.
Изменится и процесс развертывания платформы. В инсталляторе обязательным этапом стали автоматические проверки инфраструктуры заказчика на соответствие системным требованиям VK WorkSpace. Для настройки виртуальных машин также появятся готовые рекомендуемые конфигурации, при этом возможность задать параметры вручную сохранится.
🤖 Реализовали ИИ-сценарии
В Мессенджере, Видеоконференциях, Почте, Календаре и Диске появятся новые функции на базе искусственного интеллекта. Компания также представила ИИ-Ассистент VK WorkSpace и MCP-сервер для подключения ИИ-агентов.
Спасибо, что следите за новостями вместе с нами! VK WorkSpace Conf 2026 продолжается.
📬 Мы в МАХ
3 251
Repost from VK WorkSpace
⚡️На VK WorkSpace Conf 2026 представили обновление платформы: интегрированные ИИ-сценарии позволят сотрудникам автоматизировать работу и эффективнее решать повседневные задачи.
В VK WorkSpace появятся умные функции внутри отдельных сервисов, единый ИИ-Ассистент, который сможет работать с контекстом и выполнять действия по поручению пользователя, а также поддержка протокола MCP (Model Context Protocol) для подключения агентов.
🤓 Умные функции внутри сервисов
В платформе появится возможность поиска по смыслу. Пользователю не обязательно помнить точное название документа, тему письма или формулировку сообщения: достаточно описать задачу или тему, а система поможет найти связанные материалы с учетом прав доступа. Также благодаря ИИ в видеоконференциях можно будет автоматически расшифровывать встречи и готовить конспект.
👋 ИИ-Ассистент VK WorkSpace
В первой версии ИИ-Ассистент будет работать с доступной пользователю перепиской в Мессенджере VK WorkSpace: анализировать смысл запроса, находить связанную информацию и давать готовый структурированный ответ со ссылками на исходные сообщения и чаты. Эта функциональность уже доступна в VK WorkSpace On-Premise, а в SaaS-версии появится в октябре.
🤖 Подключение ИИ-агентов к VK WorkSpace
В составе VK WorkSpace On-Premise 26.3 появится MCP-сервер, через который ИИ-агенты смогут выполнять действия внутри VK WorkSpace: например, собрать информацию из рабочих переписок или подготовить материалы к встрече. С MCP-сервером смогут работать в том числе агенты, созданные в VK AI Space — платформе VK Tech для разработки мультиагентных ИИ-систем в контуре компании.
👉 Читайте подробности по ссылке.
📬 Мы в МАХ
3 251
Через 10 минут начинаем VK WorkSpace Conf 2026 🔥
Подключайтесь к онлайн-трансляции и задавайте вопросы экспертам под роликом в VK Видео или в чат-боте в MAX.
До встречи в эфире 👋
3 251
🖥 Data Lake появился так: сырые данные, логи и историю стали складывать в более дешевое хранилище, а обрабатывали их отдельными вычислительными движками по мере необходимости.
Data Lake помог разгрузить DWH, но без табличного слоя озеро быстро рисковало превратиться в болото: данные лежат, но не всегда ясно, какая версия актуальна, кто что изменил и можно ли на этом стабильно строить BI и ML.
В итоге вместо одного контура компании получали два, а еще — новые копии данных, новые пайплайны и риск превратить озеро в болото файлов, на котором сложно построить BI и ML.
Ответом стала архитектура Data Lakehouse. Хранение больших объемов данных оставалось в объектном хранилище, а поверх файлов формировался управляемый табличный слой — с метаданными, версиями таблиц, транзакциями и согласованным доступом для разных движков.
Так слой данных превратился из архива в полноценный рабочий контур: для SQL-аналитики, ETL/ELT, BI-витрин, ad-hoc-запросов и подготовки данных для ML/AI.
Хотите узнать, как это работает на практике?
Если да, проверьте себя, пройдя опрос ⬇️
📬 Мы в Max
3 251
Когда S3-хранилище растет, метаслой приходится развивать вместе с ним.
Чем больше данных, нагрузки и функциональности, тем сложнее масштабировать систему, если хранение метаданных тесно связано с бизнес-логикой.
На SmartData 2026 эксперт VK Tech Иван Найденов расскажет, как команда пересматривала архитектуру собственного S3-совместимого хранилища и почему решила разделить метаслой и прикладную часть системы.
В докладе Иван разберет:
🔵почему для взаимодействия выбрали асинхронный подход
🔵 как при такой архитектуре работать с согласованностью данных, идемпотентностью и порядком операций
🔵 что происходит при частичных отказах и как система после них восстанавливается
🔵 по каким требованиям выбирали новое хранилище метаданных и на какие компромиссы пришлось пойти.
🗓 23 сентября
📍 SmartData 2026, зал 3
Подробнее о выступлении и участии в конференции по ссылке.
📬 Мы в МАХ
3 251
🗄 Что учесть при выборе хранилища, кроме цены и скорости?
Почти любое хранилище предстоит расширять и обновлять в процессе добавления данных. Поэтому еще до покупки стоит выяснить, сколько будет стоить рост объема данных и как система поведет себя при отказе диска или сети.
Об осознанном выборе платформы хранения на эфире AM Live 11 сентября рассказала Екатерина Канунникова, директор по продуктам дата-сервисов VK Tech. Если пропустили — смотрите запись по ссылке.
В карточках собрали главное из выступления Екатерины ⬆️
📬 Мы в МАХ
3 251
Долгие годы основой корпоративной аналитики было централизованное хранилище Data Warehouse (DWH), куда данные попадали уже очищенными и подготовленными. По ним можно было сразу строить отчеты. На основе DWH собирали витрины и отдавали их в BI-системы — инструменты, которые превращают данные в наглядные отчеты и дашборды для бизнеса.
Такая схема хорошо работала для регламентной отчетности. Но объем и разнообразие данных росли: в хранилище начали складывать сырые события, логи, многолетнюю историю, датасеты для ML.
DWH становился все менее удобным для таких сценариев, потому что: 🔵хранение дорожало 🔵расширять кластер становилось сложнее 🔵тяжелые расчеты и разовые запросы аналитиков конкурировали с отчетностью за ресурсы 🔵под каждый новый сценарий приходилось готовить данные и дорабатывать пайплайны.Поэтому появился другой подход: не переносить все в дорогой DWH, а построить рядом Data Lake — озеро данных. Но и его на все не хватило. 🔥 — если будете ждать подробностей 📬 Мы в МАХ
3 251
Как современный S3 защищает, сжимает и реплицирует данные
Simple Storage Service долго использовали довольно прямолинейно: хранили в нем бэкапы, архивы и данные для Data Lake, обращаясь к ним через единый API. Но чем важнее становились данные в объектном хранилище, тем больше требований стало предъявляться к самому S3.
1️⃣ Простого копирования уже недостаточно. Если объект удалили или зашифровали, версионирование позволяет вернуться к предыдущей версии, а Object Lock дает возможность заранее запретить изменение и удаление данных на заданный срок. Даже для администратора.
2️⃣ Параллельно оптимизируется и физическое хранение — сжатие уменьшает объем отдельных объектов, а дедупликация не дает повторно записывать одинаковые данные. Это может сократить занимаемое место примерно на 20%.
3️⃣ Следующий уровень — отказоустойчивость. Записи можно синхронно распределять между дисками, серверами и удаленными ЦОДами. А чтобы такой кластер оставался согласованным при сбоях, используются Raft, etcd.
Быстрое и надежное S3-совместимое объектное хранилище с высокой степенью защиты данных есть у VK Cloud.
Про место S3 в современной корпоративной архитектуре читайте на Хабре VK Tech.
📬 Мы в МАХ
3 251
🤖 Инфраструктура для ИИ уже готова. Как начать внедрение?
17 сентября на ИТ-практикуме DEPO «ИИ-инфраструктура: от архитектуры до внедрения» Дмитрий Багрий из VK Tech расскажет, как связать функции ИИ-агентов с привычными сервисами сотрудников.
Также эксперты обсудят:
🔹 требования ИИ-нагрузок к GPU, памяти, хранению и энергоэффективности
🔹 реальные кейсы подбора архитектуры и оборудования
🔹 работу высокопроизводительных хранилищ с обучающими датасетами.
Подключайтесь к онлайн-эфиру и задавайте вопросы спикерам. Участникам будет доступна запись и материалы докладов.
📅 17 сентября, 14:30 мск
➡️ Регистрируйтесь на онлайн-трансляцию
📬 Мы в МАХ
3 251
Что дают навыки ИИ-агентов в продакшене
В октябре 2025 года Anthropic представила формат Skills, а в декабре открыла спецификацию и SDK. Формат поддержали Microsoft, OpenAI, GitHub, Atlassian, Figma и Cursor. К сентябрю 2026 года каталог навыков на GitHub собрал больше 170 тысяч звезд на GitHub.
За цифрами — важный сдвиг в архитектуре корпоративного ИИ.
Навык фиксирует порядок работы с корпоративными данными. По сути, это инструкции, которые затем можно использовать в разных агентных сценариях. Например, в VK AI Space навык заводить задачу в таск-трекере подключен одновременно к боту поддержки и ассистенту-расшифровщику диалогов.
Как реализация навыков меняет работу ИИ в компании:
🔹 хуки останавливают выполнение при нарушении бизнес-правил — например, если агент пытается предложить скидку выше разрешенного лимита
🔹 изолированное выполнение ограничивает действия во внешних системах
🔹 сквозной трейсинг фиксирует шаги агента, обращения к модели и API, время выполнения и расход токенов
🔹 разграничение доступов определяет, какие данные и операции доступны агенту в конкретном сценарии.
Роман Стятюгин, директор по ИИ-продуктам VK Tech, в колонке для РБК разбирает, почему навыки превращают корпоративную экспертизу в переносимый актив и как вокруг него строится управляемая агентная архитектура.
➡️ Прочитать полную версию колонки можно по ссылке.
📬 Мы в МАХ
3 251
От ассистентов до агентов: доклады про ИИ на VK WorkSpace Conf 2026
Искусственный интеллект в корпоративных сервисах уже помогает решать отдельные задачи, но как сделать его частью привычных рабочих процессов компании?
23 сентября на VK WorkSpace Conf этой теме посвятим два доклада.
🤖 Сценарии ИИ в цифровой среде VK WorkSpace
Дмитрий Меркушов, руководитель ML-направления VK Tech, и Сергей Харламов, руководитель отдела AI VK Tech, поговорят о месте ИИ в цифровой рабочей среде. В центре внимания — умный поиск в Почте, суммаризация в Мессенджере и встроенный ассистент, который находит информацию в разных сервисах VK WorkSpace.
🤝 Как агенты и сотрудники работают в едином рабочем пространстве VK WorkSpace
Роман Стятюгин, директор по AI-продуктам VK Tech, продолжит тему уже на уровне ИИ-агентов, которых можно создавать в VK AI Space. Они могут получать информацию из Confluence, Jira, 1С, CRM и других внешних систем, а также выполнять рабочие задачи.
Будет особенно полезно для CTO, руководителей ИТ и ИБ, а также для команд, отвечающих за развитие корпоративной инфраструктуры в среднем и крупном бизнесе.
📅 23 сентября, 10:00–20:00
📍 Москва + онлайн
➡️ Регистируйтесь на VK WorkSpace Conf 2026
📬 Мы в МАХ
3 251
🖥 S3 можно использовать как общий слой хранения для ML и Big Data
В ML и Big Data одни и те же данные часто нужны сразу нескольким системам: Spark обрабатывает выборки, Trino записывает результаты, а несколько GPU-воркеров используют один датасет для обучения.
➡️ S3 позволяет вынести данные в общий слой хранения. Объекты доступны по HTTP, поэтому разные вычислительные системы и обучающие воркеры могут работать с ними параллельно — без обязательного копирования датасетов на каждую машину.
Но просто сложить все в один бакет недостаточно. Для ML-проекта данные лучше сразу разделить по назначению:
🔹 датасеты — исходные и обработанные выборки в Object Storage
🔹 версии датасетов — DVC связывает состояние данных с конкретным коммитом кода, а сами файлы хранит в S3
🔹 фичи — например, в Parquet; отдельный feature store вроде Feast нужен, когда одни признаки используют несколько моделей и требуется онлайн-инференс
🔹 веса и артефакты экспериментов — MLflow хранит параметры и метрики, а тяжелые файлы можно складывать в S3.
📁 Есть еще один нюанс: в S3 нет настоящих папок. Поэтому структуру префиксов стоит продумать заранее.
📎Мы в МАХ
3 251
От ассистентов до агентов: доклады про ИИ на VK WorkSpace Conf 2026
Искусственный интеллект в корпоративных сервисах уже помогает решать отдельные задачи, но как сделать его частью привычных рабочих процессов компании?
23 сентября на VK WorkSpace Conf этой теме посвятим два доклада.
🤖 Сценарии ИИ в цифровой среде VK WorkSpace
Дмитрий Меркушов, руководитель ML-направления VK Tech, и Сергей Харламов, руководитель отдела AI VK Tech, поговорят о месте ИИ в цифровой рабочей среде. В центре внимания — умный поиск в Почте, суммаризация в Мессенджере и встроенный ассистент, который находит информацию в разных сервисах VK WorkSpace.
🤝 Как агенты и сотрудники работают в едином рабочем пространстве VK WorkSpace
Роман Стятюгин, директор по AI-продуктам VK Tech, продолжит тему уже на уровне ИИ-агентов, которых можно создавать в VK AI Space. Они могут получать информацию из Confluence, Jira, 1С, CRM и других внешних систем, а также выполнять рабочие задачи.
📅 23 сентября, 10:00–20:00
📍 Цифровое деловое пространство, Москва + онлайн
➡️ Регистрация на VK WorkSpace Conf 2026
📬 Мы в МАХ
3 251
〰️ Как построить хранение под разные нагрузки?
11 сентября подключайтесь к открытому онлайн-эфиру, где обсудим архитектуру хранения данных. От нашей команды в дискуссии примет участие Екатерина Канунникова, директор по продуктам дата-сервисов VK Tech.
В программе — вопросы, которые возникают при проектировании реальной инфраструктуры:
🌟 Где S3 действительно нужен?
🌟 Что проверять на пилоте?
🌟 Как считать стоимость хранения?
Отдельно поговорим про зрелость российских платформ хранения, киберустойчивость и то, какие изменения ждут рынок в ближайшие два-три года.
📅 11 сентября, 11:00
💻 Онлайн
➡️ Регистрируйтесь на эфир AM Live
Мы в МАХ
3 251
💻 От просмотра сообщений до управления кластером: пять UI для Kafka
Kafka можно управлять через консоль. Но если проверять состояние кластера и вносить изменения приходится каждый день, удобнее делать это через инструменты UI.
Команда VK Data Platform протестировала пять Open-Source-инструментов — AKHQ, Kafdrop, Kouncil, Redpanda Console и Kafbat UI — и посмотрела, какой набор задач каждый из них закрывает лучше.
🔹AKHQ дает детальный контроль доступа: fine-grained RBAC, LDAP, OAuth 2.0, ACL, Schema Registry и Kafka Connect. Подойдет для сложной модели ролей, но конфигурация тяжелее. А на больших объемах у команды возникали проблемы с производительностью. 🔹 Kafdrop — самый компактный вариант: образ около 100 МБ, память — до 500 МБ. Хорош для просмотра брокеров, партиций, сообщений и offsets, но возможностей полноценного управления кластером заметно меньше. 🔹 Kouncil интересно работает с JSON: сообщения можно раскладывать в таблицу, фильтровать, сортировать и экспортировать. При этом проект обновляется редко и пока протестирован только до Kafka 3.6.1. 🔹 Redpanda Console особенно удобен для разбора сообщений: поддерживает JSON, Avro, Protobuf, XML, фильтрацию и Schema Registry, работает с Kafka 4.0+. Но расширенные возможности RBAC, SSO и audit logs относятся к коммерческой версии. 🔹 Kafbat UI закрывает наиболее широкий набор эксплуатационных задач: Kafka 4.1.0+, KRaft, настройка топиков, consumer lag, live tail, несколько кластеров, RBAC, Schema Registry и Kafka Connect. Его в итоге и выбрали для Managed Kafka в VK Data Platform.🤓 Резюме: если нужен легкий инструмент для просмотра и диагностики — подходит Kafdrop, сложное разграничение доступа — AKHQ, удобный разбор потока сообщений — Redpanda Console. А для управления современным Kafka-кластером целиком наиболее полно требования команды VK Data Platform закрыл Kafbat UI. Пишите в комментариях, каким UI пользуетесь 👇 Мы в МАХ
