Данные на стероидах
Відкрити в Telegram
Команда Дата сервисов VK Tech о практиках и подходах для извлечения максимальной пользы из работы с данными. Мы в MAX: https://max.ru/stereodata
Показати більше3 250
Підписники
-624 години
+67 днів
-330 днів
Архів дописів
3 250
❓Как использовать на 50% меньше дисковой емкости без снижения надежности
При тройной репликации каждый объект хранится в трех экземплярах, поэтому на 1 ПБ данных требуется 3 ПБ дисковой емкости. Такой подход к отказоустойчивости заметно увеличивает требования к инфраструктуре и ее стоимость.
В VK Object Storage для On-Premise теперь доступен Erasure Coding x1,75. Вместо нескольких полных копий система хранит данные вместе с дополнительными фрагментами для восстановления.
Что это меняет для бизнеса:
🔹 на 1 ПБ полезных данных требуется около 1,75 ПБ дисковой емкости вместо 3 ПБ при тройной репликации
🔹 в одном из реализованных сценариев при эквивалентной надежности требуемая емкость составила 5,3 ПБ вместо 10,5 ПБ
🔹 Erasure Coding позволяет пережить одновременный отказ как минимум двух дисков, а в конфигурации из трех и более ЦОДов при аварии одного дата-центра данные остаются доступны для чтения.
Для компаний с крупной On-Premise инфраструктурой это позволяет иметь меньше дисков и серверного оборудования в закупке без снижения требований к надежности. Особенно эффект заметен для банков, госсектора и других организаций, работающих с большими объемами данных.
Есть и еще одна практическая польза: Erasure Coding входит в обязательные требования многих тендеров и RFI на S3 On-Premise. Без его поддержки решение в части закупок не проходит технический отбор.
Теперь этот сценарий поддерживает и VK Object Storage.
📬 Мы в Max
3 250
Роман Стятюгин, директор по AI-продуктам VK Tech, показал, как сотрудники могут работать с ИИ-агентами в привычном интерфейсе — через веб-чат и ботов👇
3 250
Продолжаем трансляцию VK Workspace Сonf 2026. Говорим про ИИ в рабочей среде 🤖
Дмитрий Меркушов, руководитель ML-направления VK Tech, и Сергей Харламов, руководитель отдела AI VK Tech, показывают возможности ИИ-ассистента VK WorkSpace: как он находит нужное в переписке, учитывает права доступа и формирует ответы со ссылками на источники.
Еще на выступлении расскажут, как VK WorkSpace может работать с внешними агентами, и раскроют подробности про автоматизацию через MCP.
Смотрите трансляцию по ссылке ➡️
3 250
Repost from VK WorkSpace
На VK WorkSpace Conf 2026 мы представили новые возможности цифровой среды VK WorkSpace для совместной работы внутри компаний и с коллегами из других организаций
🤝 Расширили сценарии работы сотрудников из разных корпоративных доменов
В облачной версии платформы компании смогут объединять в единый тенант неограниченное число доменов одной организации. Сотрудники объединенных доменов смогут общаться друг с другом в Мессенджере и Видеоконференциях.
В On-Premise-версии уже доступна федерация между любым количеством инсталляций, использующих версию VK WorkSpace 26.2 и выше.
💙 Представили новые возможности сервисов
— В Диске VK WorkSpace реализовали настройку прав на просмотр, редактирование и комментирование документов, а также возможность ограничить срок действия ссылки и защитить ее паролем.
— Календарь VK WorkSpace позволяет сотрудникам делиться рабочим расписанием встреч, отражающим актуальную занятость без раскрытия конфиденциальной информации о встречах.
— В Доске VK WorkSpace при гостевом доступе можно дополнительно защищать доски паролем. Функция уже доступна в SaaS и до конца года будет реализована в On-Premise.
⚙️ Обновили технологическую архитектуру On-Premise-версии
Платформа переходит с инфраструктуры на базе Docker Compose на Kubernetes. В графическом инсталляторе появился механизм, который позволяет пошагово перевести существующую инсталляцию на Kubernetes через веб-интерфейс.
Изменится и процесс развертывания платформы. В инсталляторе обязательным этапом стали автоматические проверки инфраструктуры заказчика на соответствие системным требованиям VK WorkSpace. Для настройки виртуальных машин также появятся готовые рекомендуемые конфигурации, при этом возможность задать параметры вручную сохранится.
🤖 Реализовали ИИ-сценарии
В Мессенджере, Видеоконференциях, Почте, Календаре и Диске появятся новые функции на базе искусственного интеллекта. Компания также представила ИИ-Ассистент VK WorkSpace и MCP-сервер для подключения ИИ-агентов.
Спасибо, что следите за новостями вместе с нами! VK WorkSpace Conf 2026 продолжается.
📬 Мы в МАХ
3 250
Repost from VK WorkSpace
⚡️На VK WorkSpace Conf 2026 представили обновление платформы: интегрированные ИИ-сценарии позволят сотрудникам автоматизировать работу и эффективнее решать повседневные задачи.
В VK WorkSpace появятся умные функции внутри отдельных сервисов, единый ИИ-Ассистент, который сможет работать с контекстом и выполнять действия по поручению пользователя, а также поддержка протокола MCP (Model Context Protocol) для подключения агентов.
🤓 Умные функции внутри сервисов
В платформе появится возможность поиска по смыслу. Пользователю не обязательно помнить точное название документа, тему письма или формулировку сообщения: достаточно описать задачу или тему, а система поможет найти связанные материалы с учетом прав доступа. Также благодаря ИИ в видеоконференциях можно будет автоматически расшифровывать встречи и готовить конспект.
👋 ИИ-Ассистент VK WorkSpace
В первой версии ИИ-Ассистент будет работать с доступной пользователю перепиской в Мессенджере VK WorkSpace: анализировать смысл запроса, находить связанную информацию и давать готовый структурированный ответ со ссылками на исходные сообщения и чаты. Эта функциональность уже доступна в VK WorkSpace On-Premise, а в SaaS-версии появится в октябре.
🤖 Подключение ИИ-агентов к VK WorkSpace
В составе VK WorkSpace On-Premise 26.3 появится MCP-сервер, через который ИИ-агенты смогут выполнять действия внутри VK WorkSpace: например, собрать информацию из рабочих переписок или подготовить материалы к встрече. С MCP-сервером смогут работать в том числе агенты, созданные в VK AI Space — платформе VK Tech для разработки мультиагентных ИИ-систем в контуре компании.
👉 Читайте подробности по ссылке.
📬 Мы в МАХ
3 250
Через 10 минут начинаем VK WorkSpace Conf 2026 🔥
Подключайтесь к онлайн-трансляции и задавайте вопросы экспертам под роликом в VK Видео или в чат-боте в MAX.
До встречи в эфире 👋
3 250
🖥 Data Lake появился так: сырые данные, логи и историю стали складывать в более дешевое хранилище, а обрабатывали их отдельными вычислительными движками по мере необходимости.
Data Lake помог разгрузить DWH, но без табличного слоя озеро быстро рисковало превратиться в болото: данные лежат, но не всегда ясно, какая версия актуальна, кто что изменил и можно ли на этом стабильно строить BI и ML.
В итоге вместо одного контура компании получали два, а еще — новые копии данных, новые пайплайны и риск превратить озеро в болото файлов, на котором сложно построить BI и ML.
Ответом стала архитектура Data Lakehouse. Хранение больших объемов данных оставалось в объектном хранилище, а поверх файлов формировался управляемый табличный слой — с метаданными, версиями таблиц, транзакциями и согласованным доступом для разных движков.
Так слой данных превратился из архива в полноценный рабочий контур: для SQL-аналитики, ETL/ELT, BI-витрин, ad-hoc-запросов и подготовки данных для ML/AI.
Хотите узнать, как это работает на практике?
Если да, проверьте себя, пройдя опрос ⬇️
📬 Мы в Max
3 250
Когда S3-хранилище растет, метаслой приходится развивать вместе с ним.
Чем больше данных, нагрузки и функциональности, тем сложнее масштабировать систему, если хранение метаданных тесно связано с бизнес-логикой.
На SmartData 2026 эксперт VK Tech Иван Найденов расскажет, как команда пересматривала архитектуру собственного S3-совместимого хранилища и почему решила разделить метаслой и прикладную часть системы.
В докладе Иван разберет:
🔵почему для взаимодействия выбрали асинхронный подход
🔵 как при такой архитектуре работать с согласованностью данных, идемпотентностью и порядком операций
🔵 что происходит при частичных отказах и как система после них восстанавливается
🔵 по каким требованиям выбирали новое хранилище метаданных и на какие компромиссы пришлось пойти.
🗓 23 сентября
📍 SmartData 2026, зал 3
Подробнее о выступлении и участии в конференции по ссылке.
📬 Мы в МАХ
3 250
🗄 Что учесть при выборе хранилища, кроме цены и скорости?
Почти любое хранилище предстоит расширять и обновлять в процессе добавления данных. Поэтому еще до покупки стоит выяснить, сколько будет стоить рост объема данных и как система поведет себя при отказе диска или сети.
Об осознанном выборе платформы хранения на эфире AM Live 11 сентября рассказала Екатерина Канунникова, директор по продуктам дата-сервисов VK Tech. Если пропустили — смотрите запись по ссылке.
В карточках собрали главное из выступления Екатерины ⬆️
📬 Мы в МАХ
3 250
Долгие годы основой корпоративной аналитики было централизованное хранилище Data Warehouse (DWH), куда данные попадали уже очищенными и подготовленными. По ним можно было сразу строить отчеты. На основе DWH собирали витрины и отдавали их в BI-системы — инструменты, которые превращают данные в наглядные отчеты и дашборды для бизнеса.
Такая схема хорошо работала для регламентной отчетности. Но объем и разнообразие данных росли: в хранилище начали складывать сырые события, логи, многолетнюю историю, датасеты для ML.
DWH становился все менее удобным для таких сценариев, потому что: 🔵хранение дорожало 🔵расширять кластер становилось сложнее 🔵тяжелые расчеты и разовые запросы аналитиков конкурировали с отчетностью за ресурсы 🔵под каждый новый сценарий приходилось готовить данные и дорабатывать пайплайны.Поэтому появился другой подход: не переносить все в дорогой DWH, а построить рядом Data Lake — озеро данных. Но и его на все не хватило. 🔥 — если будете ждать подробностей 📬 Мы в МАХ
3 250
Как современный S3 защищает, сжимает и реплицирует данные
Simple Storage Service долго использовали довольно прямолинейно: хранили в нем бэкапы, архивы и данные для Data Lake, обращаясь к ним через единый API. Но чем важнее становились данные в объектном хранилище, тем больше требований стало предъявляться к самому S3.
1️⃣ Простого копирования уже недостаточно. Если объект удалили или зашифровали, версионирование позволяет вернуться к предыдущей версии, а Object Lock дает возможность заранее запретить изменение и удаление данных на заданный срок. Даже для администратора.
2️⃣ Параллельно оптимизируется и физическое хранение — сжатие уменьшает объем отдельных объектов, а дедупликация не дает повторно записывать одинаковые данные. Это может сократить занимаемое место примерно на 20%.
3️⃣ Следующий уровень — отказоустойчивость. Записи можно синхронно распределять между дисками, серверами и удаленными ЦОДами. А чтобы такой кластер оставался согласованным при сбоях, используются Raft, etcd.
Быстрое и надежное S3-совместимое объектное хранилище с высокой степенью защиты данных есть у VK Cloud.
Про место S3 в современной корпоративной архитектуре читайте на Хабре VK Tech.
📬 Мы в МАХ
3 250
🤖 Инфраструктура для ИИ уже готова. Как начать внедрение?
17 сентября на ИТ-практикуме DEPO «ИИ-инфраструктура: от архитектуры до внедрения» Дмитрий Багрий из VK Tech расскажет, как связать функции ИИ-агентов с привычными сервисами сотрудников.
Также эксперты обсудят:
🔹 требования ИИ-нагрузок к GPU, памяти, хранению и энергоэффективности
🔹 реальные кейсы подбора архитектуры и оборудования
🔹 работу высокопроизводительных хранилищ с обучающими датасетами.
Подключайтесь к онлайн-эфиру и задавайте вопросы спикерам. Участникам будет доступна запись и материалы докладов.
📅 17 сентября, 14:30 мск
➡️ Регистрируйтесь на онлайн-трансляцию
📬 Мы в МАХ
3 250
Что дают навыки ИИ-агентов в продакшене
В октябре 2025 года Anthropic представила формат Skills, а в декабре открыла спецификацию и SDK. Формат поддержали Microsoft, OpenAI, GitHub, Atlassian, Figma и Cursor. К сентябрю 2026 года каталог навыков на GitHub собрал больше 170 тысяч звезд на GitHub.
За цифрами — важный сдвиг в архитектуре корпоративного ИИ.
Навык фиксирует порядок работы с корпоративными данными. По сути, это инструкции, которые затем можно использовать в разных агентных сценариях. Например, в VK AI Space навык заводить задачу в таск-трекере подключен одновременно к боту поддержки и ассистенту-расшифровщику диалогов.
Как реализация навыков меняет работу ИИ в компании:
🔹 хуки останавливают выполнение при нарушении бизнес-правил — например, если агент пытается предложить скидку выше разрешенного лимита
🔹 изолированное выполнение ограничивает действия во внешних системах
🔹 сквозной трейсинг фиксирует шаги агента, обращения к модели и API, время выполнения и расход токенов
🔹 разграничение доступов определяет, какие данные и операции доступны агенту в конкретном сценарии.
Роман Стятюгин, директор по ИИ-продуктам VK Tech, в колонке для РБК разбирает, почему навыки превращают корпоративную экспертизу в переносимый актив и как вокруг него строится управляемая агентная архитектура.
➡️ Прочитать полную версию колонки можно по ссылке.
📬 Мы в МАХ
3 250
От ассистентов до агентов: доклады про ИИ на VK WorkSpace Conf 2026
Искусственный интеллект в корпоративных сервисах уже помогает решать отдельные задачи, но как сделать его частью привычных рабочих процессов компании?
23 сентября на VK WorkSpace Conf этой теме посвятим два доклада.
🤖 Сценарии ИИ в цифровой среде VK WorkSpace
Дмитрий Меркушов, руководитель ML-направления VK Tech, и Сергей Харламов, руководитель отдела AI VK Tech, поговорят о месте ИИ в цифровой рабочей среде. В центре внимания — умный поиск в Почте, суммаризация в Мессенджере и встроенный ассистент, который находит информацию в разных сервисах VK WorkSpace.
🤝 Как агенты и сотрудники работают в едином рабочем пространстве VK WorkSpace
Роман Стятюгин, директор по AI-продуктам VK Tech, продолжит тему уже на уровне ИИ-агентов, которых можно создавать в VK AI Space. Они могут получать информацию из Confluence, Jira, 1С, CRM и других внешних систем, а также выполнять рабочие задачи.
Будет особенно полезно для CTO, руководителей ИТ и ИБ, а также для команд, отвечающих за развитие корпоративной инфраструктуры в среднем и крупном бизнесе.
📅 23 сентября, 10:00–20:00
📍 Москва + онлайн
➡️ Регистируйтесь на VK WorkSpace Conf 2026
📬 Мы в МАХ
3 250
🖥 S3 можно использовать как общий слой хранения для ML и Big Data
В ML и Big Data одни и те же данные часто нужны сразу нескольким системам: Spark обрабатывает выборки, Trino записывает результаты, а несколько GPU-воркеров используют один датасет для обучения.
➡️ S3 позволяет вынести данные в общий слой хранения. Объекты доступны по HTTP, поэтому разные вычислительные системы и обучающие воркеры могут работать с ними параллельно — без обязательного копирования датасетов на каждую машину.
Но просто сложить все в один бакет недостаточно. Для ML-проекта данные лучше сразу разделить по назначению:
🔹 датасеты — исходные и обработанные выборки в Object Storage
🔹 версии датасетов — DVC связывает состояние данных с конкретным коммитом кода, а сами файлы хранит в S3
🔹 фичи — например, в Parquet; отдельный feature store вроде Feast нужен, когда одни признаки используют несколько моделей и требуется онлайн-инференс
🔹 веса и артефакты экспериментов — MLflow хранит параметры и метрики, а тяжелые файлы можно складывать в S3.
📁 Есть еще один нюанс: в S3 нет настоящих папок. Поэтому структуру префиксов стоит продумать заранее.
📎Мы в МАХ
3 250
От ассистентов до агентов: доклады про ИИ на VK WorkSpace Conf 2026
Искусственный интеллект в корпоративных сервисах уже помогает решать отдельные задачи, но как сделать его частью привычных рабочих процессов компании?
23 сентября на VK WorkSpace Conf этой теме посвятим два доклада.
🤖 Сценарии ИИ в цифровой среде VK WorkSpace
Дмитрий Меркушов, руководитель ML-направления VK Tech, и Сергей Харламов, руководитель отдела AI VK Tech, поговорят о месте ИИ в цифровой рабочей среде. В центре внимания — умный поиск в Почте, суммаризация в Мессенджере и встроенный ассистент, который находит информацию в разных сервисах VK WorkSpace.
🤝 Как агенты и сотрудники работают в едином рабочем пространстве VK WorkSpace
Роман Стятюгин, директор по AI-продуктам VK Tech, продолжит тему уже на уровне ИИ-агентов, которых можно создавать в VK AI Space. Они могут получать информацию из Confluence, Jira, 1С, CRM и других внешних систем, а также выполнять рабочие задачи.
📅 23 сентября, 10:00–20:00
📍 Цифровое деловое пространство, Москва + онлайн
➡️ Регистрация на VK WorkSpace Conf 2026
📬 Мы в МАХ
3 250
〰️ Как построить хранение под разные нагрузки?
11 сентября подключайтесь к открытому онлайн-эфиру, где обсудим архитектуру хранения данных. От нашей команды в дискуссии примет участие Екатерина Канунникова, директор по продуктам дата-сервисов VK Tech.
В программе — вопросы, которые возникают при проектировании реальной инфраструктуры:
🌟 Где S3 действительно нужен?
🌟 Что проверять на пилоте?
🌟 Как считать стоимость хранения?
Отдельно поговорим про зрелость российских платформ хранения, киберустойчивость и то, какие изменения ждут рынок в ближайшие два-три года.
📅 11 сентября, 11:00
💻 Онлайн
➡️ Регистрируйтесь на эфир AM Live
Мы в МАХ
