Swordfish Security

Разбираем вопросы из вебинара о безопасности ИИ Если вы пропустили эфир, запись уже доступна на Rutube. На вебинаре зрители задали нашим экспертам много интересных вопросов. Отвечаем на самые популярные: 1️⃣ Какие атаки опасны для моделей в промышленности? Для ML применимы Data Poisoning, Trojan / Backdoor и Adversarial Attacks. Например, если ML-модель проверяет производимую деталь на брак: • Data Poisoning позволяет пропускать брак определённого типа или отклонять валидные детали. • Trojan / Backdoor нарушает определение «брак / не брак» и позволяет злоумышленнику влиять на результат при наличии триггера, например наклейки на детали или изменения освещения. • Для осуществления Adversarial Attack можно изменить угол поворота видеокамеры или добавить визуальный шум, чтобы модель начала чаще ошибаться при определении характеристик детали. Для LLM (например, ИИ-агента, встроенного в CAD-систему) актуальны: • Prompt Injection – изменение поведения модели: обман пользователя, вредные правки, фишинговые ссылки, DoS-атаки и нежелательные действия. • Раскрытие системных инструкций, являющихся интеллектуальной собственностью компании. 2️⃣ Какие решения помогают защитить модели, используемые в облаке? 1. AI DAST – инструменты динамического анализа различных модальностей (текст, аудио, изображения). Выполняют blackbox и whitebox-атаки, показывая возможные сценарии атак на ИИ-системы. 2. LLM Firewall – система защиты LLM в реальном времени. Проверяет запросы и ответы, блокирует вредоносные действия и защищает чувствительные данные. 3️⃣ Как определить Shadow AI? Выявить Shadow AI можно, если сотрудник использует его через корпоративную сеть или корпоративные устройства. В этом случае помогают EDR и анализ логов DNS- и HTTP-запросов. При использовании личных устройств определить его практически невозможно, только по косвенным признакам. Чаще всего к Shadow AI прибегают из-за отсутствия доступа к современным моделям. Решением может стать корпоративный доступ через LLM Gateway с подключённым LLM Firewall, который блокирует нарушения политик безопасности и предотвращает утечку данных. 4️⃣А как защищать агентов? ИИ-агенты – те же самые LLM, которым дали возможность вызывать «инструменты» – заранее написанный кастомный код, в который модель передаёт аргументы. В этом случае LLM Firewall может выявлять попытки выполнения опасных действий, но дополнительно требуется проверка самого кода. При этом важно учитывать не только «вредоносность» команд, но и ошибки при их составлении, которые могут привести к критическим последствиям (например, rm -rf /* вместо rm -rf ./*). Эту функцию может выполнять как LLM Firewall, так и клиент через «песочницу» для выполнения команд и запрос подтверждения пользователя перед потенциально опасными действиями. 5️⃣ Какие LLM Firewalls есть в России? На рынке уже доступны отечественные решения этого класса, например AppSec.AIGate, HiveTrace, INFERA AI.Firewall, StarGuard AI и SolidWall AI Security Gateway. 🐟 Рассылка | Max | Habr #SFS_вебинары #AISecurity

🏂 Переходим на летний режим На улице всё больше солнца и тепла, и мы тоже добавили в канал немного летнего настроения с новым фоном ☀️ И заодно подготовили новые аватарки для ваших выходных. Забирайте их скорее, надеемся, ваш отпуск уже совсем близко! А как вы обычно его проводите? ❤️ — отдыхаю на пляже и пью джус, не выходя из бассейна, 🔥 — езжу в новые города изучать архитектуру и культуру, 👍 — отправляюсь в горы и заповедники зарядиться силой природы, Оставляйте свой вариант в комментариях👇 #SFS_life

🛡 Как мы проводим аудит безопасности ИИ-систем Искусственный интеллект уже используют многие компании. Но зачастую его внедрение происходит быстрее, чем появляются правила безопасности, контроль доступа и понимание того, где именно применяются ИИ-системы и какие угрозы они создают. 💡 С чего начать построение безопасного ИИ Первый шаг — обследование: 🎱где и как используется ИИ, 🎱какие команды вовлечены, 🎱какие данные обрабатываются и какие модели применяются, 🎱и какие риски существуют. 🔼Подробнее про наш подход смотрите в ролике. 🐟 Рассылка | Max | Habr #AISecurity

🧠 Разбираем термины DevSecOps Продолжаем серию карточек о ключевых понятиях безопасной разработки ПО. Сегодня говорим о трёх подходах к безопасному релизу приложений: Blue-Green Deployment, Canary Release и Feature Flags. 🔼 Листайте карточки. 🐟 Рассылка | Max | Habr #СловарьDevSecOps

🎤 Обсудим Open Source на митапе «День открытого кода» 30 июня на митапе Департамента информационных технологий города Москвы в МосХаб.Сколково соберутся представители крупных компаний, стартапов и экспертного сообщества, чтобы обсудить, как открытый код меняет разработку, бизнес и городскую цифровую стратегию. На мероприятии выступит Андрей Иванов, директор по развитию бизнеса Swordfish Security. Участников ждут выступления экспертов с практическими кейсами внедрения Open Source, обсуждение актуальных трендов отрасли, а также возможность обменяться опытом и найти новых партнёров для будущих проектов. 🔗 Регистрация и подробности на сайте.

🎤 Обсудим Open Source на митапе «День открытого кода» 30 июня на митапе, организованном Мос.Хаб, соберутся представители крупных компаний, стартапов и экспертного сообщества, чтобы обсудить, как открытый код меняет разработку, бизнес и городскую цифровую стратегию. На мероприятии выступит Андрей Иванов, директор по развитию бизнеса Swordfish Security. Участников ждут выступления экспертов с практическими кейсами внедрения Open Source, обсуждение актуальных трендов отрасли, а также возможность обменяться опытом и найти новых партнёров для будущих проектов. 🔗 Регистрация и подробности на сайте.

Вебинар по безопасности ИИ — скоро начинаем 🎙 Эксперты Swordfish Security в прямом эфире разберут ключевые угрозы для систем искусственного интеллекта, требования регуляторов и подходы к построению защиты. ▶️ Подключайтесь к трансляции в МТС Линк в 14:00 МСК.

🎤 Практика DevSecOps: анализ исходного кода Сегодня команды выпускают код быстрее, чем когда-либо: используют open source, подключают внешних разработчиков и активно внедряют ИИ-инструменты. Но вместе со скоростью растут и риски: уязвимости в коде, небезопасные зависимости, утечки данных и ошибки, которые могут привести к серьезным последствиям для бизнеса. 🗓 24 июня в 15:00 в эфире AM Live эксперты обсудят, как выстроить эффективный процесс анализа безопасности исходного кода в современных условиях разработки. В нем примет участие Александр Гадай, руководитель службы консалтинга Swordfish Security. Вы узнаете: 🎱какие проверки исходного кода необходимы в 2026 году, 🎱почему одного SAST уже недостаточно, 🎱как работать с open source-зависимостями, 🎱и как встроить безопасность в разработку без конфликтов с командами. ➡️ Регистрируйтесь по ссылке. 🐟 Рассылка | Max | Habr #мероприятияSFS

🛡 Атаки на ИИ требуют новых подходов к безопасности 32% руководителей и специалистов по ИБ отмечают, что ИИ-угрозы стали самым частым вопросом на встречах с акционерами и топ-менеджментом. Причина в том, что ИИ-системы создают новые векторы атак, которых не было в классических приложениях. Среди наиболее актуальных угроз: 🎱Внедрение вредоносных инструкций через внешние данные (Prompt Injection). 🎱Обход встроенных ограничений для выполнения несанкционированных действий в ИТ-контуре (Jailbreak). 🎱Утечка конфиденциальных данных через RAG-системы. 🎱Атаки на цепочку поставок ML (Supply Chain). 🎱Состязательные атаки (Adversarial Examples).

ИИ-системы имеют свои особенности, устроены сложнее, а их защиту обойти зачастую проще, чем защиту традиционного ПО. Искусственный интеллект изменил все, в том числе и характер угроз, которым подвергаются компании, внедряющие ИИ в свой контур.

— отмечает Юрий Шабалин, директор по развитию безопасных технологий ИИ Swordfish Security. Подробнее на CISOCLUB. ➡️ Для инженеров по кибербезопасности мы создали открытую таксономию угроз ИИ. Она объединяет около 80 типов уязвимостей и угроз для ИИ-систем, а также рекомендации по их выявлению и снижению рисков. 🐟 Рассылка | Max | Habr #ЭкспертизаSFS #AISecurity

🔍 Инструмент дня — Semgrep Продолжаем делиться инструментами, которые помогают нашим инженерам эффективно анализировать безопасность приложений. Анна Данилова, руководитель направления статического анализа безопасности приложений Swordfish Security, рассказала про open-source SAST-инструмент кода Semgrep. Листайте карточки. 🔼 🐟 Рассылка | Max | Habr #ИнструментыDevSecOps #DevSecOps #SAST

⚙️ В нашей Лаборатории ИИ мы не только исследуем безопасность искусственного интеллекта, но и ищем способы применять его в бизнес-процессах компании. Давид Ким, менеджер ИИ-продуктов Swordfish Security, рассказал, как ИИ помогает ему быстрее запускать новые сервисы и автоматизировать рутинные задачи. А также Давид поделился полезными рекомендациями по работе с нейросетями. Смотрите в кружках. 👇 🐟 Рассылка | Max | Habr #SFS_life #ЭкспертизаSFS

🎙 Вебинар по безопасности ИИ: как выявлять угрозы и выстраивать защиту С распространением систем ИИ появляются новые классы угроз и уязвимостей, затрагивающие LLM, агентные системы и ML-решения. Такие риски требуют отдельного подхода к анализу и проверке защищенности. 23 июня в 14:00 на вебинаре разберём ключевые риски, требования регуляторов и подходы к защите ИИ-решений, а также поделимся практическим опытом проведения аудитов их безопасности. Вы узнаете: 🎱какие угрозы актуальны для ML-моделей, LLM и ИИ-агентов на каждом этапе разработки и внедрения; 🎱какие практики и инструменты помогают защищать ИИ-системы; 🎱как проводить аудит безопасности ИИ-решений с помощью фреймворка Swordfish SAIMM; 🎱какие требования и стандарты в области регулирования ИИ действуют в России и почему их важно учитывать уже сейчас. 🎁 Бонус для участников – чек-лист для оценки безопасности ИИ-агентов и полезные материалы для дальнейшего изучения темы. Вебинар проведут Александр Гадай, руководитель службы консалтинга, и Денис Данилов, инженер по безопасности приложений. ➡️ Регистрируйтесь, подключайтесь к эфиру и задавайте вопросы экспертам. 🐟 Рассылка | Max | Habr #ВебинарыSFS #AISecurity

📱Что важно знать про безопасность мобильных приложений Собрали ключевые тезисы с прошедшего вебинара для тех, кто занимается мобильной безопасностью. ⬇️ 1️⃣ Мобильные приложения требуют комплексной защиты Поскольку заранее неизвестно, на каком устройстве будет установлено приложение, любая среда его выполнения считается недоверенной. Поэтому важно защищать всё, что оно обрабатывает: секреты для интеграции со сторонними сервисами, персональные данные пользователей и коммерчески значимую информацию. 2️⃣ Стандарты помогают понять, что защищать и как это проверять В сообществе по безопасности мобильных приложений известны два стандарта OWASP. OWASP MASVS определяет требования к безопасности мобильного ПО, а OWASP MASTG описывает подходы к проверке их защищённости. Для отдельных категорий приложений действуют и отраслевые требования, например стандарты НСПК для решений бесконтактной оплаты и токенизации. 3️⃣ Кроссплатформенные приложения становятся новым вызовом для ИБ Сегодня около 67% новых мобильных приложений создаются на кроссплатформенных технологиях. Они позволяют ускорить разработку, но для ИБ-команд часто становятся слепым пятном: методологии тестирования ещё не успевают за скоростью развития этих технологий

Ещё одна угроза — большое количество сторонних плагинов с уязвимостями, о которых разработчики либо не знают, либо не считают необходимым их устранять. Дополнительную сложность создаёт отсутствие зрелых методик тестирования, из-за чего оценивать безопасность таких приложений значительно труднее.

— рассказал Владислав Ржевский, инженер по безопасности мобильных приложений Swordfish Security. 4️⃣ Для полноценной защиты нужен пентест Покупка RASP-решения, использование готовых библиотек и помощь ИИ-инструментов не гарантируют безопасность приложения. Защита может быть внедрена с ошибками, известные реализации могут обходиться стандартными техниками, а код, сгенерированный ИИ, зачастую наследует недостатки публичных репозиториев, на которых обучались модели. 💡 Практическая проверка позволяет убедиться, что внедрённые меры безопасности действительно работают. 🐟 Рассылка | МАКС | Habr #MAST

📊 45% компаний внедряют ИИ без отдельного бюджета на его защиту По данным исследований, почти половина российских компаний внедряет искусственный интеллект без инвестиций в его безопасность. 🛍 Примерно 80% организаций уже применяют ИИ в бизнес-процессах, ещё 35% рассматривают его как стратегический приоритет на ближайшие годы. При этом только 25% компаний имеют формализованные политики информационной безопасности для ИИ-сервисов. Технологии ИИ уже активно используются в разработке, аналитике, клиентском обслуживании и работе с корпоративными данными. При этом правила безопасного применения и управление рисками часто остаются фрагментарными или формируются уже после внедрения решений.

Мы наблюдаем типичную ситуацию технологического опережения: ИИ внедряется быстрее, чем формируются процессы его безопасного использования. Компании фактически масштабируют новую поверхность атаки, не всегда осознавая это. Вместе с преимуществами появляются и новые риски, связанные с данными, доступом к корпоративной информации и управлением цифровыми активами. Безопасность ИИ должна рассматриваться не как отдельная техническая задача, а как часть общей стратегии управления рисками бизнеса. Важно заранее определять правила использования ИИ, контролировать данные, которые передаются в модели, обеспечивать прозрачность работы сервисов и регулярно оценивать потенциальные угрозы. Такой подход позволяет компаниям масштабировать использование ИИ без ущерба для безопасности и устойчивости бизнеса.

— отмечает Александр Пинаев, генеральный директор ГК Swordfish Security Что важно учитывать при работе с ИИ: 🎱Безопасность ИИ должна быть встроена в общую систему кибербезопасности компании. 🎱Необходимо заранее определять категории данных, допустимых для использования в ИИ-инструментах. 🎱Требуются единые внутренние правила использования ИИ для сотрудников и подрядчиков. 🎱ИИ-сервисы стоит регулярно проверять на риски утечек и некорректной обработки данных. 🐟 Рассылка | МАКС | Habr #ЦифраДня #AISecurity

⌨️ Как мы используем ИИ в работе и повседневной жизни? Мы решили узнать у коллег, какие задачи они уже доверяют нейросетям, чем ИИ помогает им в работе и за ее пределами. ⤴️ Владимир Телепов, инженер по безопасности приложений, рассказал, как использует ИИ для написания скриптов, поиска информации, задач багбаунти и не только. А как ИИ помогает вам? Делитесь в комментариях. 🐟 Рассылка | МАКС | Habr #ЭкспертизаSFS

🛡 Лучшие практики построения процесса SCA Сегодня до 90% современного ПО состоит из сторонних компонентов с открытым исходным кодом, а значит вместе с ними в продукт могут попасть уязвимости, лицензионные риски и проблемы цепочки поставок. Композиционный анализ (SCA) позволяет контролировать состав программного обеспечения, выявлять уязвимые зависимости, отслеживать лицензионные ограничения и своевременно принимать меры по снижению рисков. В новой статье рассказываем про основные принципы работы и лучшие практики применения SCA: 🎱Как организовать процесс SCA: от генерации SBOM до анализа результатов сканирования. 🎱Какие данные используются для идентификации компонентов и поиска уязвимостей. 🎱Зачем анализировать транзитивные зависимости и настраивать политики безопасности. 🎱Как работают анализ достижимости и непрерывный мониторинг компонентов. Читайте на портале рбпо.рф. 🖥 🐟 Рассылка | МАКС | Habr #ЭкспертизаSFS #SCA

Вебинар по безопасности мобильных приложений — скоро начинаем 🎙 Подключайтесь к трансляции в МТС Линк в 14:00 МСК. Наши эксперты расскажут в прямом эфире: Какие существуют стандарты безопасности Что находят Bug Bounty Как работает пентест на практике Угрозы и риски кроссплатформенных решений Безопасность и вайбкодинг ▶️ Смотрите эфир, задавайте вопросы спикерам.