AI SecOps

Бывший научный руководитель OpenAI основал свою AI-компанию с суперинтеллектом и безопасностью 👍 В мае этого года сооснователь OpenAI, нижегородец Илья Суцкевер покинул компанию. Следом руководство распустило и команду по защите от искусственного интеллекта. Её участники часто указывали, что процессы безопасности «отошли на второй план». Суцкевер на пенсию уходить не стал, а бросил вызов Сэму Альтману и объединился с руководителем отдела AI в Apple Дэниелом Гроссом и инженером OpenAI Дэниелом Леви. Вместе они запустили стартап Safe Superintelligence (SSI). Главная цель — в первую очередь обеспечить безопасность искусственного интеллекта, не отвлекаясь на маркетинг.

Нейросеть будет полностью изолирована от внешнего давления и необходимости участвовать в конкурентной борьбе, — утверждает Суцкевер.

Дипфейки — трепещите! Американская компания AuthenticID представила новый сервис для обнаружения и борьбы с дипфейками и генеративными атаками на основе ИИ в системах биометрической верификации. Сервис можно интегрировать в любую функционирующую систему проверки личности. Компания заявляет, что скорость обнаружения и блокировки атаки составляет несколько миллисекунд, то есть предотвратить мошеннические действия можно в режиме реального времени. #биометрия_в_мире

ISO разместила в публичном доступе стандарт по управлению ИИ Международная организация по стандартизации (ISO), известная своими отраслевыми стандартами, сделала ключевой ISO/IEC 22989 общедоступным и бесплатным. Этот стандарт охватывает широкий спектр тем, связанных с управлением ИИ, и предоставляет ценные рекомендации для ответственной разработки и внедрения технологий искусственного интеллекта. ISO/IEC 22989 предоставляет стандартизированные концепции и терминологию, чтобы помочь заинтересованным сторонам лучше понять и эффективно использовать технологии ИИ. Этот документ предназначен для широкой аудитории, включая как экспертов, так и непрофессионалов, предлагая понимание междисциплинарного характера ИИ, который охватывает компьютерные науки, науки о данных, естественные, гуманитарные и социальные науки. Также стандарт является отличным материалом при подготовке к сертификации AI Governance Professional от IAPP. Сделав этот стандарт общедоступным, ISO стремится способствовать широкому внедрению ответственных практик в области ИИ, обеспечивая, чтобы системы ИИ были надежными, устойчивыми, точными, безопасными и приватными. ISO/IEC 22989 и другие стандарты в свободном доступе можно найти здесь. #ISO #УправлениеИИ #ИИ #ISO #AIGovernance #AIGP #AI

Как атакующие используют ИИ: подборка сценариев Встретил репозиторий с набором сценариев использования ИИ в реальных атаках. Автор этой коллекции сопоставил техники матрицы MITRE ATT&CK с известными случаями применения генеративных моделей в реальных атаках. Примеры интересных кейсов: * проведение разведки с использованием LLM: сбор и анализ информации из открытых источников о цели для точного определения поверхности атаки; * применение LLM для ускорения процесса разработки имплантов; * упрощение процесса исследования уязвимостей с помощью LLM. Эти же сценарии может позаимствовать Red Team для своих задач.

Буквально пока мы находились на PHDays, Национальный центр кибербезопасности Великобритании сделали git commit для своего документа Machine Learning principles. 🐇Чего в нём вообще происходит ? Этот документ показывает разным категориям людей - инженерам, разработчикам и секьюрити - какие вообще есть риски связанные с ИИ, и как их можно решить. Это не совсем фреймворк ...

➡️Принципы показывают как можно реализовать защиту и тестирование на разных этапах - соблюдая несколько свойств доверенного ИИ. В документе идёт конечно же упор на закрытие конкретных рисков - в этом обновлении кстати добавили LLM, а также обновили инструменты которые можно использовать для реализации безопасного MLOPS. С тестированием, верификацией и анонимизацией данных.

🌐тык на скачать pdf 🌐тык на сайт с ncsc

Материалы с Форума Технологии доверенного искусственного интеллекта https://ib-bank.ru/trust-ai/materials24

Форум Технологии доверенного искусственного интеллекта

Форум Технологии доверенного искусственного интеллекта

Форум Технологии доверенного искусственного интеллекта

Форум Технологии доверенного искусственного интеллекта

Форум Технологии доверенного искусственного интеллекта

Форум Технологии доверенного искусственного интеллекта

Форум Технологии доверенного искусственного интеллекта

Форум Технологии доверенного искусственного интеллекта

Форум Технологии доверенного искусственного интеллекта