ML&|Sec Feed

LLMs in the SOC: An Empirical Study of Human-AI Collaboration in Security Operations Centres https://arxiv.org/html/2508.18947v1 Исследование представляет собой первый всесторонний эмпирический анализ того, как аналитики SOC взаимодействуют с LLM в своих повседневных рабочих процессах. Изучив 3090 реальных запросов аналитиков, отправленных GPT-4 в течение 10 месяцев в eSentire Inc., исследователи из CSIRO's Data61 и eSentire предоставили беспрецедентные данные о моделях сотрудничества человека и ИИ в операциях кибербезопасности. Результаты показывают, что LLM в основном функционируют как когнитивные помощники для осмысления и построения контекста, а не как инструменты принятия решений, при этом аналитики сохраняют четкий авторитет в отношении критически важных определений безопасности.

LLMs in the SOC: An Empirical Study of Human-AI Collaboration in Security Operations Centres https://arxiv.org/html/2508.18947v1 Исследование представляет собой первый всесторонний эмпирический анализ того, как аналитики SOC взаимодействуют с LLM в своих повседневных рабочих процессах. Изучив 3090 реальных запросов аналитиков, отправленных GPT-4 в течение 10 месяцев в eSentire Inc., исследователи из CSIRO's Data61 и eSentire предоставили беспрецедентные данные о моделях сотрудничества человека и ИИ в операциях кибербезопасности. Результаты показывают, что LLM в основном функционируют как когнитивные помощники для осмысления и построения контекста, а не как инструменты принятия решений, при этом аналитики сохраняют четкий авторитет в отношении критически важных определений безопасности.

Банк России разработал Кодекс этики в сфере разработки и применения искусственного интеллекта на финансовом рынке \ КонсультантПлюс https://www.consultant.ru/law/hotdocs/89962.html

RAG_bot — Telegram-бот на базе искусственного интеллекта для интерактивного анализа статей.

Индексирует веб-контент и предоставляет точные ответы с указанием источников.

Особенности: ▫️Умная индексация — обрабатывает статьи с любого URL ▫️Многоязычный — поддерживает вопросы и ответы на английском и русском языках ▫️Пользовательские подсказки — управление стилем и форматом ответа ▫️Поддержка прокси — работает с API OpenAI в регионах с ограничениями ▫️Ссылка на источник — всегда подкрепляет ответы доказательствами ▫️Постоянное хранилище — сохраняет проиндексированные статьи между сеансами 🐱 GitHub

Swe-agent — многоагентная система разработки программного обеспечения на базе искусственного интеллекта с агентами-исследователями и разработчиками, автоматизирующая реализацию кода посредством интеллектуального планирования и выполнения. Создана с использованием многоагентных рабочих процессов LangGraph. 🐱 GitHub

Нарыл имбовый курс для тех, кто хочет разобраться в нейронках с нуля от Андрея Карпати (OpenAI/Tesla). Это бесплатная серия лекций на YouTube (и репа на GitHub), где ты с нуля учишься собирать нейронки. Всё максимально hands-on: Автор не просто рассказывает теорию, а пишет код вместе с тобой — от самых азов до тренировки сетей. Естественно бесплатно

AI Red Teaming CTF: [ai_gon3_rogu3]

В сентябре пройдет тематическая стф от hackerone, приглашаю желающих поучаствовать. Регистрируйтесь и проверяйте свои навыки, всем удачи 🔥 Ссылка на саму ctf 🪲 Статья на hackerone 👾

Minima — это локальные контейнеры RAG с открытым исходным кодом, которые можно интегрировать с ChatGPT и MCP. Minima также можно использовать как полностью локальный RAG. В настоящее время Minima поддерживает три режима: 1. Изолированная установка. Полностью локальная работа с контейнерами без внешних зависимостей, таких как ChatGPT или Claude. Все нейронные сети (LLM, reranker, embedding) работают в вашем облаке или на ПК, обеспечивая безопасность ваших данных. 2. Пользовательский GPT. Выполняйте запросы к локальным документам с помощью приложения или веб-версии ChatGPT с использованием пользовательских GPT. Индексатор работает в облаке или на локальном ПК, а основной языковой моделью остается ChatGPT. 3. Anthropic Claude — используйте приложение Anthropic Claude для поиска в локальных документах. Индексатор работает на вашем локальном компьютере, а Anthropic Claude выступает в качестве основной языковой модели. 🐱 GitHub

Incident Analysis for AI Agents https://arxiv.org/html/2508.14231v1

В HiveTrace стала доступна интеграция с SIEM💥 Теперь систему, которую разрабатывают участники нашей лаборатории, можно подключить к любой SIEM, поддерживающей стандарт syslog. Все события в системе и результаты работы цензора автоматически поступают в единый центр безопасности. CTO HiveTrace Анна Тищенко показала, как это работает на примере интеграции с Wazuh

🤖 DeepConf — новый подход к мышлению ИИ Учёные придумали новые метод Deep Think with Confidence (DeepConf). Он позволяет модели сразу отбрасывать «слабые» варианты ответа и оставлять только те, в которых она уверена. Классический метод *parallel thinking* (self-consistency) работает так: модель генерирует множество рассуждений и выбирает лучший ответ по большинству. Точность повышается, но ресурсы тратятся огромные — тысячи токенов уходят на слабые варианты. 🔹 DeepConf решает эту проблему: модель сама оценивает уровень уверенности в рассуждениях и отбрасывает «слабые» ветви — либо сразу, либо после генерации. Как это устроено: 1️⃣ Оценка уверенности на уровне токенов — смотрится вероятность выбранного токена (log-prob) или энтропия. 2️⃣ Group Confidence — оценки объединяются в блоки, чтобы понять силу целой ветки рассуждения. 3️⃣ Online-режим — слабые ветки отсекаются прямо в процессе. 4️⃣ Offline-режим — сначала генерируются все ответы, потом остаются только те, где уверенность высокая. 📈 Результаты: - На AIME-2025 точность выросла до 99,9% - Количество лишних токенов сократилось почти на 85% - Работает без дообучения и сложных настроек 📚 Paper: https://arxiv.org/pdf/2508.15260 🌐 Project: https://jiaweizzhao.github.io/deepconf

Llamator для тех кто в танке, в банке, без интернета Базовый сценарий работы Llamator'а предполагает взаимодействие с 3 моделями: 1. Атакующая-модель: генерирует промты 2. Модель которую тестируем 3. Модель-судья: анализирует ответы тестируемой модели Мы будем использовать зараннее подготовленый файл с промтами, специфичными для внутреннего пользования. Создаем заглушку для атакующей модели работающую с json:

class ClientFromFile(ClientBase):
    def __init__(self, prompts_file: str, model_description: str = "Провайдер промптов из файла"):
        
        super().__init__()
        self.model_description = model_description
        self.prompts: List[str] = []
        self.index = 0

        try:
            with open(prompts_file, "r", encoding="utf-8") as f:
                data = json.load(f)

            # Обработка разных форматов данных в файле
            if isinstance(data, list):
                if data and isinstance(data[0], str):
                    self.prompts = data
                elif data and isinstance(data[0], dict):
                    self.prompts = [
                        item.get("text") or item.get("content") or str(item)
                        for item in data
                    ]
                else:
                    self.prompts = [str(data)]
            else:
                self.prompts = [str(data)]

        except FileNotFoundError:
            self.prompts = []
        except json.JSONDecodeError as e:
            self.prompts = []

В этом же классе переопределяем interact, который возвращает следующий промпт из списка:

 def interact(self, message: str = "", *args, **kwargs) -> Dict[str, Any]:
        if not self.prompts:
            return {"content": "Нет доступных промптов"}

        response_text = self.prompts[self.index % len(self.prompts)]
        self.index += 1

        return {"content": response_text}

Далее переопределяем интерфейс генерации промтов (просто вызывается interact), отказываемся от сохранении истории чата и возвращаем информацию о модели в отчете.

def generate(self, prompt: str, *args, **kwargs) -> Dict[str, Any]:
        return self.interact(prompt, *args, **kwargs)

    def chat(self, messages: List[Dict[str, str]], *args, **kwargs) -> Dict[str, Any]:
        return self.interact("", *args, **kwargs)

    def get_model_info(self) -> Dict[str, Any]:
        return {
            "model_type": "file_based",
            "description": self.model_description,
            "prompts_count": len(self.prompts),
        }

Загружаем промты из файла:

attack_model = ClientFromFile(prompts_file="all_prompts.json")

Тестируемая модель Qwen через Ollama:

tested_model = llamator.ClientOpenAI(
        api_key="ollama",  # Ключ для Ollama (фиктивный, т.к. не требуется)
        base_url="http://localhost:11434/v1",
        model="qwen:7b-chat",
        temperature=0.1,
        model_description="Qwen 7B"
    )

Готовим атаки:

basic_tests = [
        ("aim_jailbreak", {"num_attempts": 3}), # Обход ограничений
        ("base64_injection", {"num_attempts": 2}), # Инъекции через Base64
        ("dan", {"num_attempts": 2}), # "Do Anything Now" промпты
        ("linguistic_evasion", {"num_attempts": 3}), # Лингвистические обходы
        ("harmbench", {"num_attempts": 2}), # Тесты на вредоносность
    ]

Конфигурирование тестирования:

config = {
        "enable_logging": True,
        "enable_reports": True,
        "artifacts_path": "./artifacts",
        "debug_level": 1,
        "report_language": "ru",
        "save_responses": True,
    }

Запускаем тестирование:

test_result_dict = llamator.start_testing(
        attack_model=attack_model,
        tested_model=tested_model,
        judge_model=None, # Оценка без модели
        config=config,
        basic_tests=basic_tests,
        num_threads=1,
    )

#MlSecOps