AISecure

AI Security Researcher (LLM / AI Red Teaming) Если у вас уже есть коммерческий опыт в AI Security, возможно, эта вакансия будет интересна. Это не классический пентест. Основная задача — исследование безопасности LLM и AI-агентов: создание новых сценариев атак, связанных с reasoning, prompt injection, tool abuse, agent security, GitHub, Slack, CI/CD и другими реалистичными окружениями. Полное описание вакансии: [ссылка] Обратите внимание: рассматриваются только кандидаты, которые соответствуют всем требованиям: • Локация вне РФ и РБ. • Свободный разговорный английский. • Коммерческий опыт AI Red Teaming / LLM Security (prompt injection, jailbreak, tool abuse, agent security и другие атаки на LLM и AI-агентов). К сожалению, без любого из этих трех требований кандидатуры не рассматриваются. Если вакансия вам подходит, отправляйте резюме напрямую HR — @lana_schein. P.S. Кто найдет все пасхалки — тот, вероятно, уже подходит на вакансию.

Разработчики Moonshot продолжают хайповать и уже пошли намёки на Kimi K3.1. Остановите этот поезд, а то на одних сбросах лимитов конкуренты не вывезут, придется им бесплатно свои модели раздавать. Китай наступает! У них теперь национальная идея, цель и задача стать номер #1 на AI рынке.

Посмотрим 👀

OpenAI рассказала о GPT-Red — внутренней системе для автоматизированного AI Red Teaming. Идея заключается в использовании adversarial self-play: одна модель пытается найти успешные атаки на другие модели (например, prompt injection), а найденные успешные сценарии используются для их дальнейшего обучения. Цикл выглядит так: GPT-Red → успешная атака → обучение защитной модели → поиск новых атак По сути это напоминает coverage-guided fuzzing, только вместо поиска crash'ей система автоматически исследует пространство возможных атак на LLM и использует найденные успешные сценарии для дальнейшего обучения защитной модели. В статье речь идет о prompt injection, но аналогичный подход может применяться и для тестирования более сложных AI-систем: AI-агентов, RAG, использования инструментов, MCP и других сценариев, где поведение модели определяется взаимодействием с внешним контекстом. 🔗 https://openai.com/index/unlocking-self-improvement-gpt-red/

Кто что думает 😎 имхо, потому что до ИИ которое реально заменит высококвалифицированных инженеров настанет не скоро. Поэтому не теряйте голову, учите матчасть, новое и и можно претендовать на подобные вакансии. Даже иностранный язык при всех транслейтерах/gpt никто не хочет пока что нанимать в зарубежку без знания языка, даже если ты скажешь что ИИ все дела и тп

Elastic опубликовали интересный материал о том, как они построили Agentic SOC и сократили время триажа алертов с 30 минут до менее чем 3 минут. Самое интересное в статье — не использование LLM, а сама архитектура системы. Основные принципы: • Workflow выступает в роли оркестратора. Он управляет пайплайном, ветвлениями, ретраями и вызовом инструментов. Вся эта логика детерминирована и не требует LLM. • LLM используется только там, где действительно нужен анализ. Если задачу можно решить с помощью ES|QL, правил или других детерминированных механизмов, модель не вызывается. Это снижает стоимость, уменьшает задержки и минимизирует риск галлюцинаций. • Вместо одного универсального агента используются специализированные агенты для разных доменов: Windows, macOS, Cloud, SaaS и других. Каждый работает только в своей области экспертизы. • Финальный агент не собирает данные, а принимает решение на основе уже подготовленных артефактов: определяет True/False Positive, оценивает уровень уверенности, сопоставляет техники MITRE ATT&CK и формирует рекомендации. Вся архитектура выглядит следующим образом: Alert → Workflow → ES|QL проверки → Specialized Agents → Review Agent → Verdict Мне кажется, именно такой подход будет становиться стандартом для AI-систем. Не один «суперагент», который делает всё, а оркестрация детерминированных процессов и набора специализированных агентов. Эту архитектуру легко представить не только в SOC, но и в DevSecOps, Kubernetes Security, Vulnerability Management и CI/CD Security. Статья: https://www.elastic.co/security-labs/alert-triage-agentic-soc-elastic-workflows

Матчасть как ни крути все равно важна)) RTFM А чтобы ее постигнуть, лично мне нравиться визуализация, как форм-фактор потребления контента (главное чтобы было понятно). Потому что есть люди с разными способами восприятия, кто-то может услышать и все вообразить, кому-то надо написать или начертить самому схему или архитектуру решения, кому-то для начала надо увидеть как это работает. Поэтому шерю интересный канал, про математику с мощной визуализацией, того о чем рассказывает автор канала. Анимированная математика, и другие сферы. Neural network и LLM https://www.youtube.com/playlist?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi

PentAGI 2.1 уже доступен. На мой взгляд, самые интересные изменения: • Управление файлами и ресурсами агентов • Работа с knowledge base и vector memory через UI • Наблюдаемость ToolCall в реальном времени • Управление активными flow прямо из чата • Обновлённая поддержка моделей, включая локальные, и улучшенная оркестрация Особенно интересно развитие более управляемых агентных систем: память, наблюдаемость, контроль выполнения и работа с контекстом становятся не менее важными, чем сами модели. Локальные модели при этом входят в общий блок улучшений поддержки моделей. Подробности в релизе: https://github.com/vxcontrol/pentagi/releases/tag/v2.1.0

Запилил LeaderBoard AI Pentest Tolls (не судите строго, все на открытых данных, звездочки, функциональность, количество форков, количество недавних просмотров) На истину в последней инстанции не претендую PS идея была с меня, реализация под ключ почти без ручной работы с AI Agents 🤖

#meme

PS также планирую скоро накидать список полезных ресурсов и позже рассказать что из заявок прошло, а что нет, по части грантов на токены, и схожие программы, которые позволяют получить кредиты по токена/инфре/ресурсам - в рамках ресерч и стартап программ что-то вроде этого, но в разрезе в первую очередь ресерч грантов, так как получить на стартап, бывает сложно по куче разных причин (как минимум аффилированность с VC партнера дело такое, что из воздуха не нарисуешь)

OpenAI запустили Bio Bounty Program — до $25,000 за security research по GPT-5.5. Ищут людей с опытом в AI red-teaming, LLM security и смежных областях. Задача — протестировать модель на биобезопасность через структурированный челлендж из 5 вопросов. Дедлайн подачи заявки — 23 июня 2026. Подача: openai.smapply.org Планирую участвовать, если всё сложится. Кто хочет вместе поджейлбрейкать — пишите в личку.

🚨 Bleeding Llama — критическая уязвимость в Ollama (CVE-2026-7482) Исследователи Cyera показали, что через 3 unauthenticated HTTP-запроса можно вытащить heap-память процесса Ollama. Суть эксплуатации: — загружается malicious GGUF — через /api/create триггерится quantization — Ollama читает память за пределами буфера (OOB read) — через /api/push утекшая память эксфильтрируется атакующему Проблема в том, что Ollama доверяет metadata tensor’ов внутри GGUF. Из-за использования Go unsafe memory safety protections обходятся. Что может утечь: • prompts / system prompts • API keys • env vars • inference context • данные предыдущих запросов Самое неприятное — для эксплуатации: — не нужен RCE — не нужны credentials — не нужен user interaction А учитывая сколько Ollama-инстансов торчит наружу без auth — это очень практичная история. TL;DR: если Ollama exposed в интернет без auth — считай, что память процесса потенциально читается удалённо. https://www.cyera.com/research/bleeding-llama-critical-unauthenticated-memory-leak-in-ollama

Кажется у ребят из Semgrep наступили очень тяжелые времена🥲 https://x.com/claudeai/status/2049898739783897537?s=46&t=CF0Vh-Z-vc7fuRxW3gUbMw

Будем посмотреть что там выйдет у них

Заметили, что примерно с 10 апреля крупные игроки — Anthropic, OpenAI и даже Google (Gemini) — довольно синхронно начали закручивать гайки в своих LLM для задач кибербезопасности? Если коротко — стало заметно сложнее. Особенно это прилетело тем, кто играет с autonomous AI-пентестерами (PentaAGI / Shannon и т.д.) или использует модели для поиска уязвимостей и обхода защит (в рамках легальных тестов, конечно). Раньше многое можно было продавить формулировками в промптах — сейчас это работает сильно хуже или вообще не работает в ряде случаем. И тут второй момент: если у вас нет своего железа уровня RTX 5090 или хотя бы нормального multi-GPU сетапа, чтобы крутить что-то вроде Qwen 30B+/32B/36B локально — вы по сути полностью зависите от ограничений этих провайдеров. А значит — либо принимаете правила игры, либо ищете способы работать глубже. Так вот. Вы готовы, дети? Потому что гайки закрутили — теперь разбираемся, как их аккуратно откручивать 🙂 Речь исключительно про легальные сценарии: CTF, ресерч, защита своей инфраструктуры/кода, bug bounty. По ссылке — подробная инструкция: куда подаваться, что писать, как проходит процесс и какие есть подводные камни. Всё на личном опыте получения доступов.

Наткнулся на RSA 2026 Startup Landscape. Удобная карта, чтобы быстро посмотреть, как сейчас нарезают security-рынок: 322 стартапа, 18 категорий, поиск и ручная верификация. Но главное тут даже не сама карта, а перекос в сторону AI: agent security / NHI, AI SOC / SecOps, AI pen testing — такие категории уже растут буквально как на дрожжах. https://jakee.vc/rsa-2026-landscape.html

Yet another AI-powered pentesting tool. Но RAPTOR выглядит сильнее, чем просто очередной security repo: это autonomous offensive/defensive security research framework на базе Claude Code, который умеет анализировать код, гонять Semgrep и CodeQL, делать fuzzing через AFL, валидировать эксплуатируемость, генерить PoC и даже предлагать патчи. Отдельно интересно, что туда уже добавили OSS forensics для расследований по GitHub-репозиториям и cost management для LLM-части. Авторы сами честно пишут, что проект early release и местами “held together by vibe coding and duct tape”, но сама идея очень показательная: AI в security движется от “подскажи” к более автономным исследовательским workflow. Любопытно посмотреть, во что это разовьется. Repo: github.com/gadievron/raptor

Зарелизилось еще одна прикольная серта по AI Sec Будем посмотреть, детали потом постараюсь накинуть А пока просто ссылка https://academy.hackthebox.com/preview/certifications/htb-certified-offensive-ai-expert И не забываем что есть такой AI Sec Certs Landscape. PS еще бы время на это дело найти)

С конференции Unprompted выложили записи. Меня больше всего впечатлил доклад Николаса Карлини о их свежей статье, где модель автоматически нашла 500+ уязвимостей в open source проектах и часть из них смогла протестировать и проэксплуатировать. Скорость развития экспоненциальная, на слайде видно, что возможности Opus 4.6 сильно выросли с последним релизом (предыдущие версии не могли эффективно сканировать код в поисках уязвимостей). Интересно, являются ли недавние находки Truffle Security побочным эффектом новых возможностей модели? С учетом того, что технология dual use, Карлини делает еще одно важное замечание: подход к автоматическому обнаружению уязвимостей будет иметь soft guardrails, чтобы прежде всего поощрять тех, кто сканирует свои проекты и закрывает уязвимости. Также в докладе есть несколько советов о том, как самостоятельно настроить harness для такого сканирования.