ML&|Sec Feed
الذهاب إلى القناة على Telegram
1 352
المشتركون
+124 ساعات
+157 أيام
+7530 أيام
أرشيف المشاركات
1 352
Repost from Ассоциация ФинТех
25% финтех-компаний планируют существенно нарастить инвестиции в киберзащиту ИИ в ближайшие 1–2 года
2/3 компаний российского финтех-рынка используют внутренние разработки для защиты ИИ, при этом только 25% - уже применяют специализированные внешние ИБ-решения. Такие данные приводятся в совместном исследовании Ассоциации ФинТех, ГК «Солар», Б1 и HiveTrace.
Доля компаний финтех-отрасли, которые считают ИИ стратегическим приоритетом или критически важной технологией для ключевых процессов на 9 п.п. выше, чем в среднем у опрошенных в рамках исследования компаний. Чаще среднего используются защищенные схемы развертывания ИИ: 44% респондентов - в частном контуре, и такая же доля использует гибрид частного и публичного контура. При этом 50% опрошенных представителей финтех-компаний полностью или скорее удовлетворены защитой ИИ (по сравнению с 41% в среднем). При этом четверть компаний отрасли планируют значительно увеличить инвестиции в киберзащиту ИИ в ближайшие 1-2 года.
Для защиты компании отрасли чаще внедряют не точечные ограничения, а полноценный операционный контур контроля – защиту данных, журналирование и аудит, фильтрацию запросов, непрерывный мониторинг, интеграцию событий ИИ в SOC, контроль автономных решений, разворачивание ИИ в частном контуре. Среди приоритетов в этой области участники рынка отмечают защиту ИИ-агентов, формирование стратегий и политик защиты ИИ, использование ИИ в закрытом контуре.
🗣️ Руководитель управления информационной безопасности Ассоциация ФинТех Александр Товстолип: Финансовый сектор одним из первых начал массово внедрять искусственный интеллект в процессы, связанные с принятием решений, обработкой клиентских данных, антифрод-системами и автоматизацией сервисов. При этом мы видим, что развитие ИИ происходит значительно быстрее, чем формирование единых подходов к его безопасности. Для финтеха это особенно чувствительно: любая ошибка модели, утечка данных, манипуляция алгоритмами или недостаточная прозрачность решений напрямую влияет на деньги клиентов, доверие пользователей и соответствие регуляторным требованиям.
1 352
Repost from Data Secrets
+1
Moonshot и DeepSeek подменяли ответы своих моделей ответами Claude, не предупреждая об этом пользователей 👀
Anthropic выпустили настоящие «записки из апокалипсиса»: документ под названием «Detecting and countering misuse of AI», в котором отчитываются о случаях, когда Claude использовался для какой-либо вредоносной деятельности.
Чего там только нет, если честно. Шпионаж, взломы, крупные информационные операции, вербовка, управление оружием, разработка биооружия, мошенничество…
Ну и дистилляция, конечно. Один из самых «веселых» разделов.
В общем, Anthropic утверждают, что помимо уже привычной кражи ответов моделей с фейковых аккаунтов (недавно они зафиксировали крупнейшую за все время атаку Alibaba, которая отправляла до 3 млн запросов в день с 3500+ фейков) китайцы теперь еще и внаглую подменяют ответы своих моделей на ответы Claude прямо на проде.
В смекалке им отказать нельзя, потому что так убиваются два зайца разом:
1. Пользователи думают, что у тебя умная модель 🗿
2. Каждый такой обмен – это бесплатный обучающий пример вида «вопрос реального пользователя -> качественный ответ Claude»
В частности, подобное поведение зафиксировали от DeepSeek и Moonshot (Kimi). Moonshot за 10 дней перенаправила Anthropic почти 300 000 запросов клиентов, подавляющее большинство – на Opus. DeepSeek делала похожее, но избирательнее: они проверяли входящие запросы на строки, характерные для Claude Code или OpenCode, и именно их перенаправляли.
Напоминаем: пользователь при этом думает, что общается с Kimi или DeepSeek соответственно. И все конфиденциальные данные, которые люди вводили, тоже отправлялись без их ведома в Anthropic.
Таким образом, Anthropic утверждают, что к ним утекли: данные слежки от пользователя, предположительно связанного с Народно-освободительной армией Китая; чувствительный код и учетки одного крупного китайского госпредприятия; учетные данные к базе данных, связанной с Минобороны РФ.
Zhipu (GLM) и Xiaomi, кстати, тоже прогоняли собственные пользовательские сессии через Claude ради дистилляции, но хотя бы не заменяли ответы для юзеров на лету.
Также многие китайские стартапы научились вытаскивать скрытые CoT из моделей Anthropic. Для этого они просто перенаправляют зашифрованные цепочки рассуждений в новую сессию Claude, в которой нет контекста о том, что это скрытая информация, и просят модель конвертировать их обратно в нормальный текст – например, под видом отладки.
Ссылку на полный отчет оставляем: https://www.anthropic.com/threat-intelligence-report-september-2026
1 352
Repost from Boring channel Nedyrov
Зарегался на 3 площадках багбаунти топовых мировых. Скачал все существующие программы доступные с описанием скопов и тд, более 600 вышло. Настроил пайплайн из агентов который делают пентестинг живут на кали линуксе сканируют скоп ищут уязвимости. Базовые агенты это дипсик в4 флеш, их папа это грок 4.6 он подсказывает и ставит задачи. Вот такие результаты на данный момент. Уже есть находки буду их вручную разбирать и репортить. Система работает автономно 24/7
1 352
Repost from Data Blog
Теперь официально: погнали пить кофе в Лондоне.
23 сентября выступаю на конференции Applied Machine Learning for Cyber Security Conference в Лондоне, Olympic Park с докладом «Does a model know when a jailbreak is working?»
TLDR на вопрос доклада: возможно, да, но у нас есть много свободных переменных, из-за которых мы не можем надежного отличить "знание" от случайного результата без предварительных приседаний и проверок.
Вдруг кто-то будет мимо-проходить, заходите. В любом случае потом поделюсь впечатлением — для меня это что-то новое =)
Вообще говоря, AMLUCS — сильная британская конфа на стыке ML и кибербезопасности, с прикладным уклоном. Например, в оргкомитете есть Джон (John Sotiropoulos) из OWASP GenAI Security Project (авторы OWASP Top 10 for LLM Applications, я туда даже ручку прикладывала).
В докладах буду принимать участие исследователи из NCSC, Dstl, Alan Turing Institute, AI Red Team в Microsoft, AWS и профильных security-стартапов. И я — как лид HiveTrace — мы тоже сильный профильный стартап 🗿
P.S., да, это к тому, что мне дали визу, и ждун дождался. Я рада и вместе с этим волнуюсь — у меня на конфе и talk, и постер, а я давно не выступала очно (кажется, с зимы). И в целом — формат, форма и сообщество (кибербез) новый. Такие дела!
1 352
Repost from Machinelearning
✔️ Hugging Face запустила агента для ML-экспериментов
Платформа встроила в свой чат-бот открытого ассистента ML Intern, который берет на себя полный цикл машинного обучения по текстовому описанию задачи.
Инструмент ориентирован на пользователей без профильного опыта. Для старта достаточно сформулировать идею в окне ввода текста, включить агента и он сам найдет релевантные модели и датасеты на Hugging Face Hub, в GitHub или в сети.
Перед стартом проводится оценка необходимых вычислительных ресурсов и фиксируется бюджет, за пределы которого агент гарантированно не выйдет.
После подтверждения ML Intern подготавливает данные, запускает обучение, мониторит процесс через отдельный дашборд, выгружает веса обратно на Hub, генерирует отчет и разворачивает интерактивное демо.
@ai_machinelearning_big_data
#news #ai #ml
1 352
Repost from Leo Erdman | ИИ | Автоматизация
+3
🔆 Собрал для вас подборку инструментов с которыми можно сегодня бесплатно вайбкодить и используя крутые модели!
https://b.ai/ - GLM 5.3 Flash
https://workbuddy.ai/ - Deepseek V4.1 Flash
https://opencode.ai/ - 3+ Хороших моделей на бесплатном тире, переодически добавляются новые и убираются старые
https://build.nvidia.com/models - Топовые модели бесплатно по ключу разработчика NIM - медленно но верно, нужен кодинг агент с обработкой ошибок, переодически сайт ложится
1 352
Repost from Анализ данных (Data analysis)
⚡ Tencent открыла TeamAI-CLI - общую память для ИИ-агентов команды
Инструмент собирает навыки, правила, документацию, MCP и накопленный опыт в одном Git-репозитории.
* изменения проходят через Merge Request
* после слияния обновления автоматически загружаются в следующей сессии
* полезные решения получают рейтинг и чаще попадают в контекст
* знания можно искать по проектам и кодовой базе
* поддерживаются Claude Code, Codex, Cursor, OpenCode, CodeBuddy и WorkBuddy
Найденный одним разработчиком способ исправить сложный баг можно закрепить как стандарт для всех агентов команды.
https://github.com/Tencent/teamai-cli
1 352
Repost from CodeCamp
Защищаем свой хост от Claude Code — нарыл утилиту coop 😊
Тулза поднимает одноразовые виртуальные машины для Claude Code и Codex. Агенты получают полный доступ к Docker, Git и терминалу, не рискуя сломать вашу систему. Всё изолировано, безопасно и удаляется в один клик.
Пусть сидят в загоне 😠
1 352
Repost from Эксплойт
Весь интернет ненавидит OpenAI — разрабов ChatGPT обвиняют в том, что они украли решение «задачи тысячелетия» Навье-Стокса.
Сегодня корпа объявила, что их секретная сверхмощная модель смогла разгадать одну из 7 фундаментальных математических проблем. До этого столь эпичный мув удавался лишь одному человеку — россиянину Перельману, который доказал гипотезу Пуанкаре.
Для разгадки задачи Навье-Стокса OpenAI запустили сразу 10 000 агентов: за 88 часов работы им пришлось спалить 130 МИЛЛИАРДОВ токенов — для понимания, это примерно 130 000 раз переписать всю «Войну и мир» с нуля. Тем не менее результат того стоил.
И тут начинается часть, из-за которой интернет ополчился против OpenAI: так случилось, что весь последний год двое учёных Тристан Бакмастер и Левант Альпёге работали над решением проблемы Навье-Стокса, используя в работе... ChatGPT и Claude. Что ещё неприятнее для OpenAI, Альпёге работает в Anthropic.
В середине августа исследователям удалось найти почву для решения, а уже в начале сентября в научном сообществе поползи слухи, что они в шаге от прорыва. Бакмастер, узнав о том, что информация об их работе дошла до OpenAI, решил написать одному известному математику, работающему в корпе и поделиться успехами.
Ответ убил: математик из OpenAI поздравил Бакмастера и между делом сообщил, что их экспериментальная модель на днях решила задачу. Чтобы не помешать друг другу, учёные созвонились и из диалога Бакмастер узнал, что секретная версия ChatGPT СЛУЧАЙНО выбрала для решения тот же непопулярный метод, что и они.
Дальше математик из OpenAI предложил Бакмастеру два стула: на первом они с Альпёге публикуют свои наработки «как есть», а все лавры полного решения забирают OpenAI; на втором тоже не пики — Бакмастеру предлагалось в одиночку завершить работу, выкинув из неё Альпёге, ведь тот... работает в конкурирующей Anthropic.
Бакмастер от предложений отказался и сообщил, что если OpenAI опубликуют свои результаты, то он расскажет всему миру, что нейронка украла их работу. Как вы уже догадались, обещание он сдержал.
Напоследок математик из OpenAI бросил Бакмастеру две фразы, которые сейчас форсит весь интернет:
Зачем тебе разрушать свою карьеру?
Если ты не хочешь, чтобы я был добрым, я могу и не быть добрымЧто иронично, в своём анонсе решения OpenAI написали, что не могут исключить тот факт, что их ИИ не обучался и на наработках двух учёных. Если всё написанное Бакмастером правда, учёные больше не могут доверять ChatGPT. @exploitex
1 352
Repost from Похек AI
Jailbreak GPT-6 Astra: как работает Task-in-Prompt
Сергей Березин сообщил об обходе ограничений GPT-6 Astra через сутки после релиза. По его словам, атака сработала в публичном ChatGPT в режимах Light и Max. Основой стал Task-in-Prompt (TIP), дополненный четырьмя нераскрытыми техниками. Полный промпт и детали воспроизведения переданы OpenAI приватно.
TIP прячет значимую часть запроса в промежуточной задаче: расшифровать строку, решить загадку или вычислить результат программы. Схема выглядит так:
восстановить понятие → подставить в запрос → выполнить запрос. В описанных вариантах модель просят не выводить восстановленное слово отдельно, а сразу использовать его в ответе. Уязвимость проявляется, если ограничение, срабатывающее на прямой запрос, перестаёт работать после преобразования.
К этой идее исследователи пришли через анализ ArtPrompt, где слова скрывались в ASCII-арте. Они предположили, что решающим фактором могла быть задача декодирования, и проверили другие преобразования. Так появился TIP и набор тестов PHRYGE: десять способов кодирования, четыре цели и три уровня подсказок. Это история исходного метода, а не журнал поиска атаки на Astra. Работа ACL 2025.
Для Astra минимального TIP оказалось недостаточно. Какие изменения дали результат, сколько было попыток и насколько устойчив обход, публично не раскрыто.
Для проверки защиты полезен парный тест: прямой запрос и его эквивалент через преобразование. Оценивать нужно содержание конечного ответа: успешное декодирование само по себе ещё не jailbreak.
🌚 @poxek_ai / Чат канала1 352
Repost from СВЕЖЕСТИ
🤖 Один из главных претендентов на звание полноценного боевого человекоподобного робота китайский EngineAI T800 продемонстрировал свои возможности, взяв на себя управление летательным аппаратом CoolFly URBAN
1 352
Repost from N/a
ИИ-агенты: хайп или реальность? Главные выводы исследования 2026 года
Попался интересный отчёт компании «Яков и Партнёры» (90 стр.) где разбирается рынок ИИ-агентов в мире и России.
Если совсем коротко, внедрении ИИ-агентов - системная работа, фрагментарно или без тщательной проработки - эффект возможен, но достигается, большой ценой.
Некоторые тезисы:
Парадокс внедрения
88% мировых компаний используют ИИ, 71% российских – генеративный ИИ. Однако значимый финансовый эффект (EBITDA >5%) получают только 6–9% организаций. Причина: эффект затухает при переходе от лабораторных задач к реальным процессам. Ускорение на 55% в тесте превращается в замедление на 19% в реальной разработке и в нулевой эффект на уровне компании.
ИИ-агент или ИИ-ассистент
Маркетинг часто путает (конечно не специально) понятия. ИИ-ассистент (уровень L2) помогает, но каждый шаг контролирует человек. ИИ-агент (уровень L4) получает цель и самостоятельно планирует, действует, исправляет ошибки и доводит задачу до конца. Из 18 топ-мировых продуктов только 7 (39%) – настоящие агенты. Остальное – ассистенты.
Мировой рынок
Настоящие агенты уже работают в четырёх областях: клиентский сервис, IT-разработка, внутренние коммуникации, цепочки поставок. Примеры: Devin в Goldman Sachs, Agentforce от Salesforce (ARR $800 млн), Waymo (500 тыс. поездок в неделю), Klarna (экономия $39 млн). В остальных отраслях агентов пока нет.
Российский рынок
В России готовых коробочных агентов нет. Поставщики предлагают платформы для сборки (Yandex AI Studio, GigaChat Enterprise, Just AI, MWS МТС). Лучшие примеры уровня L4 – внутренние разработки компаний: «Афанасий Иванов» (Т-Банк), «Маркус» (Сбер), виртуальные разработчики (Альфа-Банк), «Рубан» (Северсталь). Вывод: в России агента придётся строить самостоятельно на платформах вендоров.
Где агенты не нужны
Перед внедрением нужно ответить на пять вопросов:
- процесс повторяемый?
- есть чёткие критерии успеха?
- данные оцифрованы?
- цена ошибки приемлема?
- можно работать без проверки каждого шага человеком?
Если хотя бы три ответа «нет» – агент не нужен, лучше использовать обычную автоматизацию.
Почему эффект достигается медленно
Правило 10–20–70: успех на 70% зависит от людей и процессов, на 20% – от технологий, на 10% – от алгоритмов. Российские барьеры: дефицит GPU, кадровый голод (56% вендоров), новые регуляторные требования. J-кривая: сразу после внедрения производительность падает, рост наступает через 3–5 лет.
Стратегия для CEO
1. Проверяйте, что покупаете: агент или ассистент по шести критериям.
2. Запускайте пилот на одном сценарии (не на целой функции). 3–7 шагов, чёткая метрика, ответственный из бизнеса.
3. Сначала перестройте процесс и КПЭ, потом считайте эффект. В 83% случаев компании не сокращают штат – ИИ даёт рост выручки и качества, а не увольнения.
Предлагается 90-дневный план внедрения
Первые 30 дней: выбрать один повторяемый сценарий, собрать команду (бизнес-лид, ML-инженер, инженер данных, куратор из топ-менеджмента). Следующие 30 дней: запустить пилот, оставив человека в контуре, изменить КПЭ сотрудников. Последние 30 дней: оценить метрики – при успехе масштабировать, при неудаче остановиться.
Главный вывод
Хайп вокруг ИИ-агентов велик, но реальный финансовый эффект пока получают единицы. Ключ к успеху – не покупка модели, а перестройка процессов и изменение KPI. Технология – лишь 20% успеха. Умение подождать, пока отрасль и данные созреют, – это конкурентное преимущество, а не слабость.
1 352
Repost from Data Secrets
Немецкая википедия оказалась лишь верхушкой айсберга: вышло полное расследование истории со взломом вики
Первая часть: https://t.me/data_secrets/9845
Исследователи из Nightingale, которые и передали данные в Reuters, выложили первоисточник – отчет, в котором инцидент расследуется с начала до конца: https://collusion.wiki/
Оказывается, перед тем, как найти DseWiki, агенты две недели тренировались на publictestwiki. com, затем на UseModWiki и Uncyclopedia, потом экспериментировали с цепочками прокси через texteditors. org, и только потом развернулись по-крупному на Dse. Всего исследователи насчитали ~18 000 постов.
Исследователи почти наверняка выяснили, что это был другой рой, чем тот, что атаковал Hugging Face, и удалось даже установить цель их атаки.
Судя по всему, OpenAI параллельно проводили для тысяч агентов один и тот же тест, в котором нужно было ответить на вопросы, найдя информацию в сети. Вопросы шли в разном порядке, так что агенты сообразили, что могут подсказывать друг другу ответы, и с помощью вики пытались создать общую доску шпаргалок.
Один из агентов даже попытался взломать генератор случайных чисел, чтобы научиться предсказывать точную последовательность вопросов. Для этого ему, правда, пришлось перебрать 4 миллиарда сидов, но чего только не сделаешь, чтобы не гуглить глупые вопросы кожаных 🤷♂️
