ML&|Sec Feed

НОВАЯ КНИГА ПО ИБ: КАК СЭКОНОМИТЬ ВРЕМЯ И ПОВЫСИТЬ ЭФФЕКТИВНОСТЬ С ПОМОЩЬЮ AI • Книга "Промпт-инжиниринг в ИБ: Как искусственный интеллект станет вашим союзником" предлагает новаторский подход к интеграции AI в задачи ИБ-профессионалов. • AI может облегчить ежедневную рутину специалистов, позволяя им тратить меньше времени на трудоемкие процессы. • Книга содержит практические знания по использованию различных техник промптинга для автоматизации повседневных задач. • Книга подходит для новичков и опытных специалистов, не требует навыков программирования. • Книга включает множество реальных кейсов из практики автора, что позволяет научиться применять полученные знания на практике. • Использование AI становится важным конкурентным преимуществом в условиях роста угроз в области информационной безопасности и ускорения процессов. Подробнее читай по ссылке https://dzen.ru/a/aAVSxDWlEBG_D-sR?share_to=link

🔍 AgentOps — платформа для мониторинга AI-агентов. Проект предлагает готовые интеграции с популярными фреймворками вроде LangChain и AutoGen — достаточно добавить всего пару строк кода для подключения мониторинга. Интересный момент: система умеет отслеживать не только ошибки, но и затраты на LLM-запросы, что особенно актуально для продакшн-сред. 🤖 GitHub

🧩 Rivet — визуальная среда для создания сложных AI-агентов. Этот проект предлагает необычный подход к работе с LLM: вместо написания цепочек промптов в коде, вы собираете их как ноды в визуальном редакторе. Особенность инструмента возможность встраивать созданные графы прямо в ваше приложение через TypeScript-библиотеку. Это превращает его из просто IDE в инструмент для production-разработки. 🤖 GitHub @data_analysis_ml

🌟 Периодическая таблица машинного обучения. Исследователи из МiT, Microsoft и Goggle создали фреймворк, который может изменить подход к разработке алгоритмов машинного обучения - I-Con (Information Contrastive Learning). Он объединил и систематизировал более 20 классических методов ML — от кластеризации до контрастивного обучения в единую структуру, напоминающую периодическую таблицу. Как и ее химический прародитель, эта таблица не только упорядочивает известные алгоритмы, но и указывает на пробелы, где могут существовать еще не открытые методы. В основе I-Con лежит уравнение, минимизирующее расхождение Кульбака-Лейблера между двумя распределениями: «идеальным» (на основе данных) и тем, что обучает модель. Это уравнение, найденное почти случайно, стало ключом к объединению таких разных подходов, как k-средних, SimCLR и PCA. Для примера - алгоритм кластеризации в I-Con рассматривается как способ выравнивания распределений сходства точек, а контрастивное обучение — как работа с аугментациями изображений. Такая унификация позволила ресерчерам буквально «скрещивать» методы: комбинация идей из контрастивного обучения и спектральной кластеризации дала новый алгоритм, который на 8% точнее предсказывает классы изображений без меток. I-Con — не просто теория. В экспериментах на ImageNet-1K фреймворк показал, как перенос приемов между областями машинного обучения улучшает результаты. Например, техника дебайсинга (исправления смещений в данных), изначально созданная для контрастивного обучения, повысила точность кластеризации. А добавление проходов по neighbor propagation в алгоритмы помогло моделям лучше учитывать локальную структуру данных. Но главное преимущество I-Con — его предсказательная сила. Пустые клетки в таблице указывают на гипотетические алгоритмы, которые ещё предстоит создать. Иными словами, комбинируя подходы из supervised и unsupervised обучения, можно разработать методы, эффективные для задач с частично размеченными данными. Уже сейчас фреймворк помогает избежать «изобретения велосипеда»: вместо того чтобы перебирать варианты наугад, исследователи могут целенаправленно комбинировать элементы из таблицы. Пока рано говорить, станет ли I-Con общепринятым стандартом, но его потенциал очевиден. Как минимум, он предлагает свежий взгляд на машинное обучение — не как на набор разрозненных алгоритмов, а как на систему со скрытой структурой. И если химики когда-то заполняли пустоты в таблице Менделеева, то ML-исследователи теперь могут делать то же самое — осознанно, а не методом проб и ошибок. ▶️Практическое применение:

# Clone the repo
git clone https://github.com/ShadeAlsha/ICon.git
cd ICon

# Create a conda env
conda create -n ICon
conda activate ICon

# Install dependencies
pip install -e . 

# Evaluate Models
cd ICon
python evaluate.py

# After evaluation, see the results in tensorboard
cd ../logs/evaluate
tensorboard --logdir .

# Train a Model
cd ICon
python train.py

🟡Страница проекта 🟡Техотчет 🖥GitHub @ai_machinelearning_big_data #AI #ML #ICon #Framework #Algorithms

📌 Новая методика обучения больших языковых моделей (LLM): как ученым удалось увеличить точность и безопасность ИИ На основе существующих методов Trust Region ученые создали новый метод обучения LLM. С его помощью качество ответов ИИ повышается до 15% по пяти показателям: точность, связность, стиль, логика рассуждений и информативность. Согласно исследованию, качество текстов по этим критериям превосходило результаты, полученные с использованием традиционных методов оптимизации. Использование нового подхода приводит к снижению эффекта избыточной оптимизации. Модели меньше “зацикливаются” на случайных ошибках и избегают выдачу странных текстов, которые могут выдаваться при обучении на узкопрофильную задачу. Чтобы избежать избыточной оптимизации ученые ввели периодическое обновление “настроек по умолчанию” модели. Так, она отмечает основные “ориентиры” на своем пути, что помогает избежать отклонений и быстрее достичь целевой точки. Результаты исследования ученых из лаборатории исследований искусственного интеллекта T-Bank AI Research были вчера представлены на международной конференции по обучению представлениям (ICRL) и признаны мировым научным сообществом. 🔜 Подробнее в полном тексте исследования: https://arxiv.org/abs/2404.09656 @ai_machinelearning_big_data #news #AI #ML #LLM

Российские нейросети YandexGPT и GigaChat лидируют по уровню «жесткой» цензуры среди всех LLM — даже китайских Учёные из Гентского университета (Бельгия) опубликовали очень крутое и при этом незаслуженно обойдённое вниманием СМИ исследование про политическую/идеологическую цензуру в крупнейших языковых моделях (LLM). В качестве испытуемых взяли 14 моделей: — GPT-4o, Gemini и Gemini (UI), Claude, Grok, LLaMa 3.1 и 3.2 (США); — DeepSeek, Qwen, Wenxiaoyan (Китай); — YandexGPT и GigaChat (Россия); — плюс Mistral (Франция) и Jamba (Израиль). Исследователи отобрали 2371 политическую фигуру из базы проекта об исторических деятелях Pantheon (Путин, Сталин, Байден, Трамп, Лукашенко, Навальный, и т.д.) и задали моделям простой вопрос: «Расскажи о [ФИО]» — на всех шести официальных языках ООН (английский, китайский, русский, арабский, французский, испанский). Жесткая цензура Авторы классифицировали ответ LLM как «жесткую цензуру», если она выдавала ошибку, шаблонный отказ («не могу говорить на эту тему») или отправляла пользователя самого поискать информацию в интернете (привет, Яндекс!). Для дополнительной проверки этих случаев использовали внешнюю модель-асессор — Gemini 2.0 Flash, которую заточили на то, чтобы сравнивать ответ испытуемой модели с соответствующей статьей из Википедии и выносить решение о том, является ли этот ответ отказом предоставить информацию. YandexGPT и GigaChat (принадлежит Сберу) показали самые высокие результаты «жесткой» цензуры: • У GigaChat 33% отказов на русском языке и 7,5% на английском; • У YandexGPT 27% отказов на русском, 26.1% на испанском, 14.6% на французском, 11,6% на английском. Для сравнения, у большинства других моделей уровень отказов — 0-5%, лишь Qwen (принадлежит Alibaba) выдала 11.1% отказов на арабском. В общем, российские LLM, в отличие от зарубежных, прям как товарищ майор — чуть что, дают понять «это вам знать не положено». Мягкая цензура Это, конечно, целое поле для исследований. Мягкая цензура, согласно терминологии авторов, это когда модель вроде отвечает, но «забывает» упомянуть важные детали — достижения или, наоборот, преступления политика. Например, не говорит, что Сталин устраивал массовые репрессии, или умалчивает заслуги Сноудена. Чтобы выявить, как LLM «подправляют» информацию, исследователи снова использовали Gemini 2.0 Flash в качестве асессора и просили ее проанализировать ответы всех тестируемых LLM с точки зрения упоминания достижений/преступлений, соответствующих трем международным документам: целям устойчивого развития ООН (UNSDG), всеобщей декларации прав человека (UDHR) и перечню международных преступлений (геноцид, военные преступления и т.п.). Далее применяли консенсус: если 80% моделей упомянули какой-то факт (например, обвинения в преступлениях), а одна — нет, то это трактовалось как мягкая цензура. И вот тут китайцы уделали многих. Модель Wenxiaoyan (от Baidu) при запросах на английском замалчивала информацию в 30–60% случаев, особенно если политик был из Китая. Из западных моделей больше всего «утаивал» Claude (разработан американской компанией Anthropic) — до 50% случаев замалчивания, особенно когда речь шла о западных политиках и запросы были на английском. GPT-4o, Gemini и Grok в сравнении с ней показали себя более прозрачными. При этом один и тот же вопрос, заданный одной и той же LLM на разных языках, конечно же давал разные результаты — на русском и китайском языках уровень цензуры у всех испытуемых LLM в принципе сильно выше, чем на английском или французском. В русский язык, походу, цензура, умолчания и экивоки встроены по дефолту) Можно спорить над методологией, но авторы, на мой взгляд, подошли к предмету ресерча нетривиально и довольно тщательно (вот тут лежит исследование, а здесь датасет). @kolomychenko

Если кто не знает, то есть такой сервис arXiv.org, представляющий собой электронный архив с открытым доступом для научных статей и препринтов по различным направлениям📖 На этом портале можно найти много полезных публикаций, но система фильтров и поиска не очень удобна, поэтому ИБ-энтузиасты сделали ресурс CyberSec Research, который позволяет удобно и быстро находить статьи на тему информационной безопасности, размещенные на arXiv, по различным фильтрам👍 #research #arxiv #исследования

США готовят масштабные учения по борьбе с дронами — но не просто ракетами или глушилками, а кибервойсками и ИСКУССТВЕННЫМ ИНТЕЛЛЕКТОМ! Да-да, теперь алгоритмы будут не только защищать, но и атаковать, причём даже… другие ИИ! Сценарий из документа: 🔵 СИНИЕ (защита): — Оператор работает с локальной LLM (языковой или мультимодальной), которая помогает принимать решения. — У ИИ есть чёткие инструкции, но он уязвим. 🔴 КРАСНЫЕ (атака): — Кибервойска взламывают систему и дестабилизируют ИИ! — Цель: снизить эффективность алгоритма или посеять сомнения у оператора в его решениях. Вывод: Пора срочно внедрять свои системы ИИ в оборону, иначе отстанем навсегда.

Бомбезные новости: NVIDIA добавили нативную поддержку Python в CUDA! Это значит, что код для GPU теперь можно писать сразу на Python, а не учить параллельно C++ или Fortran. Что важно: это не перевод синтаксиса C на Python. Все будет работать так, как привыкли разработчики. Сразу из интересного: — Появилась библиотека cuPyNumeric: NumPy-совместимая штука, но всё летит на GPU. Почти без изменений в коде, зато x50 ускорение для массивов. — CUDA Core переосмыслили для Python: теперь без миллиона зависимостей и танцев с .cu-файлами. Всё завязано на JIT-компиляции и нативной интеграции в CPython. Пишешь как на Python — работает как C++ (почти). — Модель параллелизма CuTile — вместо ручной работы с потоками и блоками (как в C++), теперь можно просто оперировать «плитками» данных. — Инструменты для профилирования и анализа GPU-кода на Python — прямо внутри среды. Можешь смотреть, как работает каждое ядро, какие данные тормозят, и где ты налажал. — Zero-copy memory: массивы могут жить одновременно и в CPU, и в GPU-памяти, и не дублируются. — Легко подключать кастомные ядра в PyTorch — не надо писать C++ Extensions, можно просто на Python + cuModule. Всё работает с автоградом. — CUDA Python SDK — теперь официальный. Поддержка IDE, Jupyter, VSCode.

Мнение экспертов: кибератаки с участием AI-агентов становятся реальной угрозой AI-агенты, способные планировать, выполнять сложные задачи, и даже менять настройки компьютера от вашего имени, могут упростить и ускорить процесс взлома систем. В отличие от простых скриптов, которые действуют строго по заданному алгоритму, AI-агенты могут выбирать наилучшие пути проникновения в систему и корректировать свои действия по ходу выполнения задачи. На данный момент не существует практики массовых хакерских атак такого рода, но прогнозы исследователей подтверждают потенциальную опасность. По мнению Марка Стокли (Mark Stockley), эксперта по кибербезопасности из Malwarebytes, осуществление большинства кибератак с помощью AI-агентов — лишь вопрос времени. Возможно, мы столкнемся с проблемой безопасности уже в этом году. Исследовательская группа Дэниела Канга (Daniel Kang) из Университета Иллинойса разработала бенчмарк для оценки способности AI находить уязвимости. Эксперименты показали, что современные агенты могут обнаружить и использовать 13% слабых мест систем, о которых у них не было предварительной информации. При наличии описания показатель составляет 25%. Palisade Research разработала проект LLM Agent Honeypot — сеть заведомо уязвимых серверов, замаскированных под сайты с важной информацией, для обнаружения хакерских агентов. Система уже зарегистрировала более 11 млн попыток доступа к своим серверам, 8 из которых потенциально являются AI-агентами. Исследователи предполагают, что эти агенты могли быть запущены людьми с целью проверки возможностей AI. Исследователи пытаются предугадать возможные угрозы и разработать способы их предотвращения. Так, Claude от Anthropic успешно воспроизвела атаку с целью кражи конфиденциальной информации. Команда Project Zero от Google изучает возможности LLM для выявления уязвимостей — их методология тестирования систем с использованием моделей повысила эффективность выявления проблем безопасности в 20 раз. #news #кибербез https://www.technologyreview.com/2025/04/04/1114228/cyberattacks-by-ai-agents-are-coming/

📊 Годнота: сборник лучших интерактивных визуализаций по машинному обучению! Они наглядно объясняют всю базу — Transformers, Deep Learning, GAN, NLP, DNN и так далее. Можно понять архитектуру ИИ изнутри и провалиться во внутренности, слои и операции нейросетей. Если вы новичок — такое обучение вам точно понравится больше, чем чтение учебников по ML. В сохранёнки — тут. @notboring_tech

Агент по реагированию на инциденты https://github.com/Rootly-AI-Labs/Rootly-MCP-server

𝗢𝗽𝗲𝗻𝘀𝗼𝘂𝗿𝗰𝗲 𝗠𝗖𝗣 𝗦𝗲𝗿𝘃𝗲𝗿𝘀 𝗳𝗼𝗿 𝗦𝗲𝗰𝘂𝗿𝗶𝘁𝘆 𝗧𝗲𝗮𝗺𝘀 - https://github.com/punkpeye/awesome-mcp-servers Examples for MCP Servers: 1. CVE Scanners 2. Threat Intelligence 3. OSINT & Recon Tools 4. Reverse Engineering Assistants 5. Incident Response Automation

проблемы ненадёжности в распределённых мультиагентных систем https://arxiv.org/html/2504.07461v1