ML&|Sec Feed

Anthropic пару недель назад незаметно выложили на GitHub интерактивный учебник по промптингу в виде ipynb ноутбуков Особенно полезно для разрабов, которые работают с API LLM: курс разбит на 9 глав с теорией, примерами, упражнениями и ответами на них. Поможет освоить базовые техники, познакомит с такими фичами, как Prompt caching и отдельно научит оптимизировать ответы для кодинга. Кстати, вот вам интересный факт: Anthropic – единственная компания, которая опубликовала в общий доступ свои системные промпты (то есть те промпты с базовыми настройками, которые зашиваются разработчиками в модель как дефолтные). Посмотреть на них можно тут.

⚛️ Исследователи из MIT разработали новый инструмент на основе генеративного ИИ, предназначенный для анализа сложных табличных данных в базах данных Этот инструмент, называемый GenSQL, основан на языке программирования SQL и позволяет пользователям выполнять сложные статистические анализы без глубокого понимания внутренних механизмов. GenSQL может использоваться для прогнозирования, обнаружения аномалий, заполнения пропущенных значений, исправления ошибок и создания синтетических данных. Система интегрирует табличный набор данных и генеративную вероятностную модель ИИ, которая может учитывать неопределенность и корректировать процесс принятия решений на основе новых данных. Одно из основных преимуществ GenSQL заключается в его способности обрабатывать сложные запросы, комбинируя анализ данных и модели. Например, система может определить вероятность того, что разработчик из Сиэтла знает язык программирования Rust, учитывая не только корреляцию между столбцами в базе данных, но и более сложные зависимости. Кроме того, вероятностные модели, используемые GenSQL, являются прозрачными и аудируемыми, что позволяет пользователям видеть, какие данные используются для принятия решений и получать оценку уровня неопределенности. В ходе исследования GenSQL был сравнен с другими популярными методами, основанными на нейронных сетях, и показал значительно более высокую скорость и точность. Исследователи планируют продолжить разработку инструмента, сделав его более доступным и мощным, а также расширить его возможности для обработки больших объемов данных и обработки естественного языка, чтобы в конечном итоге создать эксперта по ИИ, подобного ChatGPT, для анализа баз данных. 📌 Источник #базыданных #mit @ai_machinelearning_big_data

Компания Anthropic опубликовала системные промпты для своей языковой модели Claude 3.5. Это значимое событие для всех, кто интересуется разработкой чат-ботов и prompt engineering. Системный промпт - это набор инструкций, которые определяют базовое поведение и личность AI-ассистента. Обычно эта информация не раскрывается разработчиками и считается коммерческой тайной. Однако Anthropic решили пойти на беспрецедентный шаг и поделиться промптами своей модели. Это дает нам возможность изучить принципы работы одного из самых продвинутых чат-ботов на рынке. Знакомство с промптами Claude 3.5 может быть полезно для всех, кто занимается или планирует заниматься созданием собственных AI-ассистентов. Это возможность перенять опыт ведущих специалистов в области и усовершенствовать свои навыки prompt engineering. Конечно, нужно понимать, что каждый проект уникален и требует индивидуального подхода. Но изучение промптов Claude 3.5 может дать ценные инсайты и вдохновение для собственных экспериментов и разработок. Так что если вы хотите быть в курсе последних трендов в мире чат-ботов и AI-ассистентов, рекомендую ознакомиться с опубликованными промптами. Это может стать полезным ресурсом для вашего профессионального развития в этой перспективной области. https://docs.anthropic.com/en/release-notes/system-prompts#july-12th-2024 #Anthropic #Claude #PromptEngineering #ChatbotDevelopment #AIAssistants

⚡️ Lazy Predict Дата Саентисты обычно тратят много времени на тестирование множества моделей. Lazy Predict позволяет быстро создавать прототипы и сравнивать несколько базовых моделей без написания большого количества кода или сложной настройки моделей. pip install lazypredict ▪Github @data_analysis_ml

IntelOwl — приложение создано для масштабирования и ускорения поиска информации об угрозах. Он обеспечивает: ▫️Расширение данных об угрозах для файлов, а также наблюдаемых данных (IP, домен, URL, хэш и т.д.) ▫️Полноценные REST API, написанные на Django и Python. ▫️Простой способ интеграции в ваш стек инструментов безопасности для автоматизации типичных задач. 4️⃣ GitHub

🖥 3 лучших инструмента для автоматизации устранения SQL инъекций! SQL-инъекция (SQLi) - это уязвимость веб-безопасности, которая позволяет злоумышленнику вмешиваться в запросы, которые приложение делает к своей базе данных. Как правило, это позволяет просматривать данные, которые он обычно не может получить. Это могут быть других пользователей, или любые другие данные, доступ к которым имеет само приложение. Во многих случаях злоумышленник может изменять или удалять эти данные, вызывая постоянные изменения в содержимом или поведении приложения. 1⃣ SQLMap Вы, вероятно, уже знаете о первом инструменте. SQLMap - самый популярный сканер уязвимостей SQL Injection, полностью открытый! 2⃣ Ghauri Ghauri - это продвинутый инструмент, позволяющий легко автоматизировать обнаружение и эксплуатацию уязвимостей SQL Injection! Ghauri также имеет открытый исходный код и доступен на GitHub! 3⃣ SQLiv Обнаруживает уязвимости SQL-инъекций в веб-приложениях с помощью методов автоматического сканирования. Этот инструмент способен найти в Google определенную цель, просмотреть ее и просканировать несколько URL-адресов на наличие SQL-инъекций. @data_analysis_ml

Top Score on the Wrong Exam: On Benchmarking in Machine Learning for Vulnerability Detection https://arxiv.org/pdf/2408.12986

Подборка исследований с Black Hat 2024 В августе прошли крупнейшие ИБ-мероприятия, и уже можно встретить обзоры наиболее «громких» исследований с точки зрения медиа. Возьмем доклады Black Hat, изучим материалы и самостоятельно выделим перспективные направления. Моя подборка: * “From Weapon to Target: Quantum Computers Paradox” - исследование вопросов безопасности квантовых компьютеров и процесса квантовых вычислений. Несмотря на активное обсуждение влияния квантовых вычислений на классическую криптографию, вопросы безопасности самих квантовых систем остаются малоизученными. Авторы анализируют уязвимости и возможные векторы атак на квантовые вычислительные инфраструктуры, включая программное обеспечение и облачные сервисы. Примеры выявленных проблем: кража токенов аутентификации, изменение квантовых цепочек программ в SDK, а также атаки на квантовые процессоры. * “SnailLoad: Anyone on the Internet Can Learn What You're Doing” - интересная техника составления профиля пользователя без каких-либо вспомогательных инструментов посередине (без агентов на его рабочей станции или прокси-серверов в его сети). Канал утечки данных находится в задержках сети, которые появляются, когда пользователь взаимодействует с онлайн-контентом. Анализируя эти задержки, злоумышленник может точно определить действия пользователя, что может привести к раскрытию конфиденциальной информации и деанонимизации. Эта техника подчеркивает уязвимость даже защищенных сессий браузера перед сложными атаками на основе временных характеристик (timing-атаки). * “Listen to the Whispers: Web Timing Attacks that Actually Work” - и еще одно исследование timing-атак, но уже в контексте безопасности веб-приложений. Приведены примеры ситуаций, когда атакуемая система раскрывает конфиденциальные данные из-за разных временных задержек при обработке запросов. Техника пригодится для обнаружения скрытой поверхности атаки и определения некорректных настроек прокси-серверов. ** “Deep Backdoors in Deep Reinforcement Learning Agents” - техника интеграции «вредоносных нейронов» в нейронную сеть. В исследовании описаны сценарии компрометации ИИ-агентов на этапе их обучения и последствия неправильных решений, которые эти агенты могут принимать в промышленности, автономном транспорте и кибербезопасности. ⭐️ Подборка исследований Black Hat 2023. #дайджест @makrushin

Появился мощный ИИ-ассистент — с помощью него можно общаться(!) со своими файлами на ПК. Quivr переводит в режим чат-бота все содержимое ваших файлов — сразу находит любую информацию и генерирует саммари из больших объемов текста. Умеет обрабатывать все типы контента: текст, PDF-файлы, презентации, таблицы Excel, CSV, Word, аудио, видео и так далее. Его можно юзать без интернета, если боитесь стороннего доступа. Забираем — здесь.

Решать unsupervised задачи всегда непросто, а решать unsupervised задачи для RecSys — еще сложнее 👺 В лонгриде на Хабре мы написали, как собирать хорошие тематические персональные подборки, не имея разметки, в какие ловушки можно попасться и какие инсайты можно достать.

🌟ReBased: новая архитектура быстрых языковых моделей Архитектура ReBased – усовершенствованная Based, представленная исследователями из Стэнфорда в декабре 2023 года, которая значительно улучшила способности контекстного обучения. В лаборатории T-Bank AI Research обнаружили неэффективное использование ресурсов из-за неоптимальной структуры нейросети. Проведя анализ архитектуры Based, в T-Bank AI Research оптимизировали механизм извлечения информации из текста, добавив новые обучаемые параметры, и упростили алгоритм выделения текстовой информации. В среднем понимание взаимосвязей в тексте в новой архитектуре стало лучше на 10%. ReBased способна снизить издержки на использование искусственного интеллекта для специализированных задач и позволяет приблизить качество линейных моделей к трансформерам. Модели, в основе которых лежит ReBased, могут генерировать тексты с более низкими требованиями к ресурсам практически без потери качества. Эксперименты проводили на датасете MQAR (Multi-Query Associative Recall), который позволяет определять способность модели к контекстуальному обучению, а именно к ассоциативному запоминанию. Результаты были представлены на ACL 2024. 📝Статья 🖥Github #AI #LLM @ai_machinelearning_big_data

#machine #learning #ai #cyber #security Очень объёмный материал на тему использования машинного обучения в кибербезопасности. https://www.researchsquare.com/article/rs-4791216/v1

DecodingTrust: A comprehensive assessment of trustworthiness in GPT models Wang, W. Chen, H. Pei, C. Xie, M. Kang, C. Zhang, C. Xu, Z. Xiong, R. Dutta, R. Schaeffer et al NeurIPS, 2023. 🔗https://arxiv.org/pdf/2306.11698 #иб_для_ml 110-страничный фреймворк по безопасности LLM (из которого 48 страниц - источники и приложения) ➖GPT-4, как правило, более склонен к токсичности (из-за джейлбрейка), чем GPT-3.5, из-за более точного следования инструкциям. ➖Выявлено, что GPT-4 более уязвим к манипуляциям через инъекции из-за точного следования инструкциям. ➖GPT-4 продемонстрировал лучшую защиту от утечек персональной информации по сравнению с GPT-3.5, но все равно не идеальную. ➖Представили бенчмарк AdvGLUE++ для оценки устойчивости LLM к атакам. Выводов по нему тоже много, например, такой: атаки, пускай, на модели GPT-3.5 и GPT-4, созданные с использованием других моделей, таких как Alpaca-7B, могут успешно передаваться и воздействовать на целевые. И в целом объем инфы невероятный, целая книга по факту

Перевод очень старого (2013 года) ликбеза по теории принятия решений от lukeprog. На aisafety.ru На lesswrong.ru Оригинал.

Нашёл крупнейшую библиотеку алгоритмов с открытым исходным кодом для всех возможных языков программирования. Каждый алгоритм представлен в виде кода, короткого пояснения, примеров использования и даже видео, в котором про алгоритм расскажут подробнее. А знаете, что самое крутое? Оно ещё и на русском языке.