Don't get caught by a cheater! Telemetrio finds and tags such channels 👉 If you want to see the tag, subscribe

ML&|Sec Feed

Open in Telegram

Feed for @borismlsec channel author: @ivolake

Russia267 203 Technologies & Applications37 109

1 390

Subscribers

No data24 hours

+57 days

+4330 days

234

Post views

~ 11124 hours

~ 13048 hours

16.83%

Engagement rate

~ 1

Posts per day

Ads index

beta

Posts Archive

1 390

Repost from Анализ данных (Data analysis)

🌟 TorchMetrics — большой набор реализованных метрик для ML-систем — pip install torchmetrics TorchMetrics — это коллекция из 100+ реализаций метрик PyTorch и простой в использовании API для создания собственных метрик. Особенности API TorchMetrics: — стандартизированный интерфейс для воспроизводимости — можно использовать для распределенных ML-систем — автоматическая синхронизация между несколькими устройствами 🖥 GitHub 🟡 Доки 🟡 Все метрики @data_analysis_ml

1 390

Repost from Анализ данных (Data analysis)

🌟 Evidently — фреймворк Python для оценки, тестирования и мониторинга ML-моделей в продакшене — pip install evidently Evidently помогает оценивать, тестировать и контролировать данные и ML-системы. Вот некоторые из решаемых Evidently задач: — прогностические: классификация, регрессия, ранжирование, рекомендации — генеративные: чат-боты, RAGs, вопросно-ответные системы — мониторинг данных: качество данных и дрейф данных для текстовых, табличных данных 🖥 GitHub 🟡 Доки @data_analysis_ml

1 390

Repost from Data Secrets

Ученые из Калифорнийского университета показали способ учить LLM без перемножения матриц Перемножение матриц – основная операция в LLM из-за механизма внимания. Именно она тянет на себя большинство вычислительных затрат, и чем больше контекст и количество параметров – тем больше и больше перемножение матриц ест. Чтобы это побороть, авторы (вдохновшись BitNet) внесли в архитекуру LLM три основных изменения: – вместо традиционных чисел с плавающей запятой веса представляют из себя только числа из набора (-1, 0, 1) – перепроектирован self-attention: теперь на его месте рекуррентный блок, в котором используются только базовые операции – использован Gated Linear Unit (GLU) из LSTM – его адаптировали под триплетные веса. В итоге получилось, что такие модели могут достигать перформанса привычных трансформеров, при этом мощно сокращая память и компьют. Кроме того, авторы показывают, что архитектура хорошо скейлится. Доступен код, так что можно поиграться своими руками. Кроме того, советуем прочитать статью.

1 390

Repost from CodeCamp

Годнота: обнаружил на GitHub хранилище с полезными каналами, где есть гигабайты гайдов про айти: — AI, ML и DataScience; — DevOps; — Gamedev; — Testing и QA; — БД; — Безопасность; — Документация; — Компании, Организации, Сообщества, Конференции; — Образование. Не все гайды свежие, но находка всё-равно топовая!

1 390

https://arxiv.org/pdf/2205.02302

1 390

Repost from Machinelearning

🌟 LongRAG — улучшение RAG при помощи LLM с большим контекстом Традиционный RAG работает с небольшими фрагментами документов, т.е. нужно обработать огромное количество таких фрагментов, чтобы найти нужное. В отличие от традиционного, LongRAG работает с большими фрагментами, что значительно улучшает результат. LongRAG полностью использует возможности LLM с большим контекстом для достижения высокой производительности. На графике — сравнение LongRAG с обычным RAG. Синие названия обозначают модели без тонкой настройки, а красные - модели с тонкой настройкой. 🟡 Страничка LongRAG 🟡 Датасет 🖥 GitHub @ai_machinelearning_big_data

1 390

Repost from Russian OSINT

✋ @Russian_OSINT

1 390

Repost from Russian OSINT

✋ Когда open source LLM не совсем "open source". Нашел очень интересное исследование 📄"Rethinking open source generative AI open-washing and the EU AI Act". Рекомендую. 🍿Зацените в таблице Falcon, LLaMA, Mistral Wizard... 🎲Ставлю на красное! 👩‍💻ChatGPT - антилидер в таблице по открытости. ✋ @Russian_OSINT

1 390

Repost from Purple Team Diary's

Быстрая настройка VPS для задач Machine Learning Начинаем с установки системы управления пакетами на VPS:

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

Обновим conda и pip:

conda update conda
pip install --upgrade pip

Создаем виртуальное окружение в котором будем работать над задачами ML:

conda create -n myenv python=3.11
conda activate myenv

Установим зависимости (у вас могут отличаться):

conda install -c conda-forge tensorflow=2.15.0 pandas=2.2.1 transformers=4.40.2 openpyxl=3.1.2 torch>=2.3.0 numpy jupyter-lab jupyter scikit-learn seaborn nltk matplotlib

Запускаем IDE:

jupyter notebook --ip 0.0.0.0 --port 65530

Переходим в браузер, вводим токен, придумываем пароль и наслаждаемся 😊 Если при импорте tensorflow столкнетесь с ошибкой, которая возникает из-за отсутствия полноценного доступа к CPU:

ImportError: .../../../libtensorflow_framework.so.2: undefined symbol: _ZTIN6snappy4SinkE

то лечим устанвокой tensorflow через pip:

conda remove tensorflow
pip install tensorflow==2.15.0

Сразу через pip устанавливать не рекомендую, т.к зависимости других библиотек должны быть решены системой управления пакетов. #ML

1 390

Агенты безопасности помогают операциям безопасности, радикально повышая скорость расследований, автоматизируя мониторинг и реагирование для повышения бдительности и контроля соответствия. Они также могут помочь защитить данные и модели от кибератак, например, от вредоносного ввода. 1. BBVA использует ИИ в Google SecOps для обнаружения, расследования и реагирования на угрозы безопасности с большей точностью, скоростью и масштабом. Платформа теперь получает критически важные данные о безопасности за считанные секунды, в то время как раньше на это уходили минуты или даже часы, и обеспечивает высокоавтоматизированное реагирование. 2. Behavox использует облачные технологии Google и LLM для предоставления ведущих в отрасли решений по обеспечению соответствия нормативным требованиям и фронт-офисов для финансовых учреждений по всему миру. 3. Компания Charles Schwab интегрировала свои собственные интеллектуальные данные в Google SecOps на базе ИИ, чтобы аналитики могли лучше расставлять приоритеты в работе и реагировать на угрозы. 4. Инженеры Fiserv, занимающиеся операциями по обеспечению безопасности, с гораздо меньшими усилиями создают программы обнаружения и сценарии действий, а аналитики быстрее получают ответы. 5. Grupo Boticário, одна из крупнейших компаний розничной торговли косметикой в Бразилии, использует модели безопасности в режиме реального времени для предотвращения мошенничества, а также для обнаружения и реагирования на проблемы. 6. Cortex XSIAM от Palo Alto Networks, платформа для операций безопасности на основе искусственного интеллекта, создана на основе более чем десятилетнего опыта в области моделей машинного обучения и самого полного, богатого и разнообразного хранилища данных в отрасли. Опираясь на современную облачную инфраструктуру Google и передовые сервисы искусственного интеллекта, включая модели BigQuery и Gemini, эта комбинация обеспечивает глобальный масштаб и защиту практически в режиме реального времени по всем предложениям в области кибербезопасности. 7. Теперь Pfizer может объединять источники данных по кибербезопасности, сокращая время анализа с нескольких дней до нескольких секунд.

1 390

Repost from UniLecs | Программирование

💥На выставке Google Cloud Next '24 ведущие компании, правительства, исследователи и стартапы продемонстрировали, как они уже используют решения Google в области искусственного интеллекта для улучшения своей работы. Обзор агентов по работе с кодом и безопасностью... #google_next #ai

1 390

Repost from Анализ данных (Data analysis)

🌟 Hamilton — библиотека Python для создания направленных ациклических графов (DAG), визуализирующих потоки данных — pip install sf-hamilton Чтобы создать граф при помощи Hamilton, ничего особенного не требуется: нужно просто писать обычные функции Python, которые указывают свои зависимости с помощью параметров. Как раз по этим параметрам Hamilton и построит граф, по которому можно легко увидеть, как преобразуются данные и передаются из одной функции в другую Hamilton может быть очень полезным инструментом при работе с большими конвейерами данных и в ML-системах 🖥 GitHub 🟡 Доки 🟡 Затестить Hamilton онлайн @data_analysis_ml

1 390

Repost from Positive Events

❓ Вы ждали и спрашивали, когда же записи докладов с киберфестиваля PHDays Fest 2 появятся на нашем YouTube-канале Мы не теряли времени и выкладывали сотни гигабайтов и часов видео. Они распределены по трекам и темам для того, чтобы было удобнее искать и смотреть то, что нужно именно вам (впереди для этого целые выходные 😊). ⬇️ Делимся ссылками на плейлисты ⬇️ 👀 Для всех • Научпоп • Lifestyle 🛡 Кибербезопасность: • Offense • Defense • AI Track • Blockchain • Fast Track • Community • Evasion • Международный • Standoff 🧑‍💻 Разработка: • General Development • Secure Development • Team Lead • Data Engineering • Languages and tools • Python • Platform Engineering 💰 Бизнес: • Государство • Школа CISO • Архитектура ИБ • SOC будущего • Кибербез с разных сторон • День инвестора Positive Technologies • Big Boss • Партнерский • Вместе • HR-трек • Кибербез: с чего начать Смотрите сами и делитесь ссылками с теми, кому будет интересно! #PHD2

1 390

Repost from Анализ данных (Data analysis)

🌟 PySR — open-source инструмент для высокопроизводительной символьной регрессии на Python и Julia — pip install pysr PySR создан для решения задачи символьной регрессии, т.е. для нахождения интерпретируемого символьного выражения, которое корректно описывает наблюдаемые данные. PySR был разработан с нуля, чтобы быть (1) как можно более высокопроизводительным, (2) как можно более настраиваемым, гибким и (3) простым в использовании. Параллельно с PySR развивается библиотека Julia SymbolicRegression.jl, которая отвечает за нагруженные компоненты PySR, в частности за алгортм поиска. 🖥 GitHub @data_analysis_ml

1 390

Repost from Анализ данных (Data analysis)

🖥 Daft — фреймворк для ETL, аналитики и ML/AI в нагруженных системах — pip install getdaft Daft — это распределенный движок запросов для обработки больших данных на Python; реализован на Rust. Многие идеи Daft позаимствовал из Apache Arrow In-Memory Особенности Daft — встроенный мощный оптимизатор переписывает запросы, чтобы сделать их максимально эффективными — есть полная интеграция с такими системами как Apache Iceberg — имеется поддержка изображений, URL, тензоров и других самых разных объектов — рекордная производительность ввода-вывода для интеграции с облачным хранилищем S3 🖥 GitHub 🟡 Доки @data_analysis_ml

1 390

Repost from Анализ данных (Data analysis)

🌟 TextGrad — open-source фреймворк для реализации обратного распространения, опирающегося на текстовую обратную связь — pip install textgrad TextGrad может оптимизировать неструктурированные переменные, такие как текст. Пусть у нас есть исходное решение математической задачи, мы хотим, чтобы это решение выглядело лучше. Вот как можно реализовать это в коде с помощью TextGrad и GPT-4o:

tg.set_backward_engine("gpt-4o")

initial_solution = """To solve the equation 3x^2 - 7x + 2 = 0, we use the quadratic formula:
x = (-b ± √(b^2 - 4ac)) / 2a
a = 3, b = -7, c = 2
x = (7 ± √((-7)^2 - 4 * 3(2))) / 6
x = (7 ± √(7^3) / 6
The solutions are:
x1 = (7 + √73)
x2 = (7 - √73)"""

# Define the variable to optimize, let requires_grad=True to enable gradient computation
solution = tg.Variable(initial_solution,
                       requires_grad=True,
                       role_description="solution to the math question")

# Define the optimizer, let the optimizer know which variables to optimize, and run the loss function

loss_fn = tg.TextLoss("You will evaluate a solution to a math question. Do not attempt to solve it yourself, do not give a solution, only identify errors. Be super concise.")

optimizer = tg.TGD(parameters=[solution])
loss = loss_fn(solution)

🖥 GitHub 🟡 Colab с примерами примитивов TextGrad 🟡 Arxiv @data_analysis_ml

1 390

Repost from Russian OSINT

👀 Code Finder – поисковая система по репозиториям на GitHub. ◀️https://codefinder.dev ✋ @Russian_OSINT

1 390

Repost from Анализ данных (Data analysis)

🌟 d3rlpy — библиотека Python, предоставляющая реализации алгоритмов Deep Learning — pip install d3rlpy d3rlpy уделяет большое внимание простоте использования; эта библиотека предназначена не только для исследователей, но и для практиков, работающих над обычными проектами. 🖥 GitHub 🟡 Доки 🟡 Arxiv @data_analysis_ml

1 390

Repost from Анализ данных (Data analysis)

⚡️ Понимание Deep Learning Отличная книга и масса Colab'ов от MIT для полного понимания Deep Learning Определённо это один из лучших ресурсов по DL 🟡 Understanding Deep Learning 📎 PDF @data_analysis_ml

1 390

Repost from Анализ данных (Data analysis)

🌟 R2R — open-source RAG фреймворк — pip install r2r R2R создан, чтобы помочь разработчикам преодолеть разрыв между локальными экспериментами с LLM и созданием масштабируемого, готового к продакшену приложения. R2R, созданный для работы с пользовательскими приложениями RAG, обеспечивает достаточную производительность и возможности для большинства случаев использования RAG. Фичи R2R: — позволяет легко развернуть RAG-приложение в проде — гибкий в настройке, легко конфигурируется 🖥 GitHub 🟡 Доки @data_analysis_ml