ML&|Sec Feed

⚡️ Нереальный список ресурсов по Machine Learning Здесь приведена масса полезных ссылок для изучения NLP, computer vision, SVM и других ML-алгоритмов Если кто искал и никак не мог найти объяснение нужной темы ML — скорее всего оно есть тут 📎 Список ресурсов Источник: @machinelearning_interview

⚡️ RouteLLM - фреймворк с открытым исходным кодом для эффективной маршрутизации между несколькими LLM Метод построения маршрутов (роутеров) использует данные о предпочтениях для обучения управляющего роутера, который может предсказывать, какие запросы могут быть обработаны слабыми моделями, а какие требуют более мощных. RouteLLM обещает значительное снижение затрат без ущерба для качества ответов. В тестах, таких как MT Bench и MMLU, RouteLLM достиг высокой производительности при меньшем количестве вызовов на мощные модели. В фреймворке реализована поддержка вызова по API (OpenAI, Anthropic, Google, Amazon Bedrock) и локального бекэнда (Ollama) Преднастроены 4 роутера, обученных на паре моделей gpt-4-1106-preview и  mixtral-8x7b-instruct-v0.1 : mf - использует модель матричной факторизации, обученную на данных о предпочтениях sw_ranking - использует взвешенный расчет ELO для маршрутизации, где каждый голос взвешивается в зависимости от того, насколько он похож на запрос пользователя bert - использует классификатор BERT causal_llm - использует классификатор отдельной LLM настроенный на данные о предпочтениях. random - случайным образом направляет запрос к случайной модели. 🟡Arxiv 🟡Страница проекта 🟡Модели (Augmented for routes) на HF 🖥Github [ Stars: 686 | Forks: 52 | Issues:2] #LLM #ML #machinelearning #opensource @ai_machinelearning_big_data

Когда твои идеи повторяют - это замечательно! Особенно, когда это делают спустя несклько лет Как минимум, это означает, что когда-то принятые решения были верны и сохраняют свою актуальность, эффективность и результативность на горизонте многих лет. Кроме того, очень приятно ощущать себя лидером рынка, задающим направления исследований, и что уже новые идеи и разработки идеологически основываются на том, к чему когда-то был причастен. Автоаналиитка придумали в 2018, и, ЕМНИП, уже в 2020 году он был уже на проде. О нем много написано, коллеги по индустрии снабдили его новыми замечательными идеями (некоторые мы проверяли на старте, но они тогда не дали результата, а после доклада появилась мотивация их проверить заново), но заметка сегодня не о том. Эффективность работы Автоаналитика определяется качеством организации процессов работы команды SOC. Все очень просто: Автоаналитик обучается на решениях, принимаемых командой SOC. Если разные аналитики триажат схожие алерты по-разному, то Автоаналитик неправильно обучится и будет ошибаться, а в каких-то сценариях от него, напротив, будет только вред. Есть масса спорных сценариев, где аналитику SOC все понятно и, вроде как, можно было бы и забить, сэкономить время, однако, надо обязательно оформить все в соответствии с процедурами, в том числе и потому, что Автоаналитик может "обучиться плохому", ибо он не "мыслит" в категориях "и так все понятно" и "можно забить". Все любят гордиться достижениями своих операционных процессов, однако, это непросто проверить, как оно на самом деле. Вот вам косвенный инструмент - эффективность работы ML-моделей, обучающихся на данных из операционных процессов работы аналитиков: чем четче и корректней работает команда SOC, тем выше результативность этих ML-моделей. Как наши дети - отражение нас, так и наши ML-помощники отражают насколько мы хорошо работаем на самом деле. #MDR

Инвестиции в генеративный AI в Европе. В 2024 году только половина года пока прошла. @menngornal — канал о венчурном рынке

🌟 Lance — современный колоночный формат данных для ML-приложений, реализованный на Rust — pip install pylance Lance идеально подходит для создания поисковых систем и хранилищ данных, для масштабного обучения ML-моделей, для хранения таких данных как облака точек. Поддерживает конвертацию из Parquet в 2 строки кода, при этом он быстрее Parquet в 100 раз. Lance можно без проблем использовать с pandas, DuckDB, Polars, pyarrow и не только. 🖥 GitHub 🟡 Примеры использования @data_analysis_ml

Принёс вам чтиво на выходные: вышел самый подробный гайд по Deep Learning. Там буквально вся база про нейронки — 20 разделов про трансформеры, RL, диффузию и прочее прочее. Все это приправлено питоновскими notebook на 60 упражнений! Ссылочка на загрузку.

🌟 RAGapp — простой способ использовать Agentic RAG — docker run -p 8000:8000 ragapp/ragapp RAGapp позволяет легко использовать Agentic RAG в любом продакшене. Так же прост в настройке, как и пользовательские GPT OpenAI, но в отличии от них RAGapp может быть развернут в вашей собственной облачной инфраструктуре с помощью Docker. RAGapp создан с использованием LlamaIndex. После запуска контейнера, нужно перейти на localhost:8000 и настроить RAGapp. Можно подключить любые модели, в том числе и локальные (с помощью Ollama) 🖥 GitHub @data_analysis_ml

Простые схемы для сложных ML-концепций Профессор Том Йе работует в университете Колорадо и свободное время посвящает тому, что рисует схемы ML-концепций и выкладывает их в свой аккаунт на Твиттер и LinkedIn. Полный список схем с пояснениями можно найти здесь. Наверху – лишь некоторые примеры. Самых простых тем типа регрессии и деревьев вы здесь не найдете, зато схемы могут помочь понять некоторые сложные концепты DL: МoE, Attention, ResNet, DiT или RLHF. Круто, что это не просто поверхностные наброски: схемы помогают поэтапно понять фундамент алгоритма на уровне алгебраических операций. Ну и наконец, это просто красиво

🖥 AutoGluon — библиотека Python, которая позволяет писать лаконичный код для задач ML — pip install autogluon AutoGluon помогает несколькими строками кода обучать и использовать ML-модели; позволяет решать задачи, связанные с изображениями, текстом, временными рядами и табличными данными. 🖥 GitHub 🟡 Доки @data_analysis_ml

В мире нейронок революция: выпущена сверхлёгкая xLAM-1B, которая уделывает GPT-3.5. Этот крохотный гигант почти подобрался к Claude-3, при этом у него всего 1 млрд параметров — модель можно запустить даже на умных часах. Оптимизация лютая — ещё пара апдейтов и нейронки этой серии можно будет запускать (в теории) на любых «умных» гаджетах. Хочу LLM в микроволновке, чтобы та сама определяла, как разогревать еду.

В Альфа-Банке создали автоматическую систему переобучения внедренных в эксплуатацию ИИ-моделей Система под названием Retrainable AutoML Framework включает в себя решение для постоянного мониторинга моделей, работающих в промышленных системах, и механизм обратной связи. Она отслеживает эффективность работы моделей, сравнивая их прогнозы с фактическими результатами. По информации компании, особенностью решения является сквозной процесс автоматизации — от выделения признаков до замены устаревшей модели на новую в действующей бизнес-системе. Кроме того, переобученная модель сразу внедряется в промышленную систему без необходимости возвращать ее в среду разработки. Внедрение Retrainable AutoML Framework повысило среднегодовое качество моделей на 5–7%, говорят в Альфа-Банке. Там планируют к I кварталу 2025 года перевести на автоматическое переобучение до 70% всех работающих в банке ИИ-моделей. 🔗 Источник 1: https://www.forbes.ru/brandvoice/515461-pereobucit-ii-zacem-obnovlat-modeli-masinnogo-obucenia 🔗 Источник 2: https://www.tadviser.ru/a/813630

Искусственные нейроны? А может лучше искусственный ДНК? Разработчик запилил репозиторий с ДНК-подобным обучением. На языке ML это означает, что там нет ни лосса, ни градиентов, ни оптимизатора.

«Менее 1% биомассы всей жизни - это организмы, которые имеют какие-либо нейроны. Это означает, что более 99% всей жизни учится только с помощью репликации ДНК + мутации. Тем не менее, ни одна современная техника ML не настроена на это. Это должно измениться» – написал он.

В репе примерно 300 строк кода, который имплементирует игрока в крестики-нолики. По графикам сходится хорошо, учится быстро. В общем, не теряйте, мы ушли разбираться в коде и играться

Microsoft обновили свой курс по ИИ для начинающих — там буквально вышла версия 2.0. 18 бесплатных уроков уже ждут на GitHub.

🌟 OSS Vizier — open-source инструмент для оптимизации, настройки гиперпараметров ML-систем — pip install google-vizier[jax] OSS Vizier — это инструмент, написанный на Python для оптимизации и исследования нейросетей и т.д. OSS Vizier основан на Google Vizier, одном из первых сервисов для настройки гиперпараметров, рассчитанных на работу с масштабными ML-системами. 🖥 GitHub 🟡 Доки @data_analysis_ml

🌟 Scikit-LLM — библиотека Python, призванная упростить разработку сложных и готовых к продакшену конвейеров NLP — pip install scikit-llm Scikit-LLM может взаимодействовать с различными провайдерами LLM, независимо от того, работают ли они локально (например, GPT4All) или в облаке (включая Azure, OpenAI и Vertex AI). Scikit-LLM поддерживает широкий спектр задач анализа текста, включая классификацию, анализ эмоциональной составляющей и т.д. Для сложных сценариев можно объединить несколько задач в конвейер scikit-learn. 🖥 GitHub 🟡 Доки @ai_machinelearning_big_data

🌟 TorchMetrics — большой набор реализованных метрик для ML-систем — pip install torchmetrics TorchMetrics — это коллекция из 100+ реализаций метрик PyTorch и простой в использовании API для создания собственных метрик. Особенности API TorchMetrics: — стандартизированный интерфейс для воспроизводимости — можно использовать для распределенных ML-систем — автоматическая синхронизация между несколькими устройствами 🖥 GitHub 🟡 Доки 🟡 Все метрики @data_analysis_ml