Анализ данных (Data analysis)

🤗 Hugging Face Llama Recipes Целый репозиторий, который содержит полезные рецепты и советы для быстрого работы с моделями Llama 3.x, включая Llama 3.1 и Llama 3.2. ▪️Github @data_analysis_ml

🖥 anthropic-gradio — интерфейс для взаимодействия с моделями Anthropic через платформу Gradio. Он позволяет пользователям легко подключать и тестировать модели искусственного интеллекта от Anthropic в интерактивной среде Gradio, которая предназначена для создания пользовательских интерфейсов для демонстрации машинного обучения 🌟 Репозиторий помогает разработчикам быстрее интегрировать AI-модели в свои приложения, упрощая взаимодействие с этими моделями через визуальные интерфейсы ▪️Github @data_analysis_ml

🖥 MLE-bench — новый бенчмарк от OpenAI для оценки того, как хорошо ИИ-агенты справляются с задачами машинного обучения. Для этого были собраны 75 соревнований с Kaggle, где проверяются такие навыки, как подготовка данных, тренировка моделей, работа с алгоритмами. 🌟 Лучшая конфигурация — OpenAI o1-preview с AIDE — достигла уровня бронзовой медали в 16.9% конкурсов. 📖 Arxiv: *клик* ▪️Github @data_analysis_ml

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь: МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data C++ t.me/cpluspluc Python: t.me/pythonl Хакинг: t.me/linuxkalii Devops: t.me/DevOPSitsec АНАЛИЗ Данных: t.me/dataanlitics Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/javatg Базы данных: t.me/sqlhub Linux: t.me/linuxacademiya Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Docker: t.me/DevopsDocker Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code ИИ: t.me/vistehno PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai Собеседования МЛ: t.me/machinelearning_interview МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

🖥 open-webui — это проект, ориентированный на взаимодействие с большими языковыми моделями (LLM) через веб-интерфейс. Он представляет собой платформу для создания пользовательских интерфейсов, которые упрощают взаимодействие с различными AI-моделями в режиме реального времени. Основной акцент делается на поддержку многомодальных возможностей и интеграцию с популярными моделями для обработки текста и других типов данных. 🌟 Платформа предназначена для упрощения работы разработчиков и исследователей, которые хотят создать удобные интерфейсы для взаимодействия с мощными AI-моделями, не углубляясь в сложные настройки и конфигурации 🔐 Лицензия: MIT ▪️Github @data_analysis_ml

В России впервые реализовали новый метод тренировки ML-моделей, который позволит участвовать в совместных проектах организациям, которые раньше не могли сотрудничать из-за рисков, связанных с передачей чувствительных данных. Это стало возможно благодаря федеративному обучению - подходу, в котором участники могут коллективно обучать модель, не передавая свои данные внешним подрядчикам.  Вместо передачи исходных данных на централизованный сервер для обработки, обучающие узлы обмениваются только обновленными параметрами модели. Подобная техника очень актуальна для отраслей, где имеют дело с чувствительной информацией. Немного о том, как работает новый метод При обучении ML-моделей данные, как правило, собираются из архивов медицинских учреждений и баз пациентов, и передаются на центральный сервер, где и происходит обучение.  Однако при таком подходе велик риск утечек конфиденциальной информации, особенно если речь идет, например, о сфере медицины. Федеративный подход работает иначе.  Модель обучается на локальном сервере клиента и является частью распределённой системы обучения. Данные остаются у клиента, а на центральный сервер отправляются только обновленные параметры модели. Задача федеративного центрального сервера в таком случае — не обработка и хранение исходных данных, а координация обучения. При этом сервер агрегирует параметры для улучшения общей модели, обеспечивая конфиденциальность данных. После того, как параметры модели от всех клиентов объединяются на центральном федеративном сервере, её обновлённая версия возвращается на устройства клиентов, чтобы учиться на новых данных. Таким образом, модель учитывает изменения и особенности каждого клиента, становясь точнее и эффективнее. Первый кейс использования подхода в России в медицине Метод реализовал Центр технологий для общества Yandex Cloud совместно с Сеченовским Университетом и ИСП РАН. Эксперимент  заключался в обучении ML-модели, чтобы распознавать патологии сердца на основе данных ЭКГ. Для этого использовали фреймворк NVFlare, который поддерживает федеративное обучение с использованием GPU.  Сам обучение провели на датасете из 47 тысяч двенадцатиканальных ЭКГ. В ходе эксперимента специалисты обучали модель диагностировать фибрилляцию предсердий по ЭКГ. Чувствительность (способность выявлять патологию) модели составила 99%, а специфичность (способность не давать ложных результатов при отсутствии заболевания) — 95%.​ Результаты работы модели проверили трое врачей функциональной диагностики, чтобы убедиться в её точности и клинической применимости. Федеративное обучение будет полезно не только в медицине. В перспективе такой подход можно использовать в финансовой отрасли для обнаружения мошенничества. При этом данные пользователей останутся защищенными.

🎓 DepthCrafter – это проект, который создает карты глубины для видео с открытым миром. Основным преимуществом данного инструмента является высокая детализация без необходимости использования данных о позах камеры или оптического потока. Проект направлен на упрощение обработки видео, предоставляя как высококачественные, так и ускоренные режимы обработки, требующие видеокарт с объемом памяти от 9 до 26 ГБ. Ссылка на GitHub проекта: https://github.com/Tencent/DepthCrafter @data_analysis_ml

Полезный контент по машинному обучению с Practical ML Conf 2024. Рекомендуем обратить внимание на доклад Саввы Степурина. Он был посвящен тому, как предлагать пользователям незнакомый контент. Савва подробно рассказал о переходе от традиционных фильтров к отдельным моделям выбора кандидатов и ранжирования, представил особые подходы в отборе кандидатов и моделей ранжирования, а также показал результаты внедрения этих подходов. Также советуем вам ознакомиться с другими интересными темами: ⚙️ Как научить языковые модели работать с кодом. Руководитель лаборатории машинного обучения в Yandex Platform Engineering подробно рассказал об этом процессе и объяснил, почему исследователи решили прогнозировать стейтменты и как это повлияло на качество онлайн-метриков. ⚙️ Создание виртуального рассказчика для синтеза аудиокниг в Яндексе. В этом докладе раскрывается процесс внедрения длительного контекста в низкоресурсную модель реального времени и упоминаются особенности использования диффузионных моделей. Помимо этого, были представлены интересные доклады о бенчмаркинге, синтетических данных, оптимизации RAG-систем, VLM и, конечно же, о рекомендательных системах. Все видео можно посмотреть здесь.

🌟 Numpy QuadDType: Четырехкратная точность в Python. NumPy-QuadDType (numpy_quaddtype) — это реализация пользовательского типа данных (dtype) для NumPy, которая обеспечивает настоящую арифметику с плавающей точкой четверной точности на разных платформах. Проект направлен на решение давних проблем с np.longdouble, предлагая согласованный, высокоточный тип с плавающей точкой независимо от базовой архитектуры системы, а также обеспечивая обратную совместимость long double. Ядро numpy_quaddtype построено вокруг на двух ключевых компонентов: 🟢скалярный тип QuadPrecision, представляющий отдельные скаляры четверной точности; 🟢тип данных NumPy QuadPrecDType, позволяющий использовать эти скаляры четверной точности в массивах и операциях NumPy. Отличительная черта numpy_quaddtype - его подход с двойным бэкэндом: 🟠SLEEF (библиотека SIMD для оценки элементарных функций): этот бэкэнд использует тип Sleef_quad из библиотеки SLEEF, предоставляя настоящую 128-битную учетверенную точность. 🟠Long Double: этот бэкэнд использует собственный тип long double, который может обеспечивать точность до 80 бит в некоторых системах, обеспечивая совместимость с np.longdouble. Гибкость архитектуры numpy_quaddtype наследуется от компонентов ее ядра: QuadPrecisionObject, хамелеоноподобная структура, которая может переключаться между формами:

typedef union {  
Sleef_quad sleef_value;  
long double longdouble_value;  
} quad_value;  

typedef struct {  
PyObject_HEAD  
quad_value value;  
QuadBackendType backend;  
} QuadPrecisionObject;

QuadPrecDTypeObject, который действует как мост, позволяя высокоточным числам гармонично работать в массивах и операциях NumPy:

typedef struct {  
PyArray_Descr base;  
QuadBackendType backend;  
} QuadPrecDTypeObject;

Он позволяет переключаться между бекэндами Sleef_quad (для SLEEF) и long double во время выполнения:

>>> import numpy as np  
>>> import numpy_quaddtype as npq  

# Using SLEEF backend (default)  
>>> x = npq.QuadPrecision(3.5)  
>>> x = npq.QuadPrecision(3.5, backend='sleef')  
>>> repr(x)  
QuadPrecision('3.5e+000', backend='sleef')  

# Using longdouble backend  
>>> y = npq.QuadPrecision(2.5, backend='longdouble')  
>>> repr(y)  
QuadPrecision('2.5e+000', backend='longdouble')  

# Creating a NumPy array with QuadPrecision dtype  
>>> z = np.array([x, x], dtype=npq.QuadPrecDType()) # SLEEF  
>>> print(z)  
[QuadPrecision('3.5e+000', backend='sleef')  
QuadPrecision('3.5e+000', backend='sleef')]  

>>> z = np.array([y, y], dtype=npq.QuadPrecDType("longdouble")) # longdouble  
>>> print(z)  
[QuadPrecision('2.5e+000', backend='longdouble')  
QuadPrecision('2.5e+000', backend='longdouble')]

В тестах numpy_quaddtype с бэкендом SLEEF показал точность в 34 десятичных знаков. ULP (единица в младшем разряде) для основных арифметических операций ≤ 0,5000000001, а для трансцендентных функций ≤ 1,0. C бэкендом Long Double показал точность, зависящую от платформы: 18-19 десятичных знаков в Linux и 15-17 в Windows. В настоящее время ведётся подготовка к выпуску numpy_quaddtype в виде пакета Python, доступного через PyPI и conda. Также планируется направить предложение NEP для интеграции numpy_quaddtype в экосистему NumPy и рассмотреть TLFloat как потенциальную замену SLEEF в будущих версиях. ▶️Читать полную статью с демо возможностей numpy_quaddtype на примере визуализации множества Мандельброта при экстремальном увеличении и моделирование квантового гармонического осциллятора для двухатомных молекул. @ai_machinelearning_big_data #AI #ML #DS #Python #NumPy

🍾 Bottleneck Библиотека, которая предназначена для ускорения работы методов NumPy вплоть до 25 раз, особенно при работе с массивами, содержащими значения NaN. Эта библиотека оптимизирует выполнение таких операций, как поиск минимума, максимума, медианы и других агрегативных функций. Используя специальные алгоритмы и методы обработки пропущенных данных, Bottleneck значительно увеличивает производительность работы с большими объемами данных, делая ее более эффективной по сравнению со стандартными методами NumPy. Github @data_analysis_ml

🔥 НОВИНКА: Вышла модель преобразования текста/изображения в видео с открытым исходным кодом - лицензия MIT - конкуренты Gen-3, Pika & Kling 🔥 > Pyramid Flow: эффективный для обучения метод авторегрессивной генерации видео. > Обучается на наборах данных с открытым исходным кодом > Генерирует высококачественные 10-секундные видеоролики > Разрешение видео: 768p > Частота кадров: 24 кадр/с > Поддерживает генерацию изображений в видео > Доступна на HF 🤗 https://huggingface.co/rain1011/pyramid-flow-sd3 @data_analysis_ml

🖥 theailibrary — сервис, где вы можете бесплатно разместить свою модель для свободного использования другими пользовталеями! Также на площадке присутствуют еженедельные мл конкурсы среди самых популярных и полезных моделей 🔥 Неплохой сервис, чтобы продвинуть свой инструмент в массы! 🔗 Ссылка: *клик* @data_analysis_ml

2 и 3 декабря 2024 года в Москве, в Кампусе СКОЛКОВО, пройдёт крупнейшая профессиональная конференция для разработчиков высоконагруженных систем — HighLoad++ 2024. В этом году мероприятие соберёт 3 800 участников, будет проведено 170 докладов в 13 залах. На одной площадке пройдут сразу 3 конференции: HighLoad++, GolangConf 2024 и PHP Russia 2024. ✅Доклады и спикеры конференции: https://clck.ru/3DnKWU?erid=LjN8JuHds Будем разбираться в архитектуре сложных проектов, обсудим вызовы работы с распределёнными транзакциями, базами данных и системами хранения. Поговорим про оптимизацию производительности с использованием CGo и применение WebAssembly для решения задач веб-разработки. До встречи на HighLoad++ 2024! #реклама О рекламодателе

🖥 gptme — это инструмент командной строки, позволяющий взаимодействовать с AI-ассистентом прямо в терминале. Ассистент оснащен локальными инструментами, такими как выполнение shell-команд, запуск кода, чтение и запись файлов, работа с веб-страницами и изображениями. Это делает его полезным для программирования, анализа данных и автоматизации задач 🌟 Инструмент можно использовать локально для повышения конфиденциальности и гибкости, являясь альтернативой другим AI-помощникам 🔐 Лицензия: MIT ▪️Github @data_analysis_ml

Шведская королевская академия наук приняла решение присудить Нобелевскую премию по физике за 2024 год Джону Дж. Хопфилду и Джеффри Э. Хинтону “за фундаментальные открытия и изобретения, которые позволяют проводить машинное обучение с помощью искусственных нейронных сетей”.

🖥 Коллекция LLM приложений! 💡 Отобранная коллекция потрясающих приложений LLM, созданных с помощью агентов RAG и AI. В этом репозитории представлены приложения LLM, которые используют модели OpenAI, Anthropic, Google и даже модели с открытым исходным кодом, такие как LLaMA, которые вы можете запустить локально на своем компьютере 🔐 Лицензия: CC0 ▪️Github @data_analysis_ml

♠️ Бесплатный курс от MIT: Теория и Аналитика покера В этом курсе от MIT подробно рассматривается теория покера, математика покера и применение покерной аналитики в управлении инвестициями и трейдинге. ▪️Материалы Курса @data_analysis_ml

🚀 Nvidia представляет EdgeRunner! Этот метод позволяет создавать высококачественные 3D-сетки с количеством граней до 4000 при разрешении 512 на основе облаков точек. https://research.nvidia.com/labs/dir/edgerunner/ @data_analysis_ml

🖥 Fireducks: Ускорь Pandas в 20 раз, изменив всего одну строчку кода! https://www.youtube.com/watch?v=3mcs_MDiLwY @data_analysis_ml