Ссылки для дрессировщиков нейронных сетей

YOLOv8 Ultralytics - это ультрасовременная модель (SOTA), которая развивает успех предыдущих версий YOLO и внедряет новые функции и усовершенствования для дальнейшего повышения производительности и гибкости. YOLOv8 разработан таким образом, чтобы быть быстрым, точным и простым в использовании, что делает его отличным выбором для широкого спектра задач обнаружения и отслеживания объектов, сегментации экземпляров, классификации изображений и оценки постановки. https://github.com/ultralytics/ultralytics#license

💼 Y'ORG Y'ORG объединяет большин языковые модель с Jupyter Notebook для выполнения различных задач. Цель Y'ORG - предоставить удобный интерактивный способ (1) изучения кода, (2) составления планов и задач для работы, (3) написания кода и добавления новых функций. Он также помогает ученым и аналитикам (4) проводить анализ данных и (5) создавать полноценные отчеты. ▪ Github @data_analysis_ml

7 фреймворков для работы с LLM 1. vLLM vLLM  —  быстрая и простая в использовании библиотека для вывода и поддержания LLM. Достигается 14-кратное  —  24-кратное увеличение производительности по сравнению с HuggingFace Transformers (HF) и 2,2-кратное  —  2,5-кратное по сравнению с HuggingFace Text Generation Inference (TGI). 2. Text Generation Inference Text Generation Inference  —  сервер для вывода текстов, написанных на Rust, Python и gRPC. Используется в производстве в HuggingFace для управления виджетами API-вывода LLM. 3. CTranslate2 CTranslate2  —  это библиотека, написанная на языках C++ и Python, для эффективного вывода данных с помощью моделей-трансформеров. 4. DeepSpeed-MII Благодаря DeepSpeed, MII обеспечивает вывод данных с низкой задержкой и высокой производительностью. 5. OpenLLM OpenLLM  —  это открытая платформа для работы с большими языковыми моделями (LLM) в производственной среде. 6. Ray Serve Ray Serve  —  это масштабируемая библиотека для создания API вывода в режиме онлайн. Serve не зависит от фреймворков, поэтому вы можете использовать один инструментарий для обслуживания любых моделей глубокого обучения. 7. MLC LLM MLC LLM (Machine Learning Compilation LLM, компиляция машинного обучения для LLM)  —  это универсальное решение для развертывания, которое позволяет LLM эффективно работать на потребительских устройствах, используя нативное аппаратное ускорение. @data_analysis_ml

https://github.com/ai-forever/gigachain gigaChain от сбера

🔥 The-incredible-pytorch В этом репозитории собраны лучшие учебники, проекты, библиотеки, видео, статьи, книги и все, что связано с невероятным PyTorch. 🔗 https://github.com/ritchieng/the-incredible-pytorch @data_analysis_ml

🔥 Google представили новый алгоритм кластеризации, эффективно сочетающий преимущества масштабируемости моделей эмбедингов и качества моделей кросс-внимания для повышения эффективности и качества операций кластеризации. Посмотреть. →https://blog.research.google/2023/11/best-of-both-worlds-achieving.html @data_analysis_ml

во какая книжка в черновом виде от МИТ https://udlbook.github.io/udlbook/

Появилась еще одна графическая тула LM Studio для запуска LLM локально! 1. Загружаем LM Studio. 2. Скачиваем модель c HF. 3. Запускаем локально загруженную Open Source LLM! Видео (4 минуты) https://youtu.be/pK6rrx8rSeU

С сегодняшнего дня GigaChat API доступен пользователям для создания некоммерческих проектов без дополнительной оплаты. Это значит, что бизнес, предприниматели или разработчики могут протестировать программный интерфейс модели и оценить, как LLM впишется в продукты и проекты, над которыми они работают. Все доступы — здесь 🔥 Вам будет доступен 1 млн токенов в месяц, что в среднем позволяет обработать до 3,5 млн символов. Для примера, в романе «Война и мир» содержится около 3 млн символов. Если же после тестов вы решите использовать GigaChat API в коммерческих целях и без ограничений, в любой момент можно заключить договор.

📣 TextGen WebUI. Как автоматизировать установку LLM локально? ✨Появился веб-интерфейс для автоматизации работы с LLM. Это программное обеспечение позволяет вам запускать большие языковые модели локально ✨Видео (9 минут) https://youtu.be/E7t5JO8G6M8 Поделитесь, плиз, опытом использования, коменты, плиз сюда: https://t.me/AiExp02/87

Cleanlab 🚀 Всего за 3 строки кода эта библиотека с открытым исходным кодом может очистить любой датасет! Вы можете: - удалять выбросы - находить ошибки в данных - выявлять дубликаты - проводить активное обучение - строить распределения - И многое другое ... Cleanlab разработана специалистами Массачусетского технологического института и работает на основе нового алгоритма под названием Confident Learning! На картинке 2 приведено упрощенное объяснение этого алгоритма! Библиотека работает с: - Любыми данными (текст, изображения, таблицы, аудио и т.д.) - Любые задачи ML (классификация,, распознавание, работа с LLM и многое другое ...) • Github @data_analysis_ml

=📣 Использование Langchain Memory при создании нейро-помощники с ChatGPT, функциями и Базой Знаний ✨ При создании нейро-помощники может понадобиться накоплении истории диалогов. Рассматривается возможный подход с использованием Langchain Memory. 1️⃣ Видео (11 минут): https://youtu.be/MN0zqhAWltE 2️⃣ Нотебук: https://colab.research.google.com/drive/1vJm0cIt5I5oZOBZF-365Ryl3KavVDzgI?usp=sharing

🖥 GIF Если вы хотите без особых усилий анимировать график matplotlib в Python, используйте библиотеку gif. Следующая анимация создана с помощью gif. pip install gif import gif from random import randint from matplotlib import pyplot as plt x = [randint(0, 100) for _ in range(100)] y = [randint(0, 100) for _ in range(100)] # (Optional) Set the dots per inch resolution to 300 gif.options.matplotlib["dpi"] = 300 # Decorate a plot function with @gif.frame @gif.frame def plot(i): xi = x[i*10:(i+1)*10] yi = y[i*10:(i+1)*10] plt.scatter(xi, yi) plt.xlim((0, 100)) plt.ylim((0, 100)) # Construct "frames" frames = [plot(i) for i in range(10)] # Save "frames" to gif with a specified duration (milliseconds) between each frame gif.save(frames, 'example.gif', duration=50) • Github @data_analysis_ml

✏️ Deep Geometrized Cartoon Line Inbetweening Method can effectively capture the sparsity and unique structure of line drawings while preserving the details during inbetweening. Создание промежуточных кадров между двумя рисунками - трудоемкий и дорогостоящий процесс, новый фреймворк AnimeInbet позволяет автоматизировать эту задачу. AnimeInbet, геометризирует растровые линейные рисунки в графы конечных точек, решая задачу слияния графов с перестановкой вершин. 🖥 Github: https://github.com/lisiyao21/animeinbet ☑️ Demo: https://youtu.be/iUF-LsqFKpI?si=9FViAZUyFdSfZzS5 📕 Paper: https://arxiv.org/pdf/2309.16643v1.pdf ⭐️ Dataset: https://drive.google.com/file/d/1SNRGajIECxNwRp6ZJ0IlY7AEl2mRm2DR/view?usp=sharing ai_machinelearning_big_data

🎓🏆 Вышли новые лекции бесплатного курса: Stanford CS224N: Natural Language Processing with Deep Learning Курс Stanford NLP является, пожалуй, одним из лучших курсов по Deep NLP в Интернете. Сейчас в открытом доступе находятся новые лекции 2023 года. Курс охватывает фундаментальные методы и темы, связанные с глубоким обучением, применяемым в NLP. От архитектур (RNNs, LSTMs, трансформров), предварительного обучения, генерации NLP кода, до новых тем, таких как промпи-инжиниринг, RLHF, мультимодальные агенты и многое другое. • Лекции • Курс @data_analysis_ml