Анализ данных (Data analysis)

✔️ YOLO11: новая эра в компьютерном зрении. Компания Ultralytics представила YOLO11, новейшую версию своей знаменитой модели искусственного интеллекта для компьютерного зрения. YOLO11 поддерживает широкий спектр задач CV: обнаружение объектов, сегментацию экземпляров, классификацию изображений, оценку позы, обнаружение ориентированных объектов (OBB) и отслеживание объектов. Модель получила улучшенное извлечение признаков. YOLO11m достигает более высокого балла средней средней точности (mAP) в наборе данных COCO, используя на 22% меньше параметров, чем YOLOv8m. YOLO11 вскоре будет доступна через Ultralytics HUB и пакет Ultralytics Python. ultralytics.com

🌟 TIPO: Оптимизация текстовых промптов для text-2-image моделей. TIPO (Text to Image with text presampling for Prompt Optimization) - метод, который улучшает качество и удобство использования моделей text-2-image. TIPO использует LLM для предварительной обработки текстовых запросов, делая их более точными и информативными. Он воспринимает как промпты на естественном языке , так и формат Danbooru тегов. Основная идея метода заключается в том, что более детальные и конкретные запросы приводят к более точной генерации изображений, тогда как неконкретные запросы приводят к более широкому спектру, но менее точным результатам. TIPO генерирует несколько подробных вариантов запроса из одного простого, тем самым расширяя пространство возможных результатов и повышая вероятность получения желаемого изображения. Представлены 2 модели TIPO, обе построены на базе LLaMA 400M, обученные на наборах Danbooru2023, GBC10M и Coyo-HD-11M с общим числом токенов 30 млррд. 🟢TIPO-200M; 🟢TIPO-500M. ▶️ Использование TIPO доступно в качестве расширения к stable-diffusion-webui, Forge UI и ComfyUI. Все подробности по установке расширений и использованию в ComfyUI можно найти в репозитории проектка Z-TIPO-extension. 📌Лицензирование : Kohaku License 1.0 🟡Коллекция моделей на HF 🟡Arxiv 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI #ML #T2I #TIPO #LLM

🖥 Репозиторий на Github, в котором собраны лучшие промпты для всевозможных задач, а также способы обхода цензуры LLM 🌟Списки постоянно обновляются, последнее обновление было 3 дня назад! Здесь можно найти запросы под всевозможные сферы: от IT до бизнес - советов. ▪️Github @data_analysis_ml

🔥 Memory pinning для ускорения обучения моделей Если вы регулярно используете GPU для обучения моделей, то существует довольно простая техника, которая часто используется для ускорения обучения моделей.

...изменив всего две строки кода.

Рассмотрим стандартный цикл обучения модели в PyTorch (См Картинку 1) В этом коде: - Строка 5 передает данные в GPU из CPU. - Все выполняется на GPU после передачи данных, то есть в строках 7-15. 💡 Это означает, что когда работает GPU, CPU простаивает, а когда работает CPU, GPU простаивает, наглядно(См Картинку 2) ⚡️ Но вот что мы можем сделать, чтобы оптимизировать: - Когда модель обучается на 1-м батче, CPU может передать 2-й батч на GPU. - Таким образом, GPU не придется ждать следующего батча данных, как только он завершит обработку существующего батча. 👉 Иными словами, график использования ресурсов будет выглядеть примерно так (См Картинку 3) 💡 В то время, когда CPU будет простаивать, GPU (который является фактическим ускорителем для обучения модели) гарантированно будет иметь данные для работы. Формально этот процесс известен как memory pinning, и он используется для ускорения передачи данных от CPU к GPU, делая процесс обучения асинхронным. Это позволяет нам готовить следующий обучающий набор параллельно с обучением модели на текущих данных. 👉 Включить эту функцию в PyTorch довольно просто. Во-первых, при определении объекта DataLoader надо установить pin_memory=True и указать num_workers (См Картинку 4) Далее, на этапе передачи данных в шаге обучения укажите non_blocking=True (См Картинку 5) ⚡️ Готово! Вот как работает ускорение на примере набора данных MNIST в обучении простой нейронной сети (См Картинку 6) - Без memory pinning обучение модели на 5 эпохах занимает около 43 секунд: - а с использованием memory pinning та же модель обучается менее чем за 10 (!!!) секунд 🔥(См Картинку 7) 📌 Важные особенности использования memory pinning: - если несколько тензоров будут выделены в "привязанную" память, это приведет к резервированию значительной части оперативной памяти.

Поэтому, всякий раз, когда используете memory pinning - отслеживайте потребление RAM!

- когда набор данных относительно мал, memory pinning имеет незначительный эффект, поскольку передача данных от CPU к GPU все равно не занимает столько времени (См Картинку 7) 📌 Полная версия @ai_machinelearning_big_data

👩‍💻 Ускорь Pandas в 20 раз, изменив всего одну строчку кода! 🔥 💡 Pandas часто бывает медленным. Но есть простое решение: FireDucks — библиотека с таким же API, как у Pandas, которая решает значительно ускоряет обработку данных. ❓ Как ускорить Pandas? 🌟 Просто замените импорт библиотеки: ❌ Было:

import pandas as pd

✅ Стало:

import fireducks.pandas as pd

🌟Теперь ваш код работает быстрее без изменений логики! Попробуйте сами и убедитесь, как легко ускорить работу с большими данными! 🚀 @python_job_interview

📚 ebook2audiobook Инструмент, который позволяет конвертировать электронные книги в аудиокниги с главами и метаданными с помощью Calibre и Coqui XTTS. 📖 Преобразует электронные книги в текстовый формат с помощью Calibre. 📚 Разбивает электронную книгу на главы для упорядоченного воспроизведения. 🎙️ Высококачественное преобразование текста в речь с помощью Coqui XTTS. 🗣️ Клонирование голоса с помощью вашего собственного голосового кончика. ⭐ Поддерживает несколько языков (по умолчанию английский, русский поддерживается). pip install tts==0.21.3 pydub nltk beautifulsoup4 ebooklib tqdm ▪Github @data_analysis_ml

🌟 LLaMa 3.2 Multimodal Web UI — это удобный интерфейс для работы с LLaMa 3.2 на базе Ollama. Он поддерживает различные типы данных, включая текстовые и графические и позволяет пользователям задавать вопросы и получать ответы в различных форматах: текстовом, кодовом и визуальном. Этот интерфейс адаптирован под использование на настольных компьютерах и мобильных устройствах и был тщательно протестирован на Ubuntu. git clone https://github.com/iamgmujtaba/llama3.2-webUI ▪ Github @data_analysis_ml

⚡️ Screenpipe записывает ваш экран и обрабатывает эти записи с помощью Ollama. Инструмент написан на Rust. Он позволяет автоматически собирать данные с вашего пк во всех форматах (текст, аудио, видео) и обрабатывать с помощью LLM. Особое внимание уделено безопасности данных, с фокусом на локальное хранение в базе данных SQLite. Исходный код доступен на GitHub : https://github.com/mediar-ai/screenpipe ▪ Github @data_analysis_ml

Учитесь в универе и давно хотите попробовать свои силы в решении реальных кейсов по машинному обучению и нейросетям? Международные олимпиады — отличный способ проверить свои знания и выйти на новый уровень! Одна из таких олимпиад — AIDAO от Яндекса и НИУ ВШЭ. Участникам предстоит решать IT-задачи в команде из 2-3 человек, а победители получат денежные призы до 600 тысяч рублей! Выполнять задания олимпиады нужно на английском, но разрешено пользоваться переводчиком. Если у вас нет команды, то вам помогут её найти во время регистрации. Чтобы принять участие, надо: - быть студентом бакалавриата или магистратуры в российском или зарубежном вузе; - разбираться в ML, алгоритмах и работе с данными; - подать заявку на сайте до 5 октября. Не упустите шанс применить свои навыки на практике и посоревноваться со студентами со всего мира!

📊 FinanceDatabase для Python — мощный инструмент для работы с финансовыми данными! ❓Этот репозиторий предоставляет удобный доступ к более чем 300 000 финансовых инструментов: акции, ETF, криптовалюты, облигации и многое другое. Можно легко находить информацию по каждому активу и использовать ее в своих проектах. 💡 Установка:

pip install financedatabase -U

💡 Использование:

import financedatabase as fd

🔐 Лицензия: MIT ▪️Github @data_analysis_ml

Оффер в дата-аналитику за выходные? Легко — для опытных специалистов на Data Weekend Offer от Авито! Пройдите ускоренный отбор, изучайте поведение пользователей и ищите точки роста бизнеса. Вас ждет: — конкурентная зарплата, удаленка и дополнительные дни отпуска; — возможность прокачать свой стек – проверять бизнес-модели, тестить гипотезы, запускать фичи и улучшать пользовательский опыт; — участие в разработке новых продуктов крупнейшего в мире сервиса объявлений; — сильное IT-комьюнити, которое любит опенсорс. Авито – это про карьерное развитие и комфортные условия. Регистрируйтесь до 15 октября: https://u.to/Z-bkIA

🐐Oryx🐐 - унифицированная мультимодальная архитектура для генераций изображений, видео и 3D-сцен с разными ракурсами. - Проект: https://oryx-mllm.github.io - Github: https://github.com/Oryx-mllm/Oryx - Демо: https://huggingface.co/spaces/THUdyh/Oryx @data_analysis_ml

⚡Всероссийский хакатон по Биометрии 🚀Выберите один из предложенных кейсов: 🔹Разработка ассистента для упрощения регистрации в Единой биометрической системе (кейс ЦБТ); 🔹Создание инструмента для генерации синтетического датасета изображений ладоней (кейс Сбера); 🔹Создание инструмента для восстановления изображения из вектора биометрических персональных данных (кейс Мир Plat.form и СБП). Отборочный этап пройдет в онлайн-формате. Финал пройдет на площадке в Москве, где команды смогут лично пообщаться с профессионалами в сфере биометрических технологий. Для финалистов из других регионов предусмотрено участие онлайн. ⏳Дедлайн регистрации: 1 октября, 23:59 🦾Отборочный этап: 4-13 октября 📆Финал: 26 октября 👨‍💻Для кого: Разработчики, ML-специалисты, Data Scientists, UX/UI-специалисты Подробности и регистрация: https://tglink.io/29b052ab52e5?erid=LjN8Jvf5p #реклама О рекламодателе

⚡️Исследование неочевидных аспектов квантового программирования: 10 библиотек для тех, кто хочет погрузиться в квантовое программирование: ▪Qiskit — это библиотека для квантового программирования, которая позволяет пользователям писать программы для квантовых компьютеров IBM. Включает поддержку классических, квантовых алгоритмов и визуализацию квантовых схем. ▪Cirq — это библиотека от Google для создания, симуляции и выполнения квантовых алгоритмов. Она предназначена для использования с квантовыми компьютерами и обеспечивает возможность работы с сложными квантовыми системами. ▪PennyLane - объединяет машинное обучение и квантовое программирование. Она позволяет пользователям создавать самонастраиваемые квантовые алгоритмы и исследовать преимущества квантовых вычислений в задачах машинного обучения. ▪ProjectQ - это открытая платформа для квантовых вычислений, которая позволяет пользователям реализовывать и симулировать квантовые алгоритмы, и включает в себя интерфейсы для различных квантовых процессоров. ▪QuTiP - предоставляет инструменты для моделирования квантовых систем и является незаменимым инструментом для исследователей квантовой механики и квантовой оптики. ▪PyQuil - это библиотека для написания квантовых программ с помощью языка квантового программирования Quil, разработанного Rigetti Computing. Поддерживает симуляцию и выполнение программ на реальных квантовых процессорах. ▪Tequila - это инструмент для создания квантовых алгоритмов с интеграцией в PyTorch и TensorFlow, который позволяет больше акцентировать внимание на квантовых вычислениях в контексте глубокого обучения. ▪Strawberry Fields предлагает платформу для создания и симуляции квантовых алгоритмов с использованием квантовых битов и квантовой оптики. Подходит для работы с квантовыми сетями и визуализацией в квантовых схемах. ▪Q# - это язык программирования от Microsoft для квантовых вычислений, который также предоставляет библиотеки, намеренные упростить разработку и выполнение квантовых алгоритмов в Azure Quantum. ▪Quirk — это онлайн-интерфейс для визуального проектирования и анализа квантовых схем, который позволяет легко экспериментировать с различными квантовыми логическими элементами. #quantum #python #ai @data_analysis_ml

🌟 Реализация высоконагруженный процессингов и использование тяжелых моделей GPT Как подходы к генерации развивались со временем, первый подход к оптимизации нагрузки и взаимодействие процессинга и сервиса ML‑вычислений. Команда Яндекса поделилась опытом эффективного распределения нагрузки для моделей на GPU и CPU. 🟡 Habr @data_analysis_ml

🌟 ChatGPT на калькуляторе TI-84 Автор ютуб-канала ChromaLock сделал модифицированный калькулятор TI-84, оснащённый возможностью выхода в интернет. С помощью микроконтроллера ESP32C3 и специально разработанной печатной платы, калькулятор получил возможность подключения к интернету. Связь между калькулятором и модулем осуществляется с помощью эмуляции протокола передачи данных TI-84. Специальные приложения на калькуляторе, написанные на TI Basic, взаимодействуют с микроконтроллером, отправляя и получая данные, эмулируя обмен между двумя калькуляторами, чтобы обходить ограничения отправки и получение данных. В результате, TI-84 получил возможности: 🟠чат для связи с друзьями; 🟠браузер изображений; 🟠браузер приложений для загрузки дополнительных программ и заметок; 🟠возможность получать ответы на вопросы через ChatGPT. @ai_machinelearning_big_data #AI #ML #LLM #Tutorial

⚡️ Выпущена мультимодальная Llama 3.2 — с упором на vision задачи. - Доступны версии на 1B и 3B параметров. Версия с 3 миллиардами превосходит такие модели, как Gemma 2 и Phi-3.5 – Mini. - Доступна маленькая версия имеет 11 миллиардов параметров. - Средний вариант обладает 90 миллиардами параметров и превосходит GPT-4o-mini по тестам на визуальное понимание. https://huggingface.co/collections/meta-llama/llama-32-66f448ffc8c32f949b04c8cf

⚡️ Настоящая кладезь руководств по генеративным агентам искусственного интеллекта! В этом репозитории вы найдете все, что связано с агентами. От простых объяснений до самых сложных тем. https://github.com/NirDiamant/GenAI_Agents @data_analysis_ml

Yandex Cloud открыла доступ к Yandex Cloud AI Studio – единой платформе для создания приложений на базе ИИ Платформа объединяет все доступные ML-решения компании, включая генеративные нейросети: YandexGPT и YandexART. Единый интерфейс позволяет упростить разработку и ускорить запуск многофункциональных ИИ-приложений. Чтобы писать меньше кода для интеграции нейросетей, разработчики могут воспользоваться SDK-библиотекой с готовыми примерами кода. Также пользователи смогут тестировать ML-решения в AI Playground: в нем можно вести одновременно несколько диалогов, в каждом из которых сохраняется история обращений. Читайте подробнее в статье.

⚡️ Вышел Face fusion 3.0 Мощное приложение для работы с лицами с открытым исходным кодом на базе Gradio, поддерживает множество новых функций, включая: - Модификация возраста - Редактор лиц (через LivePortrait) - Система очередей заданий - И многое другое ▪Github: https://github.com/facefusion/facefusion ▪Proj: join.facefusion.io @data_analysis_ml