Machinelearning

🌟 Dot — open-source приложение для локального разворачивания LLM, RAG и TTS для работы со своими документами Dot предназначено для простого взаимодействия с документами и файлами (.pdf, .docx, .xlsx, .pptx, .md) с помощью локальных LLM и технологии Retrieval Augmented Generation. Dot было вдохновлено такими решениями, как Chat with RTX от Nvidia По умолчанию использует Phi-3 🖥 GitHub 🟡 Страничка Dot @ai_machinelearning_big_data

Как девушке построить карьеру в инжиниринге данных? Любить математику, смело говорить о своих ожиданиях от работы даже на позиции стажера и еще кое-что, о чем Мария Косарев рассказала здесь. Она прошла длинный путь от стажера до главы Департамента анализа данных и моделирования в Газпромбанке. @ai_machinelearning_big_data

🌟 GPT Researcher — автономный агент на основе GPT, выполняющий комплексное онлайн-исследование по любой заданной теме — pip install gpt-researcher Пример использования GPT Researcher:

from gpt_researcher import GPTResearcher

query = "why is Nvidia stock going up?"
researcher = GPTResearcher(query=query, report_type="research_report")
# Conduct research on the given query
research_result = await researcher.conduct_research()
# Write the report
report = await researcher.write_report()

🖥 GitHub 🟡 Страничка GPT Researcher @ai_machinelearning_big_data

🔥 unsloth — файнтюнинг Llama 3, Mistral, Phi и Gemma LLM, уменьшение потребления памяти на 80%, ускорение в 2-5 раз

conda create --name unsloth_env python=3.10
conda activate unsloth_env

conda install pytorch-cuda=<12.1/11.8> pytorch cudatoolkit xformers -c pytorch -c nvidia -c xformers

pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"

pip install --no-deps trl peft accelerate bitsandbytes

Некоторые бенчмарки unsloth приведены здесь 🖥 GitHub 🟡 Wiki @ai_machinelearning_big_data

💥 Международный онлайн-хакатон «Лидеры цифровой трансформации» стартовал! ТЗ и датасеты уже доступны в личном кабинете. Но ты еще можешь выбрать задачу и влететь на хакатон до 5 июня! Тебя ждет 25 задач, работа в команде до 5 человек над актуальными кейсами, современный коворкинг, возможность пропитчить свои решения, пропилотировать и внедрить свою разработку, шанс получить крутой оффер и показать, что ты лучший из лучших не только в России, но и во всем мире! И конечно, драйв, опыт и деньги! Призовой фонд 50 000 000 рублей! Приступай к разработке решения прямо сейчас! Когда: 3-16 июня 2024 года Формат: Онлайн из любой точки мира Дедлайн регистрации: 5 июня 2024 года, 23:59 (мск) Победитель получит 1 млн рублей, второе и третье место — по 600 тыс. и 400 тыс. рублей соответственно. Разработка стартовала уже сегодня! Собирай команду в чате лидеров и регистрируйся на сайте.

🌟 V-Express — метод анимирования статичной фотографии лица с учётом позы, звука и самого изображения Метод V-Express был представлен совсем недавно Cong Wang, Kuan Tian, Jun Zhang и другими как один из самых эффективных методов генерации таких анимаций, код и модель опубликованы 🖥 GitHub 🟡 Страничка V-Express 🤗 Модель на Hugging Face @ai_machinelearning_big_data

🌟 Anthropic позволит создавать персональных помощников на базе ИИ-чат-бота Claude Компания Anthropic расширяет возможности своего чат-бота Claude, построенного на основе генеративной нейросети. Теперь любой пользователь сможет создать для себя персонализированного помощника, например, для обработки электронной почты, совершения покупок в интернете или чего-то иного. Нововведение называется «использование инструментов» или «вызов функций» и его можно подключить к любому внешнему API по выбору пользователя. Такой подход позволит создать персонализированного помощника, который будет, например, анализировать данные для создания персонализированных рекомендаций по продуктам, основываясь на истории покупок пользователя. Он также может быть полезен для генерации быстрых ответов на вопросы клиентов, например, при отслеживании статуса заказа или предоставления информации в качестве инструмента технической поддержки. Для создания такого помощника потребуется доступ к API и умение программировать. Новая функция может обрабатывать изображения, позволяя приложениям анализировать визуальные данные. К примеру, персональный помощник для дизайнера интерьеров может задействовать нейросеть для обработки снимков помещения и генерации индивидуальных предложений по его оформлению. Взаимодействовать с новым инструментом можно будет через Messages API от Anthropic, а также на платформах Amazon Bedrock и Google Vertex AI. Стоимость использования основана на объёме текстовых запросов к нейросетям Claude, измеряемом в токенах. Обычно 1000 токенов соответствует примерно 750 словам. На этапе бета-тестирования самым быстрым и доступным вариантом стала модель Haiku: $0,25 за миллион введённых токенов и $1,25 за миллион токенов на выходе. Тестирование новой функции проходит с апреля и в нём принимают участие несколько тысяч клиентов Anthropic. 📎 Подробнее @ai_machinelearning_big_data

🖥 На выставке COMPUTEX 2024 генеральный директор Nvidia Дженсен Хуанг демонстрирует ускорение Pandas в 50 раз в GoogleColab после интеграции с RAPIDS cuDF. Это работает без каких либо изменений кода, все, что нужно добавить %load-ext cudf.pandas поверх кода pandas. cuff обеспечивает ускорение помощью процессоров NVIDIA L4 Tensor Core. Эти графические процессоры недавно стали доступны в Google Colab для пользователей с платной подпиской. 👉 Колаб-ноутбук с гайдом по запуску Еще Дженсен Хуанг озвучил планы по выпуску новых продуктов Nvidia. Nvidia планирует выпускать новые флагманские решения для дата-центров каждый год, постоянно наращивая их производительность и функциональность Уже в следующем году ожидается выход графического процессора Blackwell Ultra, преемника нынешнего флагмана Blackwell Blackwell Ultra будет оснащен памятью HBM3e с 12 кристаллами в стеке, что позволит увеличить объем на 50 % по сравнению с Blackwell, у которого память с 8 кристаллами. В 2026 году будет представлен новый графический чип Rubin с памятью HBM4. Еще, появится центральный процессор Vera, который придёт на смену нынешнему Grace. Rubin — это будет суперчип, связка GPU+CPU, аналогично актуальному Grace Hopper. Кроме того, пропускная способность запатентованной Nvidia технологии интерконнекта NVLink будет удвоена до 3,6 Тбит/с (NVLink 6 против NVLink 5). На 2027 г планируется выход улучшенной версии Rubin Ultra с HBM4 с 12 кристаллами в стеке вместо 8. Nvidia намерена выжимать максимум из доступных на данный момент производственных техпроцессов, чтобы каждый год выводить на рынок новые решения, работающие на пределе возможного. По словам Дженсена Хуанга, именно эта стратегия непрерывного совершенствования позволит компании сохранять лидерство в сфере решений для дата-центров. 📌 Полное выступление: https://www.youtube.com/watch?v=pKXDVsWZmUU @ai_machinelearning_big_data

🔥 Burn — свежий open-source фреймворк для Deep Learning на Rust с упором на гибкость, эффективность вычислений и переносимость

cargo new my_burn_app && cd my_burn_app/
cargo add burn --features wgpu

С Burn весь рабочий процесс Deep Learning становится проще: вы можете следить за ходом обучения с помощью дашборда и выполнять вычисления на любых устройствах - от встраиваемых до больших кластеров GPU. Burn был создан с нуля специально для Deep Learning и связанных с этим вычислений. Стоит также отметить, что Burn, по сравнению с такими фреймворками, как PyTorch, упрощает переход от экспериментов к развертыванию в прод, в процессе масштабирования не придётся менять код. 🖥 GitHub 🟡 Доки @ai_machinelearning_big_data

🌟 Devil70B — нейросеть с выпиленной цензурой Devil70B — это модель без цензуры и ограничений, во всяком случае так заявляют разработчики. Она отвечает на любой вопрос и поддерживает русский язык. ▶️ Задать вопрос Devil70B @ai_machinelearning_big_data