Big Data AI
@workakkk - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста
Больше- Подписчики
- Просмотры постов
- ER - коэффициент вовлеченности
Загрузка данных...
Загрузка данных...
git clone https://huggingface.co/spaces/microsoft/MInference
cd MInference
pip install -r requirments.txt
pip install flash_attn pycuda==2023.1
python app.py
Вычислительные проблемы, связанные с выводом данных с помощью LLM, остаются большим препятствием для их широкого применения; вычислительная сложность растёт с увеличением длины подсказок.
Из-за квадратичной сложности вычислений для обработки промпта из 1 млн лексем на одном GPU A100 для 8B LLM требуется 30 минут.
Поэтому Microsoft выкатили MInference, которая позволяет ускорить обработку большого промпта до 10 раз, причём с сохранением точности LLM
🖥 GitHub
🤗 Демо на HF
🟡 Arxiv
@ai_machinelearning_big_data«Баннерная крутилка» — один из самых высоконагруженных сервисов в Яндексе. Он умеет переживать 700 тысяч RPS, а иногда и больше. Каждый раз, когда приходит запрос, крутилка...
❤️ Check out Lambda here and sign up for their GPU Cloud:
https://lambdalabs.com/paperOur Patreon with early access:
https://www.patreon.com/TwoMinutePapers📝 The paper "LLM Critics Help Catch LLM Bugs" is available here:
https://openai.com/index/finding-gpt4s-mistakes-with-gpt-4/📝 My paper on simulations that look almost like reality is available for free here:
https://rdcu.be/cWPfDOr this is the orig. Nature Physics link with clickable citations:
https://www.nature.com/articles/s41567-022-01788-5🙏 We would like to thank our generous Patreon supporters who make Two Minute Papers possible: Alex Balfanz, Alex Haro, B Shang, Benji Rabhan, Gaston Ingaramo, Gordon Child, John Le, Kyle Davis, Loyal Alchemist, Lukas Biewald, Martin, Michael Albrecht, Michael Tedder, Owen Skarpness, Richard Sundvall, Taras Bobrovytsky, Ted Johnson, Thomas Krcmar, Tybie Fitzhugh, Ueli Gallizzi. Thumbnail background design: Felícia Zsolnai-Fehér - http://felicia.hu Károly Zsolnai-Fehér's research works:
https://cg.tuwien.ac.at/~zsolnai/Twitter:
https://twitter.com/twominutepapers#ChatGPT
docker run -d --name yugabyte -p7000:7000 -p9000:9000 -p15433:15433 -p5433:5433 -p9042:9042 \
yugabytedb/yugabyte:2.21.1.0-b271 bin/yugabyted start \
--background=false
🖥 GitHub
🟡 Доки
@sqlhubcurl https://install.memgraph.com | sh
Memgraph — это open-source БД, созданная для потоковой передачи данных в реальном времени и совместимая с Neo4j.
Memgraph особенно актуальна для тех, кто изучает взаимосвязанные данные, которые можно представить в виде графа
Memgraph может напрямую подключиться к потоковой инфраструктуре и может получать данные из таких источников, как Kafka, SQL или обычные CSV-файлы.
Memgraph реализована на C/C++ и использует архитектуру in-memory first, чтобы гарантировать постоянную максимальную производительность и отсутствие сюрпризов.
Соответствует требованиям ACID и обладает высокой доступностью.
🖥 GitHub
🟡 Доки
@bigdataiВаш текущий тарифный план позволяет посмотреть аналитику только 5 каналов. Чтобы получить больше, выберите другой план.