ИИнтузиаст

⚡ Больше недели проводил тесты сравнения версий PCIe 3.0 vs 4.0 для инференса и заодно попробовал разогнать локальную модель при помощи анлока fp16 + p2p для 2x 3090 Ti на vllm с --dtype bfloat16, power limit 450w, qwen3.8-27b fp8, tp2. 🎯 Для меня здесь важно ответить на 2 вопроса: - какой PCIe нужен для инференса? - как можно разогнать несколько 3090 на максимум? 📊 Я уже выкладывал результаты в нашем чате ИИнтузиастов (ссылка на пост), если коротко то на PCIe 4.0 x16 анлок дает прирост в prefill +30%, p2p +45%, а вместе они дают ускорение на +107%. На decode дает прирост только p2p на +6%. А моя RTX 3090 Ti KFA2 впервые превысила 370w и разогналась до максимума (450w) 🤔 Хорошо, разогнать можно, а что с версией PCIe? Тут результаты оказались интересными: на старте (до оптимизаций) H12SSL проигрывала X399 (1253t/s против 1406t/s) но после оптимизаций вырвалась вперед быстрее на 12%: 🚀 H12SSL + EPYC 7F52: до оптимизаций 1253t/s, после 2601t/s (+107%) 🔧 X399 + Threadripper 2920X: до оптимизаций 1406t/s, после 2315t/s (+64%) И соответственно чем меньше линий тем меньше скорость, например PCIe 3.0 x8 (а это частый вариант на бюджетных платах) уже дают 1886t/s на prefill, а это на 37% медленнее чем PCIe 4.0 x16 🐢 🔋 Конечно, в этот пост не вошли сравнения энегопотребления и гибридное распараллеливание (мне удалось потестировать tp2pp2, и здесь не менее интересные результаты). Но эти цифры мне нужно самому еще раз перепроверить и осмыслить, поэтому рассмотрим в следующий раз. 💸 Теперь у нас есть цифры возможных скоростей для PCIe 3.0 и 4.0, полагаю теперь будет проще принимать решение о покупке материнской платы))