ИИнтузиаст

⚡ Больше недели проводил тесты сравнения версий PCIe 3.0 vs 4.0 для инференса и заодно попробовал разогнать локальную модель при помощи анлока fp16 + p2p для 2x 3090 Ti на vllm с --dtype bfloat16, power limit 450w, qwen3.8-27b fp8, tp2. 🎯 Для меня здесь важно ответить на 2 вопроса: - какой PCIe нужен для инференса? - как можно разогнать несколько 3090 на максимум? 📊 Я уже выкладывал результаты в нашем чате ИИнтузиастов (ссылка на пост), если коротко то на PCIe 4.0 x16 анлок дает прирост в prefill +30%, p2p +45%, а вместе они дают ускорение на +107%. На decode дает прирост только p2p на +6%. А моя RTX 3090 Ti KFA2 впервые превысила 370w и разогналась до максимума (450w) 🤔 Хорошо, разогнать можно, а что с версией PCIe? Тут результаты оказались интересными: на старте (до оптимизаций) H12SSL проигрывала X399 (1253t/s против 1406t/s) но после оптимизаций вырвалась вперед быстрее на 12%: 🚀 H12SSL + EPYC 7F52: до оптимизаций 1253t/s, после 2601t/s (+107%) 🔧 X399 + Threadripper 2920X: до оптимизаций 1406t/s, после 2315t/s (+64%) И соответственно чем меньше линий тем меньше скорость, например PCIe 3.0 x8 (а это частый вариант на бюджетных платах) уже дают 1886t/s на prefill, а это на 37% медленнее чем PCIe 4.0 x16 🐢 🔋 Конечно, в этот пост не вошли сравнения энегопотребления и гибридное распараллеливание (мне удалось потестировать tp2pp2, и здесь не менее интересные результаты). Но эти цифры мне нужно самому еще раз перепроверить и осмыслить, поэтому рассмотрим в следующий раз. 💸 Теперь у нас есть цифры возможных скоростей для PCIe 3.0 и 4.0, полагаю теперь будет проще принимать решение о покупке материнской платы))

⚠ ВНИМАНИЕ!!1 Tesla V100 32gb категорически не рекомендую, они умирают так же быстро как классическое программирование на фоне бума ИИ. Я так ушатал 2 модуля: https://www.avito.ru/kazan/tovary_dlya_kompyutera/tesla_v100_32gb_sxm2_neispravny_2sht_8499216696 Если первый раз я еще как-то мог объяснить, то второй раз это уже закономерность. Я бы еще мог списать на обслуживание и свои кривые руки ... но точно также обслуживают карты мастера с 10-летним стажем обслуживания электроники и пайки на профессиональном оборудовании, через которых прошли сотни чувствительных плат. Ремонтопригодности у этих модулей нет совсем, а мнимый профит, как спирт испаряется на глазах, оставляя горькое послевкусие. Причем в обоих случаях отваливается второй слой стековой HBM2 памяти, судя по тестам mats mods. Что как бы намекает о том, что отдаленные китайские слухи о ненадежности этих модулей правда. 🤯 Кусок неремонтопригодного и чрезмерно дорого текстолита! 🙏 Ребят, максимальный репост чтобы народ знал про этот неликвид. Здесь обсуждаем: https://t.me/+DZ9mEpyQUXBhYjZi

🚀 Мы доросли до 1000 человек. Спасибо, что вы здесь. Наш чат стал тесным для общения: находки, тесты, железо, вопросы - всё вперемешку. Поэтому разделил канал на темы. И попутно про имя ... тематика канала уже больше года смещена в сторону локального ИИ, а точнее железа для ИИ. А как вы знаете я давно был энтузиастом в серверах и тут так все сложилось. В общем, теперь канал называется ИИнтузиаст, а наш чат ИИнтузиасты. Темы чата: 📢 Новости канала 🔍 Находки - интересные объявления с торговых площадок, интересные статьи и обсуждения с других источников (тут было жарко) 🛒 Барахолка - если вы хотите что-то купить или продать 🧪 Модели ИИ - обсуждение, тесты и результаты тестирования моделей 🖥️ Железо - обсуждение железа ⚙️ Софт - обсуждение софта: vLLM, llama.cpp, и прочие 💬 Флудилка - всё что не влезло в остальные Если нужна какая-то новая тема - пишете, обсудим, добавим) Правила простые: - уважаем друг друга - не знаете, куда постить - пишите во флудилку 🙃 В ходе изменений, комментарии к предыдущим постам пропали - сделал новый чат для комментариев, он будет оставаться только для комментариев к постам. ИИнтузиаст: Канал TG | Наш чат TG | YouTube

Пока в чате идет срач горячее обсуждение о подорожании цен на видеокарты, я заметил несколько моментов на авито. 🎯 Во-первых, даже сейчас 3090 проскакивают по очень интересным ценам, пример тому скрин. Вчера-сегодня наблюдал за этими объявлениями. В течении часа-двух уже были сделаны заказы. Более того, такая же ситуация и с Tesla V100 32gb, я сам пропустил 4 выгодных объявления, но одно успел урвать. 🧐 Во-вторых: на авито закончились Tesla V100 32gb sxm2, остались только 16гб модули или версии PCIe в оригинальном или кастомном охладе. 📊 В третьих: CMP 50HX 10gb сильно подорожали, и теперь как-будто их покупка теперь имеет смысл только если сможешь собственноручно перепаять память. А 20-ти гиговые версии выросли до 30к. График роста цен на RTX 3090 можно увидеть по моим покупкам в этом видео: https://youtu.be/Gq8Ig1Lf5MM?t=112

🧠 Год собирал ИИ-сервер. Пять карт, три блока питания, паленые провода, райзеры, OCulink'и, несколько корпусов и еще масса всего неучтенного и оставшегося за кадром. 💰 Посчитал итог: 477к , из них 337к - только карты. 🛑 И примерно половина суммы - это путь, по которому я бы сейчас не пошел. ⚡ В видео разбираю каждую строчку сметы: где можно сэкономить, динамику цен на 3090 и то, почему дальше PCIe 3.0 x8 профита не было. Посчитаем счета на электричество. А в конце кратко затронем альтернативы. 👉 https://youtu.be/Gq8Ig1Lf5MM

💸 ИИ как Single Point of Failure: считаем стоимость простоя Недавние сбои в доступности моделей OpenAI навели меня на мысль: мы привыкли обсуждать интеллект моделей и дешевизну токенов, но почти не говорим об их доступности. Если бизнес-процессы компании завязаны на облачный ИИ, провайдер превращается в критическую точку отказа (SPOF). Чтобы понять масштаб риска, нужно перевести недоступность в деньги. 📊 Дано (предположим): Компания из 100 человек с активной интеграцией ИИ так: - 30% сотрудников это IT-специалисты, у них плотная интеграция (пайплайны, код, инциденты и прочее) - 20% остальных сотрудников, средняя плотность интеграции (аналитика, контент, менеджмент) Введем погрешность и предположим что только половина из всех этих сотрудников плотно использует ИИ в работе. Итого: около 25 человек используют ИИ как основной рабочий инструмент в режиме реального времени. 🧮 Математика потерь: Допустим, средняя стоимость часа сотрудника - 1000 ₽. Один час простоя провайдера ИИ: 25 чел * 1000 ₽ = 25 000 ₽ в час. ⏱ Теперь возьмем SLA: 1. Официальный (OpenAI и Antropic) 99.4%: ~4 часа простоя в месяц. Потери: ~100 000 ₽/мес. 2. РФ-контекст (блокировки как со стороны поставщиков ИИ так и внутри страны, vpn, а еще провайдеры ИИ могут скрывать недоступность) предположим 95%: ~36 часов простоя. Потери: ~720 000 ₽/мес. ❗Важное уточнение: Это оптимистичный расчет. Он не учитывает: - Когнитивное трение: время на переключение с ИИ-подхода на ручной, это не просто потеря времени, а стресс и падение эффективности. Здесь нужно быть достаточно честным - никто не будет сразу же переключаться на ручной труд, долгое время будут ожидать восстановления облаков. - Потерю темпа: когда автоматизация ломается, бизнес-процесс не просто замедляется, он может встать. - Недополученную выручку из-за замедления Time-to-Market. - Репутационные риски: если ИИ завязан на клиентские сервисы. 🎯 Вывод: Когда стоимость токена в облаке кажется копеечной, можно легко забыть о стоимости простоя из-за недоступности ИИ. Именно поэтому локальный инференс сегодня - это не "игрушка энтузиаста", а вопрос интеллектуального суверенитета и бизнес-континуитета компании.

Помните я показывал как навайбкодил на локальной gemma-4-31b-it рендер карт из Counter Strike 1.6? Теперь выложил более подробное видео на youtube, в котором: 🔥 Проверяю, вывезет ли домашняя локалка хардкорный проект на C++ и OpenGL без моего вмешательства в код 🗺️ Показываю путь от простого куба до полноценного рендера карт с освещением и скайбоксом 🧠 Рассказываю про способ работы с ИИ над проектом ⚡ Тестирую 4 x RTX 3090 и ультрабюджетный сетап с Tesla P40 и V100 🐛 Честно разбираю факапы ⏱️ Итог: сколько реально времени ушло и где локальный ИИ всё еще лажает 👉 https://youtu.be/uDLIrbRzK8g

📈 Мониторинг б/у рынка GPU 🔹 CMP 50HX 20gb: месяц назад стоили 20к, сейчас 25к, рост цены +25% 🔹 RTX 3080 20gb: месяц назад еще можно было найти за 52к, сейчас 65к, рост цены +25% 🔹 Tesla V100 32gb: месяц назад 50к-55к, сейчас 60к-65к, рост +20% 🔹 RTX 2080 ti 22gb 2шт + NVLink: месяц назад ~80к, сейчас 95к, рост +18.75% ⚖️ Среди перечисленных моделей есть хоть какая-то согласованность в ценах, чего не скажешь про RTX 3090 - здесь полная ценовая вакханалия, в общем-то как было и раньше год назад. 📉 Количество предложений на RTX 3080 20gb упало до двух объявлений, в то время как объем предложений на CMP 50HX 20gb и Tesla V100 32gb сохраняется. ❓ Динамику количества предложений RTX 2080 ti 22gb не берусь оценивать, потому что не следил. 🔌 А вот по материнским платам x399 на процессорах Threadripper наблюдается снижение количества предложений и кратно увеличение цены: если полгода назад можно было купить комплект плата + процессор 29xxX до 30к, то теперь ценник начинается от 50к. ⚠️ Однако, рост цены и снижение предложений вовсе не означает что по такой цене есть сделки, реальные сделки еще предстоит посчитать. ⁉ Кто сейчас мониторит рынок? Заметили такой же рост или попадались адекватные варианты?

📝 На выходных сделал видео краткую выжимку по стриму - вместо двух часов можно за 11 минут узнать основные моменты, без проблем с микрофоном) Подобрал более качественные материалы и провел некоторый анализ, так что это по сути идет даже немного дальше, однако тему с агентами пока не раскрыл полностью, готовлю другое видео на эту тему. 👉 https://youtu.be/BDOkNSHPG8c

🎬 Провели первый стрим по ИИ, да и вообще для меня это первый такой открытый стрим, первый опыт. После середины стрима возникли проблемы со звуком (кажется конденсаторный микрофон перегрелся, теперь понял - это рядом смартфон лежал), но мы их преодолели) Спасибо всем участникам за вопросы и за вашу благодарность 🙏 👉 Ссылка на завершенный стрим. 🚀 Как и обещал вот презентация, забирайте полезные для себя материалы)

🔌 Стрим сегодня (в субботу 22 августа) в 18:00 на Youtube 📝 Тема: Быстрый старт по локальному ИИ: ответы на вопросы 🕰 Тайминг: час-полтора (попробуем уложиться) Отвечу на вопросы подписчиков: - рекомендации по выбору железа для локального ИИ - затронем тему прогноза цен, никто не знает но мы погадаем - на чем поднять локальный инференс (ollama / lmstudio / llamacpp / vllm) - как ускорить инференс и загружать большие модели на несколько видеокарт - модели которыми я пользуюсь в личных целях и в рабочих задачах - агенты, воркфлоу, skills / mcp 👉 Ссылка: https://youtube.com/live/kyC2SndjVNQ?feature=share

🧐 А может стрим в ближайшие дни? 🎬 На Youtube, примерно на 1-1.5 часа. Посмотрим Авито, интересные штуки для локального ИИ, заглянем в мое избранное и удивимся на сколько изменились цены на видеокарты за год. Напишите в комментариях под этим постом вопросы, которые хотели бы обсудить, я постараюсь подготовить ответы. Ставьте 🔥 если придете.

👨‍🔬 Заменил плату на с Threadripper X399 на Supermicro H12SSL + горячий EPYC 7f52 (ROME). Все на Авито. 👾 Все видеокарты теперь работают на PCIe 4.0 x16, однако, это почти не дало скорости ни в prefill ни в decode. Причиной может быть урезанный P2P механизм драйверов для пользовательских (не серверных) видеокарт. Здесь есть обсуждение, это мне еще предстоит опробовать. Отсюда следует вывод оно того не стоило:

Для локального инференса на нескольких видеокартах RTX 3090 достаточно PCIe 3.0 x8. Материнских плат на X299 / X399 для домашнего ИИ полностью хватит, а экономия бюджета в 2 раза.

🎩 В этой плате есть 8-ми канальный режим памяти DDR4 (против 4-ех канального на X399) и процессор более нового поколения. И здесь меня больше интересует промышленная фича дизагрегации KV-кэша. По простому: можно выгружать KV в RAM и если будет много объема то это позволит лучше кэшировать запросы, а значит вырастет prefill.

👾 На выходных навайбкодил попрактиковался в программировании через агентские фреймворки ИИ - сделал просмотрщик карт из Counter Strike 1.6 на C++ & OpenGL 4.6 под Linux. 👨‍💻 Все это делалось на установке из 4-ех RTX 3090 (ti) на модели gemma-4-31b-it под управлением vllm через агентский фреймворк Opencode. 👨‍🔬 Организовать правильную работу получилось только с третьего раза, одно дело описать то что нужно сделать, другое дело разработать схему взаимодействия. Последнее до сих пор довожу до ума, когда возникают проблемы с моделью. 🙈 Кроме того, у меня есть опыт разработки подобных продуктов (около 8-ми лет вел эту разработку без всяких ИИ и курсов), а умение гуглить спецификации и документацию оказало существенное ускорение для работы модели. 👻 В итоге это вышло очень занимательно и интересно, даже интереснее чем раздавать хеды на рандомных серверах)) 📊 Прикрепляю графики со статистикой, здесь ttft, prefill / decode, KV и попадание в кэш. ⁉ Интересно посмотреть видео с процессом разработки?

🚀 Майнинговая CMP 170HX взлетела в цене на Авито после опубликования разблокировки 64гб вместо штатных 8гб. Ссылки на обсуждения вот и вот. Что делает ее младшим братом NVIDIA A100 (цена 700к). Теперь ее минимальная цена 85к, что на уровне RTX 3090. 👾 Мне очень интересно, но пока это штука не выглядит надежной, пока видимо ни у кого нет опыта продолжительной эксплуатации в локальном ИИ, отсюда большая волатильность на б/у рынке, что делает ее покупку весьма сомнительной. ❓ У кого есть эта карта, как она в LLM после анлока? 🙏 Если кто готов любезно предоставить на тест (с возвратом или могу выкупить) буду признателен)) Исследую и выложу видос с результатами.

❓ Есть ли жизнеспособный инфренес в бюджете на 50к или 80к? На этот вопрос я постарался детально ответить в видео и статье на хабре: 🚀 https://youtu.be/uf9yDBy21pA 👉 https://habr.com/ru/articles/1053118/ Я взял 2 бюджетные материнские платы и 2 видеокарты, современные и не очень модели ИИ, провел разнообразные тесты. Получилось весьма объемно, а готовил я это около 3-х месяцев. Внутри: 📟 оборудование и цена 🔌 как определить пропускную способность памяти, прямо на практике 🎬 тесты: канальность, частота, кванты, контейнер vs хост, что будет если добавить одну карту, а две и так далее (все это приправлено графиками и моими комментариями) 💶 какие есть ценовые варианты 🎩 рассмотрим альтернативные сборки, в том же ценовом диапазоне и на развитие Если вы задумывались о персональном приватном ИИ, то теперь вы можете узнать как это все будет работать в бюджете до 100к рублей. Также вам могут помочь другие мои видео: 👉 Запускам GPT на ноутбуках без подписок и облаков 👉 Сборка домашней ИИ лаборатории на базе дешевых комплектующих для майнинга Все инструкции по настройке и развертыванию вы можете найти у меня на сайте: - Установка NVIDIA‑драйвера на Debian - Запуск локальных модели ИИ через llama.cpp ⁉️ Если у вас есть вопросы по сборке пишите в комментариях.

Я долго зрел и наконец созрел)) Новостей много, пройдемся кратко, а в следующих постах постараюсь больше деталей. Начнем с моего основного фокуса, из-за которого я долго не писал, и это работа) 👨‍💻 Последние полгода на работе были достаточно ... потрясающими. Уже как ~1,5 года я занимаю позицию тимлида команды DevOps на текущем месте работы. За это время мы с командой добились колоссальных успехов и произвели реформу нашей работы (наладили дежурства / улучшили процессы и для инженеров и для бизнеса / собрали команду). Детали позже. Однако, я решил уйти с этой позиции в роль инженера в этой же команде DevOps, в связи с культурными особенностями. Это было неудобное и трудное решение лично для меня, но именно так и должен поступать управленец - уметь принимать сложные решения в моменты неопределенности, когда простое ожидание перестает быть эффективным. Я приобрел драгоценный опыт, о котором расскажу позже. А теперь мое любимое: эксперименты и с ИИ и железо)) 👨‍🔬 Закончил тесты локального ИИ на бюджетных решениях (материнские платы + процессоры + самые дешевые видеокарты). Спойлер: есть там жизнь, статью уже пишу. Прикрепляю график результатов теста модели gpt-oss-120b, на нем видно какой профит дает добавление видеокарт в смешанный инференс на CPU + GPU. 🏭 Пересобрал свой стенд для локального ИИ на каркас для майнинга и заменил материнскую плата на Asus ROG STRIX X399-E GAMING + AMD Ryzen Threadripper 2920X. Видеокарты подключил через Oculink'и. Скорость инференса выросла до 150т/с на gpt-oss-120b. Видео прикрепляю. А после того как грянул гром двух спаленных проводов купил нормальный блок питания SUPER FLOWER Leadex VII Gold 2200W 80+ Titanium. Райзеры уже едут, а на выходных буду менять термоинтерфейсы на двух видеокартах. 👾 Осваиваю вайбкодинг Harness AI, на данный момент использую Open Code (пробовал Kilo Code, Claude Code, Qwen Code, Codex) с локальной моделью Gemma4-31B-it (недавний релиз). На удивление эта маленькая, но плотная модель хорошо справляется как с программированием, так и с анализом. Постепенно слезаю с GPT 5.2 Chat в пользу локальной Gemma. 🎥 А тем временем видео Сборка домашней ИИ лаборатории на базе дешевых комплектующих для майнинга наборало уже ~65к просмотров и более 2к лайков, подписчиков на канале в 2 раза больше чем здесь в ТГ. Удивительно как все может перевернуться)) Видимо действительно актуальная тема.

🎉 Прошел почти месяц и на удивление видео про сборку из 3-х RTX 3090 на майнерской плате для локального ИИ набрало почти 40к просмотров, более 400 комментариев и ~1.4к лайков. Спасибо всем кто оценил 🙏 Кто еще не успел посмотреть - заходите, посмотрите) 😆 Комментарии забавные, почитайте)) 👉 А свою статью на хабре Локальный ИИ: майнинг плата + 3 RTX 3090 я отправил на конкурс Технотекст8. 👨‍💻 Тем временем я провожу новый эксперимент: что можно выжать для локального ИИ на CPU, а именно на am4 и на threadripper. Не совсем only CPU, скорее смешанный инференс на CPU + доступная для большинства GPU Tesla V100, чтобы была приемлемая скорость инференса для персонального использования. По ценам пытаюсь вместиться в народную сборку чтобы каждый мог у себя такое разместить. Результатами поделюсь позже.

Несколько раз я уже упоминал что работаю над сборкой домашней лаборатории для ИИ на базе материнской платы для майнинга. Именно такой вектор я выбрал из-за цены комплектующих (без учета видеокарт), они дешевые. 🎉 И вот теперь я все докупил/дособирал/прокачал по максимуму и логически завершил эту веху - стенд полностью готов и не нуждается в доработках. Расписал весь пройденный путь и показал результаты здесь: 🚀 посмотреть видео на youtube 👉 почитать на хабре 💶 В конце видео/статьи есть расчеты финансовых затрат на итоговую сборку, без учета расходов, которые не вошли в эту самую сборку. Так как все делается на энтузиазме из личного финансирования, то я старался рационально распоряжаться бюджетом. Если вы задумывались о персональном приватном ИИ, то теперь вы можете увидеть сколько денег это потребует. А все инструкции по настройке и развертыванию вы можете найти у меня на сайте: - Установка NVIDIA‑драйвера на Debian - Запуск локальных модели ИИ через llama.cpp - Запуск gpt-oss-120b на трех видеокартах ⁉️ Если у вас есть вопросы по сборке пишите в комментариях.

Нагенерировал контента для статьи, по ссылке есть промпты, чтобы повторить результат самостоятельно.