ru
Feedback
咸咸湿湿

咸咸湿湿

Открыть в Telegram

最💗新💗最💗热💗咸💗鱼💗资💗讯

Больше
Страна не указанаКатегория не указана
202
Подписчики
Нет данных24 часа
Нет данных7 дней
Нет данных30 день
Архив постов
?唉 EPIC

而且也不会像默认的 safetensors 那样吃满内存 所以 safetensors 是怎么做那么烂的

破案了,原来之前 GB10 上 vLLM 加载模型那么慢是 safetensors 做太屎了,换成 instanttensor 只需要原本 5% 的时间 😇

?

?

今年公寓租约续期竟然一分钱也没涨,房租终于要开始跌了吗

唉又是一个被 CUDA 架构后缀坑了的(x
唉又是一个被 CUDA 架构后缀坑了的(x

?

Repost from 煎蛋无聊图
制式仪刀: jandan.net/t/6152649 OO: 138 XX: 2 tyu: 我也想要一个 OO: 21, XX: 0

https://github.com/vllm-project/vllm/issues/41515 唉 vLLM,KVCache offload 和 multi-token prediction + prefix caching 不能共存

nb

Repost from 煎蛋无聊图
制式仪刀: jandan.net/t/6152065 OO: 142 XX: 7 零下伊度: 旋转角度能精确到0.001度,精确烤遍每一个细胞 OO: 38, XX: 2
制式仪刀: jandan.net/t/6152065 OO: 142 XX: 7 零下伊度: 旋转角度能精确到0.001度,精确烤遍每一个细胞 OO: 38, XX: 2

唉加州