es
Feedback
咸咸湿湿

咸咸湿湿

Ir al canal en Telegram

最💗新💗最💗热💗咸💗鱼💗资💗讯

Mostrar más
El país no está especificadoLa categoría no está especificada
202
Suscriptores
Sin datos24 horas
Sin datos7 días
Sin datos30 días
Archivo de publicaciones
?唉 EPIC

而且也不会像默认的 safetensors 那样吃满内存 所以 safetensors 是怎么做那么烂的

破案了,原来之前 GB10 上 vLLM 加载模型那么慢是 safetensors 做太屎了,换成 instanttensor 只需要原本 5% 的时间 😇

?

?

今年公寓租约续期竟然一分钱也没涨,房租终于要开始跌了吗

唉又是一个被 CUDA 架构后缀坑了的(x
唉又是一个被 CUDA 架构后缀坑了的(x

?

Repost from 煎蛋无聊图
制式仪刀: jandan.net/t/6152649 OO: 138 XX: 2 tyu: 我也想要一个 OO: 21, XX: 0

https://github.com/vllm-project/vllm/issues/41515 唉 vLLM,KVCache offload 和 multi-token prediction + prefix caching 不能共存

nb

Repost from 煎蛋无聊图
制式仪刀: jandan.net/t/6152065 OO: 142 XX: 7 零下伊度: 旋转角度能精确到0.001度,精确烤遍每一个细胞 OO: 38, XX: 2
制式仪刀: jandan.net/t/6152065 OO: 142 XX: 7 零下伊度: 旋转角度能精确到0.001度,精确烤遍每一个细胞 OO: 38, XX: 2

唉加州