咸咸湿湿
前往频道在 Telegram
最💗新💗最💗热💗咸💗鱼💗资💗讯
显示更多未指定国家未指定类别
202
订阅者
+124 小时
无数据7 天
无数据30 天
帖子存档
202
Repost from 煎蛋无聊图
制式仪刀: https://jandan.net/t/6125204
大老鼠
OO: 147 XX: 2
我可能是朵向日葵: 大耗子
OO: 13, XX: 1
202
Repost from N/a
+2
🦆 我把 32 台 Intel N100 小主机改造成了一个 DeepSeek-V3.2 685B 推理集群。
没有 NVLink。
没有 InfiniBand。
只有 1 张 RTX 5090、32 台原本用于在线评测的 N100、和普通以太网。
关键想法:
🧠 Attention 留在 GPU
🦆 MoE 层交给 N100 集群
⚡ 自定义 fp9 数据格式,让 AVX2 小核也能跑 MoE GEMV
最终:
11 tokens 输入,2037 tokens 输出
16.171 tok/s decode
MTP1 接受率约 89%
技术报告:
https://judgeduck.ai/duck-llm/
*个人娱乐项目,与任何组织均无关联*
现已上线!2025 年 Telegram 研究 — 年度关键洞察 
