782
Subscribers
-124 hours
+47 days
+1130 days
Posts Archive
782
Repost from 张晋涛的 TIL
cerebras 介绍了他们怎么部署像 K3 那么大的模型,并达到 1000-2000 tok/s 的速度。
但实话说这玩意越看越没信心,光部署个 K3 支持 190 个并发,硬件成本就上亿了,这还没算周边 KVSS 节点,液冷,交换啥的,哦,还有电费啥的 🤣
另外说个很多人可能不知道的事情,OpenAI GPT 6.x 系列里面的 fast 已经不是由 cerebras 驱动推理了,换 NVIDIA 了
https://fxtwitter.com/aiandcloud/status/2114353167416566085
782
Repost from Patrick 舆情发布
最近写了一个新 project:https://bbtree.xiangpeng.systems/post/
btree 毫无疑问是世界上最重要的大数据结构,但因为过于复杂,并没有像 LSM tree 这么流行。
我的观点是,高性能的数据系统是复杂度守恒的。所有高性能 btree 最终都会有一些 lsm tree的特性,所有高性能 lsm tree 都会有 btree 的影子。
区别是复杂度在何时体现:lsm tree 一开始非常简单,随着不断优化 (bloom filter, compaction, ssm tuning, row cache),各种组件独立交互,最后非常难控制。
btree 的复杂性是upfront的,如何 grow/shrink/rebalance,之后所有的优化都是在同一个框架下操作。
可以类比于 C++ vs Rust,lsm tree 就像 C++,看起来很简单,但真正能搞明白的人少之又少。 btree 就像 Rust,一旦你迈过了那个门槛,后来都是坦途。
782
Repost from Welcome to the Black Parade
招聘,我组校招还有十个名额,隔壁组也急需“故障治理 k8s”和“后端可靠性”。但我比较佛系,大家还是自己搜索感兴趣的开放肛位,能不能同组我不在意,百年修得同船渡,功成不必在我😀
社招: https://vrfi1sk8a0.jobs.feishu.cn/s/8O1HLNj5cug
校招: https://vrfi1sk8a0.jobs.feishu.cn/s/P8_96bLAMcY
782
Repost from 卡卡大声喵喵
最近整理了两个自己的 coding 工具分享一下:
LinkParcel:基于 OpenDAL 的文件剪贴板,用于 agent 把本机的文件分享到远程(比如我的手机上)
https://github.com/BeautyyuYanli/linkparcel
Abyss:一个编排 agent 进行多步骤工作的 workflow 框架,以纯 skill 的方式即可运行。
https://github.com/BeautyyuYanli/abyss
我们的任务可能涉及步骤明确且多步的动作,当然直接通过 prompt 描述这种多步任务也可以,但是其中的模糊性很可能让 agent 并没有理解我们的意思,且这种复杂 prompt 不可拓展,做一些微调都要小心翼翼,涉及 subagent 的编排的话就更混乱了。
因此,我设计了一个没有解释器的 DSL 作为 skill,让 agent 自己阅读 DSL,按照其描述执行工作、派遣 subagent。它的意义就在于作为一种中间表达,人类和 agent 都可以轻易阅读,且语义清晰无歧义,并且可以容易地拓展修改迭代。仓库里附了我日常使用的两个编程 workflow 作为示例。
782
Repost from 张晋涛的 TIL
这是我们 Kong 用 AI Agent 做 code review 的一些经验,欢迎大家一起交流
https://fxtwitter.com/aiandcloud/status/2112794413152014494?s=20
782
国庆的时间说动明哥哥做了一件在最开始做 bub 的时候我们一直想干但没有干的事情。
重写后的 republic 是一个纯粹的 AI provider sdk,没有任何 Agent 或者 Gateway 假设,只是提供一致的抽象来对接各种 Provider 。
同时提供了对 OAuth 等鉴权方式的支持,所以你可以通过一套接口自由使用你的 Codex 订阅或者 DeepSeek API 。
欢迎关注和使用:https://github.com/bubbuild/republic
