HAT's Public Channel |
Открыть в Telegram
二代目转生频道，主要是带有个人偏好的技术类消息，UTC-N 时区，本频道除特殊消息外默认静音发送消息。 TG 平台内转发的消息不代表本人立场 / 随缘更新 可能包含的关键词: AI, LLM, 前/后端, DevOps 以及一些小杂碎和可能的暴论/锐评 非常欢迎转发本频道所撰写的内容，但对于本频道原创内容还请带上来源，谢谢！ 本频道消息下方的 TG 官方广告位并非由频道主投放，频道主也无法直接将其关闭，请勿相信广告内容。 联系频道主: 请直接私聊 @omnihat_bot or 频道 DM
БольшеСтрана не указанаКатегория не указана
3 420
Подписчики
+1324 часа
+607 дней
+6530 дней
Архив постов
Repost from 动察Beating AI News
智谱唐杰复盘Scaling Law：万亿参数是全行业一起走过的弯路
智谱联合创始人唐杰发长文复盘 Scaling Law。过去几年，大模型一发布，大家最爱问「多少参数」。但在唐杰看来，参数早就不能单独解释模型能力。数据有多少、算力花在哪、模型以后怎么用，同样重要。
行业已经为此走过一次弯路。2020 年，Kaplan 等人的 Scaling Law 认为，算力增加后，参数应该比训练数据增长得更快。GPT-3、Gopher、MT-NLG 都沿着这个方向越做越大，行业一路冲向万亿参数。
2022 年，Chinchilla 重新做实验，发现问题恰恰出在这里。很多大模型做得太大，数据却喂得不够。继续加算力时，参数和数据应该一起增长。唐杰回头看，那轮万亿参数竞赛，就是整个行业一起走过、后来又掉头的弯路。
但 Chinchilla 算的仍然只是训练这笔账。模型真正上线后，会被反复调用，长期推理成本越来越重要。把这部分也算进去，最优方案又会变化。模型可以小一些，再用更多数据训练得更充分。后来 Llama-2-7B、Gemma-2-9B 等模型，已经在往这个方向走。
再往后，MoE 又把问题变复杂了。总参数更多，通常代表能装下更多知识；每次真正参与计算的参数和计算深度，则更影响推理能力。两者不能混为一谈。到 2025 年，新的研究进一步发现，不同任务连最合适的 Scaling 方法都不一样。记忆更吃参数，推理更吃数据；在 MoE 里，一味增加总参数甚至可能拖累推理，增加实际参与计算的专家反而更有效。
漏洞挖掘就是一个很直观的例子。发现新漏洞，不是多背几条 CVE 就够了。真正难的是把二十步推理一路走到底，中间不能断。参数多，未必就能想得更深。
GLM-5.3 是唐杰这次拿出的验证。它和 GLM-5.2 使用同一个基座、同一套架构，总参数和激活参数都没变。团队只继续训练了一个月，重点扩大长程任务环境和强化学习，能力依然明显提升。这一次加的不是参数，而是后训练。
唐杰最后的判断很明确。Scaling 远没有结束。模型规模、预训练数据、每次计算投入多少算力、后训练做多深，都还有空间。只是每一代模型的瓶颈不同，最该加码的地方也会变。
大模型下一轮竞争，比的可能不再是谁的参数最多，而是谁更知道算力该花在哪。
唐杰
Repost from zrj766的频道
OpenCode Go 新上Muse Spark 1.2模型，由Meta推出，能力接近GPT5.6 Terra (Max)
缺点是需要你的数据来进行模型训练。
pi, fx 都有了，是不是该到 sin, cos, tan 了
https://fixupx.com/vercel_dev/status/2089828083415355806
DFlash 2 要来了，相比上一代 (DFlash) 提升近 2x, 相比传统方案提升 4.6x
https://fixupx.com/zhijianliu_/status/2089836737132650504
以防有人不知道 oai 在 “Hard Reset” 上的小巧思，Tibo 发的 Reset 只有 banked reset 是真正有用的。
A\ 都想不出这种阴招，重置 (❌) 虫豸 (✅)
Repost from 一个军盲
+3
今天（2026 年 8 月 19 日 07 时 35 分），朱雀三号遥二运载火箭在东风商业航天创新试验区发射升空，火箭一子级按预定程序成功着陆于甘肃省民勤县朱雀三号着陆场坪。
朱雀三号成为我国首款成功入轨并实现陆地回收的运载火箭，也是继长征十号乙之后，我国第二款可回收运载火箭。
每日省钱小 trick: codex 里的 web_search tools 是按次数计费的 (按比例扣除套餐额度)，可以用
Firecrawl (每个月 1000 次 credits, 平时也有很多活动可以领 credits)
Exa (完全免费, 无需鉴权)
Jina (免费 10M tokens 抓取额度, 也有匿名额度)
之类的第三方服务替代
