Parallel Experiments
前往频道在 Telegram
Stay informed. Stay authentic. Welcome to the public part of my brain. Here I share curations and thoughts. Created with ❤️ by @linghao.
显示更多1 752
订阅者
-324 小时
无数据7 天
+830 天
数据加载中...
吸引订阅者
七月 '26
七月 '26
+11
在0个频道中
六月 '26
+20
在1个频道中
Get PRO
五月 '26
+15
在0个频道中
Get PRO
四月 '26
+30
在0个频道中
Get PRO
三月 '26
+79
在3个频道中
Get PRO
二月 '26
+59
在1个频道中
Get PRO
一月 '26
+18
在0个频道中
Get PRO
十二月 '25
+13
在1个频道中
Get PRO
十一月 '25
+32
在1个频道中
Get PRO
十月 '25
+14
在0个频道中
Get PRO
九月 '25
+8
在1个频道中
Get PRO
八月 '25
+11
在0个频道中
Get PRO
七月 '25
+12
在1个频道中
Get PRO
六月 '25
+10
在3个频道中
Get PRO
五月 '25
+23
在0个频道中
Get PRO
四月 '25
+26
在2个频道中
Get PRO
三月 '25
+29
在2个频道中
Get PRO
二月 '25
+16
在0个频道中
Get PRO
一月 '25
+52
在5个频道中
Get PRO
十二月 '24
+19
在3个频道中
Get PRO
十一月 '24
+22
在2个频道中
Get PRO
十月 '24
+23
在0个频道中
Get PRO
九月 '24
+9
在2个频道中
Get PRO
八月 '24
+12
在0个频道中
Get PRO
七月 '24
+20
在0个频道中
Get PRO
六月 '24
+5
在0个频道中
Get PRO
五月 '24
+8
在2个频道中
Get PRO
四月 '24
+10
在0个频道中
Get PRO
三月 '24
+15
在0个频道中
Get PRO
二月 '24
+9
在0个频道中
Get PRO
一月 '24
+29
在3个频道中
Get PRO
十二月 '23
+19
在0个频道中
Get PRO
十一月 '23
+9
在1个频道中
Get PRO
十月 '23
+16
在1个频道中
Get PRO
九月 '23
+16
在0个频道中
Get PRO
八月 '23
+16
在0个频道中
Get PRO
七月 '23
+18
在0个频道中
Get PRO
六月 '23
+9
在0个频道中
Get PRO
五月 '23
+14
在0个频道中
Get PRO
四月 '23
+37
在0个频道中
Get PRO
三月 '23
+33
在0个频道中
Get PRO
二月 '23
+26
在0个频道中
Get PRO
一月 '23
+52
在0个频道中
Get PRO
十二月 '22
+19
在0个频道中
Get PRO
十一月 '22
+35
在0个频道中
Get PRO
十月 '22
+44
在0个频道中
Get PRO
九月 '22
+6
在0个频道中
Get PRO
八月 '22
+17
在0个频道中
Get PRO
七月 '22
+26
在0个频道中
Get PRO
六月 '22
+64
在0个频道中
Get PRO
五月 '22
+18
在0个频道中
Get PRO
四月 '22
+24
在0个频道中
Get PRO
三月 '22
+19
在0个频道中
Get PRO
二月 '22
+22
在0个频道中
Get PRO
一月 '22
+20
在0个频道中
Get PRO
十二月 '21
+38
在0个频道中
Get PRO
十一月 '21
+30
在0个频道中
Get PRO
十月 '21
+32
在0个频道中
Get PRO
九月 '21
+18
在0个频道中
Get PRO
八月 '21
+24
在0个频道中
Get PRO
七月 '21
+32
在0个频道中
Get PRO
六月 '21
+27
在0个频道中
Get PRO
五月 '21
+42
在0个频道中
Get PRO
四月 '21
+237
在0个频道中
Get PRO
三月 '21
+26
在0个频道中
Get PRO
二月 '21
+52
在0个频道中
Get PRO
一月 '21
+117
在0个频道中
Get PRO
十二月 '20
+1 119
在0个频道中
| 日期 | 订阅者增长 | 提及 | 频道 | |
| 17 七月 | 0 | |||
| 16 七月 | 0 | |||
| 15 七月 | +2 | |||
| 14 七月 | +1 | |||
| 13 七月 | +2 | |||
| 12 七月 | +4 | |||
| 11 七月 | 0 | |||
| 10 七月 | 0 | |||
| 09 七月 | 0 | |||
| 08 七月 | 0 | |||
| 07 七月 | 0 | |||
| 06 七月 | 0 | |||
| 05 七月 | 0 | |||
| 04 七月 | 0 | |||
| 03 七月 | +1 | |||
| 02 七月 | 0 | |||
| 01 七月 | +1 |
频道帖子
https://linghao.io/posts/taxonomy-differences-matter
以前觉得 taxonomy 只是无聊的分类学，开始做 LLM quality 以后几乎每天都在思考和跟同事争论 loss taxonomy 的细枝末节。这几天放假闲下来仔细想想，taxonomy 无处不在，至关重要。
| 2 | 关于层出不穷的各式 AI memory system 的一些思考：我们应该把更多的精力放在设计更好的 eval 上，从而让最强的 memory system 进化出来
https://linghao.io/posts/memory-systems-should-be-evolved | 1 433 |
| 3 | https://arxiv.org/abs/2503.02113
The core idea:
Deep learning does not work because neural nets somehow escape generalization theory. It works because very flexible models can still generalize when they have soft inductive biases — preferences for simple, compressible, structured solutions.
Key points:
- 🧠 Overparameterization is not automatically a problem.
Having more parameters than data points does not necessarily mean the learned function is complex. Parameter count is a bad proxy for the complexity of the actual solution.
- 📈 Benign overfitting is not unique to neural nets.
Models can perfectly fit training data, even noisy data, while still generalizing on structured data. Similar behavior appears in linear models, Gaussian processes, high-degree polynomials, and other classical model classes.
- 🔁 Double descent is not just a modern deep learning anomaly.
The pattern where test error falls, rises, then falls again as model size increases also appears outside neural networks. It can be understood through effective dimensionality, compression, and the geometry of learned solutions.
- 📦 Compression is central.
A huge model can generalize if the solution it finds is simple or compressible. The rough intuition is:
expected error ≈ training error + complexity/compressibility penalty.
- 📚 Some older theories already help explain this.
PAC-Bayes and countable hypothesis bounds are more useful here than raw VC dimension, Rademacher complexity, or parameter counting, because they focus on which solutions are likely/simple rather than just how large the hypothesis space is.
- 🎯 The paper’s recommended lens:
Don’t only restrict what a model can represent. Instead, allow a very rich hypothesis space, but bias the learner toward simpler solutions that fit the data.
- ✨ What is still distinctive about deep learning?
Not overparameterization or double descent by themselves, but things like representation learning, in-context learning, broad cross-domain usefulness, and mode connectivity in loss landscapes.
My takeaway:
Deep learning’s famous generalization puzzles may not require rewriting the textbooks from scratch. They may require reading the right parts of the textbooks more carefully — especially the parts about priors, compression, and soft preferences over solutions. | 367 |
