Parallel Experiments
رفتن به کانال در Telegram
Stay informed. Stay authentic. Welcome to the public part of my brain. Here I share curations and thoughts. Created with ❤️ by @linghao.
نمایش بیشتر1 754
مشترکین
اطلاعاتی وجود ندارد24 ساعت
-47 روز
+630 روز
در حال بارگیری داده...
کانالهای مشابه
ابر برچسبها
اشارات ورودی و خروجی
---
---
---
---
---
---
جذب مشترکین
ژوئیه '26
ژوئیه '26
+2
در 0 کانالها
ژوئن '26
+20
در 1 کانالها
Get PRO
مه '26
+15
در 0 کانالها
Get PRO
آوریل '26
+30
در 0 کانالها
Get PRO
مارس '26
+79
در 3 کانالها
Get PRO
فوریه '26
+59
در 1 کانالها
Get PRO
ژانویه '26
+18
در 0 کانالها
Get PRO
دسامبر '25
+13
در 1 کانالها
Get PRO
نوامبر '25
+32
در 1 کانالها
Get PRO
اکتبر '25
+14
در 0 کانالها
Get PRO
سپتامبر '25
+8
در 1 کانالها
Get PRO
اوت '25
+11
در 0 کانالها
Get PRO
ژوئیه '25
+12
در 1 کانالها
Get PRO
ژوئن '25
+10
در 3 کانالها
Get PRO
مه '25
+23
در 0 کانالها
Get PRO
آوریل '25
+26
در 2 کانالها
Get PRO
مارس '25
+29
در 2 کانالها
Get PRO
فوریه '25
+16
در 0 کانالها
Get PRO
ژانویه '25
+52
در 5 کانالها
Get PRO
دسامبر '24
+19
در 3 کانالها
Get PRO
نوامبر '24
+22
در 2 کانالها
Get PRO
اکتبر '24
+23
در 0 کانالها
Get PRO
سپتامبر '24
+9
در 2 کانالها
Get PRO
اوت '24
+12
در 0 کانالها
Get PRO
ژوئیه '24
+20
در 0 کانالها
Get PRO
ژوئن '24
+5
در 0 کانالها
Get PRO
مه '24
+8
در 2 کانالها
Get PRO
آوریل '24
+10
در 0 کانالها
Get PRO
مارس '24
+15
در 0 کانالها
Get PRO
فوریه '24
+9
در 0 کانالها
Get PRO
ژانویه '24
+29
در 3 کانالها
Get PRO
دسامبر '23
+19
در 0 کانالها
Get PRO
نوامبر '23
+9
در 1 کانالها
Get PRO
اکتبر '23
+16
در 1 کانالها
Get PRO
سپتامبر '23
+16
در 0 کانالها
Get PRO
اوت '23
+16
در 0 کانالها
Get PRO
ژوئیه '23
+18
در 0 کانالها
Get PRO
ژوئن '23
+9
در 0 کانالها
Get PRO
مه '23
+14
در 0 کانالها
Get PRO
آوریل '23
+37
در 0 کانالها
Get PRO
مارس '23
+33
در 0 کانالها
Get PRO
فوریه '23
+26
در 0 کانالها
Get PRO
ژانویه '23
+52
در 0 کانالها
Get PRO
دسامبر '22
+19
در 0 کانالها
Get PRO
نوامبر '22
+35
در 0 کانالها
Get PRO
اکتبر '22
+44
در 0 کانالها
Get PRO
سپتامبر '22
+6
در 0 کانالها
Get PRO
اوت '22
+17
در 0 کانالها
Get PRO
ژوئیه '22
+26
در 0 کانالها
Get PRO
ژوئن '22
+64
در 0 کانالها
Get PRO
مه '22
+18
در 0 کانالها
Get PRO
آوریل '22
+24
در 0 کانالها
Get PRO
مارس '22
+19
در 0 کانالها
Get PRO
فوریه '22
+22
در 0 کانالها
Get PRO
ژانویه '22
+20
در 0 کانالها
Get PRO
دسامبر '21
+38
در 0 کانالها
Get PRO
نوامبر '21
+30
در 0 کانالها
Get PRO
اکتبر '21
+32
در 0 کانالها
Get PRO
سپتامبر '21
+18
در 0 کانالها
Get PRO
اوت '21
+24
در 0 کانالها
Get PRO
ژوئیه '21
+32
در 0 کانالها
Get PRO
ژوئن '21
+27
در 0 کانالها
Get PRO
مه '21
+42
در 0 کانالها
Get PRO
آوریل '21
+237
در 0 کانالها
Get PRO
مارس '21
+26
در 0 کانالها
Get PRO
فوریه '21
+52
در 0 کانالها
Get PRO
ژانویه '21
+117
در 0 کانالها
Get PRO
دسامبر '20
+1 119
در 0 کانالها
| تاریخ | رشد مشترکین | اشارات | کانالها | |
| 09 ژوئیه | 0 | |||
| 08 ژوئیه | 0 | |||
| 07 ژوئیه | 0 | |||
| 06 ژوئیه | 0 | |||
| 05 ژوئیه | 0 | |||
| 04 ژوئیه | 0 | |||
| 03 ژوئیه | +1 | |||
| 02 ژوئیه | 0 | |||
| 01 ژوئیه | +1 |
پستهای کانال
https://linghao.io/posts/taxonomy-differences-matter
以前觉得 taxonomy 只是无聊的分类学，开始做 LLM quality 以后几乎每天都在思考和跟同事争论 loss taxonomy 的细枝末节。这几天放假闲下来仔细想想，taxonomy 无处不在，至关重要。
| 2 | 关于层出不穷的各式 AI memory system 的一些思考：我们应该把更多的精力放在设计更好的 eval 上，从而让最强的 memory system 进化出来
https://linghao.io/posts/memory-systems-should-be-evolved | 1 293 |
| 3 | https://arxiv.org/abs/2503.02113
The core idea:
Deep learning does not work because neural nets somehow escape generalization theory. It works because very flexible models can still generalize when they have soft inductive biases — preferences for simple, compressible, structured solutions.
Key points:
- 🧠 Overparameterization is not automatically a problem.
Having more parameters than data points does not necessarily mean the learned function is complex. Parameter count is a bad proxy for the complexity of the actual solution.
- 📈 Benign overfitting is not unique to neural nets.
Models can perfectly fit training data, even noisy data, while still generalizing on structured data. Similar behavior appears in linear models, Gaussian processes, high-degree polynomials, and other classical model classes.
- 🔁 Double descent is not just a modern deep learning anomaly.
The pattern where test error falls, rises, then falls again as model size increases also appears outside neural networks. It can be understood through effective dimensionality, compression, and the geometry of learned solutions.
- 📦 Compression is central.
A huge model can generalize if the solution it finds is simple or compressible. The rough intuition is:
expected error ≈ training error + complexity/compressibility penalty.
- 📚 Some older theories already help explain this.
PAC-Bayes and countable hypothesis bounds are more useful here than raw VC dimension, Rademacher complexity, or parameter counting, because they focus on which solutions are likely/simple rather than just how large the hypothesis space is.
- 🎯 The paper’s recommended lens:
Don’t only restrict what a model can represent. Instead, allow a very rich hypothesis space, but bias the learner toward simpler solutions that fit the data.
- ✨ What is still distinctive about deep learning?
Not overparameterization or double descent by themselves, but things like representation learning, in-context learning, broad cross-domain usefulness, and mode connectivity in loss landscapes.
My takeaway:
Deep learning’s famous generalization puzzles may not require rewriting the textbooks from scratch. They may require reading the right parts of the textbooks more carefully — especially the parts about priors, compression, and soft preferences over solutions. | 367 |
| 4 |  一月底最后一个周六有了一个灵感，想做个解放双手，优化了 AirPods 录音，边散步边和自己对话的 App。打开 Cursor coding 了一天，第二天就出门去 SoHo 散步就用上了，然后就完全离不开了，一天不落用到今天，录了300多条录音，200多个不同地点，近100小时和自己的对话。
这两个半月工作之余的 side project 时间全放在了这个 App 的打磨上，和自己和它的关系也有忽近忽远的变化，有意思的是也用它自己记录了下来。最近在读荣格，说自性化的目标是走向完整，走向完整指的是充分体验所有情感，如何充分体验所有情感？我给的答案是记录。放下手机，出门散步，踏出的每一步，对自己说出每个字，周围记录下来的环境音，路上随手拍的照片，都是值得记录下来的此时此刻。
随手录音，AI转录，适配了各种麦克风，privacy first，取名叫 Yuho，Logo是个伦敦的大肥鸽，昨天刚刚上线了，欢迎试玩，有机会一起散步🚶 如果用着感觉还不错，记得向我要 Pro 的兑换码
https://yuho.io | 0 |
