1 032
Subscribers
+724 hours
+107 days
+5330 days
Posts Archive
1 032
我发现算法和 Infra 好像区别不大,都是要理解各种奇奇怪怪的性能优化。
比如各种并行策略,各种流水线编排,各种并行策略,计算通信 overlap 都是 Infra 层面的算法。
而这背后也都是和机器学习算法类似的设计和分析思路,也都需要大量实验。总之是的智力相当密集的行业,其中一点搞不明白整个体系就串不起来。好了我又要回头去看梯度下降究竟是怎么回事了。
