en
Feedback
缤纷世界的彩色冒险

缤纷世界的彩色冒险

Open in Telegram

Herzlich willkommen bei der bunte Welt ! | 君と同じ青空 | Lumis Eterne | 春を告げ踊り出す山菜、夏を見る宇治野原唐草乾くわ、秋の月登ったまん丸さお祝い、冬を過ぎまた月日を数える

Show more
7 443
Subscribers
-124 hours
-167 days
-5730 days
Posts Archive
Repost from 黑洞资源笔记
榨干垃圾服务器:本地AI运行的底层逻辑并非买显卡 | blog 很多技术人都在焦虑被昂贵的算力军备竞赛抛下,但真正的高手已经在用十年前的报废服务器跑最新大模型了。有人用 2016 年的单核单路 Xeon 处理器和极慢的 DDR3 内存,在完全没有显卡
榨干垃圾服务器:本地AI运行的底层逻辑并非买显卡 | blog 很多技术人都在焦虑被昂贵的算力军备竞赛抛下,但真正的高手已经在用十年前的报废服务器跑最新大模型了。有人用 2016 年的单核单路 Xeon 处理器和极慢的 DDR3 内存,在完全没有显卡的情况下,让 26B 的 Gemma 4 架构模型跑出了“人类阅读速度”。 这件事的核心本质在于:大模型在生成文本的“解码阶段”,底层的瓶颈从来都不是算力(Compute-bound),而是内存带宽(Memory-bound)。处理器每算一个词,都要把数百亿的参数从内存搬运到 CPU 缓存里。这个过程里,CPU 绝大多数时间都在干等内存把数据运过来。这就是所谓的“内存墙”。 大厂和商业软件通过黑盒工具(如 Ollama)向用户隐藏了所有性能调节杠杆,甚至默认把你的模型塞进虚拟内存(Swap)里吃土。而真正穿透技术护城河的方法,是直接接管底层逻辑。利用推测解码(Speculative decoding)将小模型常驻 L3 缓存来预测Token,再通过改写内存矩阵对齐 CPU 缓存(Run-time repack),以及把 Flash Attention 压榨到 CPU 上运行。这证明了本地 AI 的核心门槛不是硅片,而是你对硬件架构的压榨程度。拒绝黑盒,捡垃圾也能通往自由。

知乎日报 猫的性格是由颜色决定的吗? Telegraph | 原文链接 | 频道大全

知乎日报 你曾经看过的最惊为天人的科幻概念是什么? Telegraph | 原文链接 | 频道大全

知乎日报 从科学的角度考虑,蘑菇能否直接在人体(或尸体)上生长? Telegraph | 原文链接 | 频道大全

知乎日报 哪些文物使用了罕见的制作材料? Telegraph | 原文链接 | 频道大全

知乎日报 为什么牧羊犬能指挥羊群进退? Telegraph | 原文链接 | 频道大全

知乎日报 我发现很多农村教堂并没有发鸡蛋,那为什么还有那么多老头老太太去信? Telegraph | 原文链接 | 频道大全

知乎日报 为什么几千年作为蔬菜的甜菜,没有被发现能产糖? Telegraph | 原文链接 | 频道大全

知乎日报 古代士兵中箭后没有消炎药,伤口感染了还能扛过去吗? Telegraph | 原文链接 | 频道大全

Repost from MJJ出征
分享50个你进去就出不来的网站,重塑你的世界观
1.看此刻的地球 http://zoom.earth 卫星实时图像 http://flightradar24.com 天上所有飞机 http://marinetraffic.com 海上所有船 http://windy.com 风和风暴的实时地图 http://lightningmaps.org 全球闪电落地实况 http://earthquake.usgs.gov 最新地震列表 http://worldometers.info 世界数据逐秒跳动 2.换个地方待一会儿 http://window-swap.com 从陌生人的窗户往外看 http://mapcrunch.com 随机传送到地球任意一点 http://virtualvacation.us 城市虚拟漫步 http://atlasobscura.com 世界上最奇怪的地方目录 3.地图和尺度 http://thetruesize.com 拖动国家比较真实大小 http://submarinecablemap.com 撑起互联网的海底电缆 http://oldmapsonline.org 几百年前的地图 http://davidrumsey.com 15 万张历史地图 http://openstreetmap.org 志愿者画出来的世界 4.宇宙 http://eyes.nasa.gov 3D 漫游太阳系 http://stellarium-web.org 浏览器里的真实星图 http://apod.nasa.gov NASA 每日天文照片 http://images.nasa.gov NASA 全部图像档案,免费 http://htwins.net/scale2 从原子到宇宙的尺度之旅 5.数据和可视化 http://ourworldindata.org 基于真实数据的世界现状 http://pudding.cool 用数据讲的视觉长文 http://informationisbeautiful.net 复杂数据可视化 http://gapminder.org 我们对世界的误解有多深 http://data.worldbank.org 世界银行开放数据 http://observablehq.com 用实时代码做可视化 http://pudding.cool 是这一栏的天花板,每篇都是一个小型作品。 6.读不完的东西 http://archive.org 数百万书籍影像软件 http://gutenberg.org 7 万本版权过期的免费书 http://openlibrary.org 世界上每本书的记录 http://loc.gov 美国国会图书馆数字档案 http://arxiv.org 科学论文免费预印本 7.博物馆和艺术 http://artsandculture.google.com 在家逛世界各大博物馆 http://rijksmuseum.nl 高清艺术作品可下载 http://metmuseum.org 大都会开放藏品 http://wikiart.org 25 万件艺术作品 http://publicdomainreview.org 被历史遗忘的视觉宝藏 http://europeana.eu 欧洲文化遗产档案 8.声音 http://radiooooo.com 选个国家和年代,听那个时代的音乐 http://musicmap.info 音乐流派的族谱树 http://listen.hatnote.com 把维基百科的实时编辑变成声音 radiooooo 选 1970 年代的巴西试试。 9.杂项 http://neal.fun 互动式知识小实验 http://sciencedaily.com 科学新闻实时流 http://timeanddate.com 时间、日出和天象 http://neal.fun 里的每一个小项目都能占掉你半小时。