软件破解内存墙观点讲稿

手上有组里新人的三个提问，明天上午要用二十分钟讲清内存墙，上次讲完还有人问缓存到底是什么。

【观点】
1. 内存墙不是硬件变慢，是算力涨得比带宽快。
2. 破解方向只有两条：让数据离计算更近，或者少搬数据。
3. 软件能做的部分，往往比换硬件更快见效。

【理由】
1. 处理器每代性能涨三成，内存带宽只涨一成，差距逐年拉大。
2. 一次内存访问的延迟相当于几百个时钟周期，算力全在等。
3. 数据搬一次的成本，远高于在片上多算几遍。

【例子】
1. 矩阵乘法分块后，把常用块留在缓存，带宽需求降一半。
2. 结构体改成数组排列，同一次读取拿到的有效数据更多。
3. 推理时把权重压到八位，同样的带宽能多跑一半参数。

【重申】
1. 记住一句话：要么让数据离计算更近，要么让搬的次数更少。
2. 判断优化有没有用，只看带宽占用与缓存命中这两个数。
3. 三个例子都能在现有代码里找到位置，回去各找一个。