别看我天天扯高并发、高可用，说实话，真正让我崩溃的从来不是流量洪峰，而是那些慢慢变凉的数据。
你总会遇到这种场景：周一上线，业务把数据拼命往Redis里塞，周三一看，内存要爆。于是慌忙写个定时任务，把三天前的数据导到Hive。这个动作，我原来一直管它叫“清理垃圾”，直到后来我读了点地质学的书，才意识到——这不就是沉积吗？
沉积的本质：从离散搬迁到连续相变
传统的数据归档，本质上是“搬迁”。你从Redis里Scan出key，序列化，写进对象存储，然后删除原key。这个过程有几个毛病：一是定期全量扫描，IO毛刺能把监控图打出心电图；二是迁移粒度太大，比如你把整个月的数据一次性挪走，如果中间有热门数据，查询直接命中冷端，延迟冲破天际。
真正的沉积，应该像泥沙在河床上逐层堆叠，由水流的速度决定颗粒落在哪里。换成系统语言：每个数据块根据自身的访问频率、最后写入时间、块大小，实时计算出一个“重量”，然后按重量决定它在存储层级中的位置。这个计算不能是离散的，而应该是一个连续的、可微分的函数。
我们设计了一个沉积因子 D = (λ * C) / (1 + e^(-k*(t – t0)))，其中C是数据块大小，t是当前温度，t0是温度阈值，λ是业务权重。当D大于某个上限时，块开始下沉。注意，这里用的是sigmoid函数，不是简单的阈值判断，因为我们要让沉积动作在一个时间窗口内平滑地发生，避免抖动脉冲。
为什么用sigmoid？你想啊，如果用硬阈值，数据块的移动就像开关一样，瞬时发生，那和以前定时任务有什么区别？沉积的精髓在于“渐变”。sigmoid函数的导数在中间最大，两端趋于0，意味着当数据温度离阈值很远时，它几乎不动；一旦接近阈值，就开始加速沉降，然后趋近于平稳。这个特性恰好模拟了泥沙在水流减缓时逐渐沉底的物理过程。
光有这个公式还不够。我用线性噪声控制器把误差反馈到k值上，让系统自动适应业务的周期性变化。效果嘛，用压测数据说话。
我们拿一套36节点的集群做实验，每天灌入1.8亿条订单流水，每条大概1.2KB。传统做法是每天凌晨定时归档三天前数据，归档期间C Group的读写比例从3:1直接倒挂到1:2，P99延迟从85ms飙到210ms。改用沉积模式后，我们用8KB的固定块大小，让沉积因子实时计算，每块独立迁移，每秒钟大概有1200个块在下沉，但每个块只占很小一段磁盘带宽。最终P99延迟稳定在92ms，写放大系数只有1.8，而传统方案是3.5。顺便说一句，存储成本省了47%—因为冷数据在沉积时自动做了压缩和纠删码转换。
三个坑，每个都让人原地爆炸
坑一：元数据坐标系不一致。第一次上线，我们只迁移了数据，路由表没跟着变。结果客户端拿到一个沉积层的坐标，去老地方查，查了个寂寞。后来我们用了Hilbert曲线，把一维key映射到二维物理坐标，这样热数据和冷却数据可以共用同一个索引空间，查询时天然就知道该走哪个层级。这个改造花了两周，但效果立竿见影，路由复杂度从O(N)降到了O(logN)。
坑二：反馈回路的振荡。更艹蛋的是，我们的自适应调参算法，PID初始参数拍脑袋写的，结果负载一波动，k值像抽风一样上下乱跳，沉积速率一会儿变成0，一会儿冲到每秒5000块。最终我们用了带有低通滤波的增量PID，同时给输出加了限幅，才让系统稳定下来。记住，控制回路的响应速度一定要比业务波动慢半拍，否则就是自激振荡。
坑三：跨层事务的一致性。假设数据块正在从热层往冷层搬，这时候业务更新了这条数据。如果你直接原地更新，那迁移复制的是旧数据，等迁移完毕，更新就丢了。我们最终的方案是两阶段提交+版本号：先冻结源块，拷贝到目标层，然后比对版本号，如果期间有更新，则放弃这次迁移并重新调度。听起来简单，但实现时要注意，冻结不能阻塞读，我们用了一个影子块机制。
落地路径：别急，先画温度分布
动手之前，先用你的监控系统拉一张数据访问热力分布图。按分钟粒度统计每个key的访问量，然后按热度分桶。你会发现大部分数据其实都是僵尸数据——90%的读请求集中在5%的key上。这个规律，每个系统都差不多。
接下来，设定三个沉积阈值：热态T_hot，温态T_warm，冷态T_cold。注意这几个阈值不是固定的，而是与整体负载相关。推荐使用EWMA（指数加权移动平均）来估算每个数据块的实时温度，窗口长度取5分钟和2小时两个维度，分别用于捕捉突发和趋势。
然后，把迁移粒度控制在64KB到256KB之间。太小，调度开销会吃死CPU；太大，又会制造IO毛刺。我踩过的坑是，最初用了1MB，结果每次迁移都把SSD的写入放大搞得很高。
具体操作上，我建议用三个指标去监控沉积过程：沉积速率（每秒迁移的块数）、冷数据命中率（沉积后被访问的比例）、写放大系数。我们当时给沉积速率设了告警阈值：超过每节点每秒200块，就要检查控制回路；冷数据命中率如果超过10%，说明阈值设得太宽，需要把T_cold调高。
其实这方案还利用了SMR硬盘的物理特性——叠瓦式磁道。数据一旦沉积到最底层，我们就把它按顺序写入SMR的连续区域，而不是随机写。由于沉积过程天然是顺序访问，正好匹配SMR的写模式，硬生生把写入性能翻了三倍。
沉积这件事，本质上是在和时间做交易。你牺牲一点写放大，换来的是更平滑的读延迟曲线。别指望一套方案能打天下，但至少，别再让那些冷数据像垃圾一样堆在热存储里了。
