KV Cache量化与稀疏化

对Transformer大模型推理中的Key-Value Cache进行INT8/FP8量化或稀疏化压缩，以降低显存占用并提升推理吞吐量。