背景 从全局看，深度学习模型规模在过去数年持续的指数膨胀。在模型效果提升的同时，为训练和推理的性能和成本都带来了严峻的挑战。作为应对，出现了大量的模型压缩策略，比如Zero系列的训练时策略。推理时量化、剪枝策略。以及训练推理协同策略，比如蒸馏等等。 [图片] 广告、推荐的深度学习模型的体积也非常庞大 ....