PTQ Post Training Quantization 是训练后量化，也叫做离线量化，根据量化零点 是否为 0，训练后量化分为对称量化和非对称量化；根据数据通道顺序 NHWC(TensorFlow) 这一维度区分，训练后量化又分为逐层量化和逐通道量化。目前 nvidia 的 TensorRT 框架中使用了逐层量化的方法，每一层采用同一个阈值来进行量化。逐通道量化就是对每一层每个通道都有各自的阈值，对精度可以有一个很好的提升。
量化的本质就是映射，神经网络权值一般在[-1,1],量化后 映射到 int8 也就是 [0,255]
可以看出 映射的本质也是函数，而且也就是 直线函数
import os
os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE"import torch
import torchvision
import matplotlib.pyplot as plt# 加载预训练的模型
model = torchvision.models.resnet18(pretrained=True)# 获取卷积层的权值,量化前的权重
conv1_weights = model.conv1.weight.data# 可视化权值q_after=[]plt.axis('off')
for i in range(64):c=conv1_weights[i].numpy().flatten()scale=255/(c.max()-c.min())zero=255-c.max()*scaleqc=scale*c+zeroq_after.append(qc)print(qc.round())print(c.max(),c.min())x = list(range(len(c)))plt.plot(x,c)#设置说明框legend = plt.legend(loc='best', shadow=True)frame = legend.get_frame()frame.set_facecolor('0.90') #frame的颜色
plt.show()print('量化后的权重')
print(np.array(q_after).reshape([64,3,7,7]))
