大家好臣淤，我是極智視界，本文剖析一下ACIQ 對(duì)稱量化算法實(shí)現(xiàn)窃爷，以 Tengine 的實(shí)現(xiàn)為例邑蒋。

這是量化實(shí)現(xiàn)的第三篇姓蜂，前面還有一、二医吊，有興趣的同學(xué)可以查閱

(1) 《【模型推理】量化實(shí)現(xiàn)分享一：詳解 min-max 對(duì)稱量化算法實(shí)現(xiàn)》钱慢；

(2)《【模型推理】量化實(shí)現(xiàn)分享二：詳解 KL 對(duì)稱量化算法實(shí)現(xiàn)》;

ACIQ 和前面的量化策略類似，也是會(huì)截取一個(gè)閾值 T卿堂，然后將 [-T, T] 映射到量化值域束莫，不同的是尋找 T 的過程，本文不止講原理草描，也結(jié)合 tengine 講講量化策略的實(shí)現(xiàn)览绿。下面開始。

1穗慕、ACIQ 量化策略原理

ACIQ 量化策略在論文《Post training 4-bit quantization of convolutional networks for rapid-deployment》中被提出饿敲，先貼一下效果：

image

上圖比對(duì)統(tǒng)一采用 8-bit 權(quán)值量化、4-bit 激活值量化逛绵，在量化效率上 ACIQ 比 KL 量化過程快 4000 倍(unbelievable~)怀各，在量化精度上，可以看到除了 resnet-101术浪，其他測(cè)試的網(wǎng)絡(luò)量化效果均好于 KL 量化瓢对，可以說是效率和效果一個(gè)也不落。

在文章的一開始胰苏，作者就寫道 Unlike traditional approaches that focus on the quantization at the network level, in this work we propose to minimize the quantization effect at the tensor level. 可以看出 ACIQ 是從 Tensor 級(jí)別出發(fā)的量化策略沥曹，整個(gè)推導(dǎo)邏輯主要是：

(1) first, derive a generic expression for any given distribution for the expected MSE as a function of clipping value；

(2) then use this expression to develop a specifific expression for each distribution碟联；

(3) finally, establish the optimal clipping values by solving the equations for which the derivative with respect to the clipping value are set to zero；

通常在量化的時(shí)候需要做裁剪僵腺，以應(yīng)對(duì)原始數(shù)據(jù)的長(zhǎng)尾問題鲤孵，假設(shè) α 為截?cái)嘀担財(cái)嗫梢员硎緸椋?/p>

image

ACIQ 需要一個(gè)較強(qiáng)先驗(yàn)假設(shè)：Tensor (feature map) 服從拉普拉斯分布或高斯分布辰如，然后采用最優(yōu)化思想求解量化過程截?cái)嘀祵?duì)應(yīng)的最小量化損失普监，整個(gè)量化過程是將服從原始分布的值映射到 2^M量化離散值域，M 為量化比特?cái)?shù)琉兜，意思是將上面的 [-α, α] 的值域等分給 2^M凯正，如下圖：

image

假設(shè)原始分布的概率密度函數(shù)為 f(x)，截?cái)嘀?α 以及量化函數(shù) Q(x)豌蟋，則量化前后的 L2 Loss 可以這么計(jì)算：

image

以上算式很明顯可以分為三個(gè)部分：

(1) [負(fù)無窮, -α];

(2) [-α, α];

(3) [α, 正無窮];

對(duì)于高斯分布N(0, σ^2) 或者 拉普拉斯分布 Laplace(0, b)) 這種 0 軸對(duì)稱分布來說廊散，(1) 和 (3) 是等價(jià)的，含義是 |x| 到 |α| 之間的均方誤差 (mean-square-error)梧疲。在做 [-α, α] 等分映射到 2^M 后允睹，每個(gè)量化值會(huì)取每段中間的值 q1运准、q2、q3 ... q2^M缭受，第 (2) 項(xiàng)就是中間截?cái)嗟睦塾?jì)誤差⌒舶模現(xiàn)在整個(gè)量化過程轉(zhuǎn)化為求一個(gè)使 E[(X - Q(X))^2] 最小的截?cái)嘀?α (深度學(xué)習(xí)到最后都是數(shù)學(xué)問題啊~_{)，然后再結(jié)合先驗(yàn)分布米者，做一些公式的等價(jià)變換}變換~之后韭畸，得到最終的整體量化損失優(yōu)化目標(biāo)函數(shù)：

image

數(shù)學(xué)上，要求目標(biāo)函數(shù)的最小值 ==> 求偏導(dǎo)蔓搞，令其為 0胰丁。

對(duì)于拉普拉斯分布來說，求偏導(dǎo)后的表達(dá)式為：

image

對(duì)于高斯分布來說败明，求偏導(dǎo)后的表達(dá)式為：

image

最后不管對(duì)于拉普拉斯分布還是高斯分布來說隘马，M 是你想量化的比特位，還有像 β (拉普拉斯分布參數(shù))妻顶、σ (高斯分布參數(shù)) 這些都是已知值酸员，自然可以求出我們想要的截?cái)嘀?α 了，對(duì)于對(duì)稱量化來說有了截?cái)嘀稻?ok 了讳嘱。

2幔嗦、ACIQ 量化策略實(shí)現(xiàn)

下面來看 ACIQ 在 tengine 中的實(shí)現(xiàn)。

量化實(shí)現(xiàn)主要代碼：

case ALGORITHM_ACIQ:{
 if (quant_tool.scale_file.empty()){
 quant_tool.scale_file = "table_aciq.scale";
 quant_tool.activation_quant_tool();
 }
 save_graph_i8_perchannel(quant_tool.model_file.c_str(), quant_tool.scale_file.c_str(), quant_tool.output_file, quant_tool.inplace, false);
 /* Evaluate quantitative losses */
 if (quant_tool.evaluate){
 fprintf(stderr, "[Quant Tools Info]: Step Evaluate, evaluate quantitative losses\n");
 quant_tool.assess_quant_loss(0);
 }
 break;
}

2.1 激活值量化

激活值量化入口：

quant_tool.activation_quant_tool();

首先就是求 min沥潭、max 值邀泉，這個(gè)過程和前面寫過的量化策略是一樣的邏輯，就不多說了钝鸽，接著進(jìn) ACIQ 策略：

for (int i = 0; i < ir_graph->tensor_num; i++){
 struct tensor* t = ir_graph->tensor_list[i];
 if (t->tensor_type == TENSOR_TYPE_VAR || t->tensor_type == TENSOR_TYPE_INPUT){
 float absmax = 0.f;
 float act_scale = 1.f;
 int act_zero_point = 0;
 int emlement_num = t->elem_num;

 absmax = std::max(std::abs(max_activation[i]), std::abs(min_activation[i]));
 float threshold = compute_aciq_gaussian_clip(absmax, emlement_num, 8);
 act_scale = threshold / 127.f;

 /* the scale of softmax is always scale = 1 / 127.f */
 for (int j = 0; j < ir_graph->node_num; j++){
 struct node* noden = ir_graph->node_list[j];
 struct tensor* tensor_tmp = get_ir_graph_tensor(ir_graph, noden->output_tensors[0]);

 if (!(tensor_tmp->tensor_type == TENSOR_TYPE_INPUT || tensor_tmp->tensor_type == TENSOR_TYPE_VAR))
 continue;

 std::string tmp_op_name = get_op_name_from_type(noden->op.type);
 std::string cur_name = t->name;
 std::string tmp_name = tensor_tmp->name;

 if ((cur_name == tmp_name) && tmp_op_name == "Softmax"){
 act_scale = 1 / 127.f;
 break;}
 }
 fprintf(fp_aciq, "%s %f %d\n", ir_graph->tensor_list[i]->name, act_scale, act_zero_point);}
}

關(guān)鍵是這個(gè)函數(shù)汇恤，tengine 里默認(rèn)先驗(yàn)服從高斯分布， int8 量化：

float threshold = compute_aciq_gaussian_clip(absmax, emlement_num, 8);

來看一下它的實(shí)現(xiàn)：

static float compute_aciq_gaussian_clip(float absmax, int N, int num_bits)
{
 const float alpha_gaussian[8] = {0, 1.71063519, 2.15159277, 2.55913646, 2.93620062, 3.28691474, 3.6151146, 3.92403714};   // 當(dāng)8-bit量化時(shí)拔恰，α=3.92403714

 const double gaussian_const = (0.5 * 0.35) * (1 + sqrt(3.14159265358979323846 * log(4))); 

 double std = (absmax * 2 * gaussian_const) / sqrt(2 * log(N));

 return (float)(alpha_gaussian[num_bits - 1] * std);
}

這樣就得到了截?cái)嘀狄蚧眩缓缶涂梢郧?scale 了：

act_scale = threshold / 127.f;

這樣就完成了激活值的量化。

2.2 權(quán)值&偏置量化

權(quán)值&偏置的量化過程和前面介紹過的 MIN-MAX 和 KL 量化的邏輯一樣颜懊，這里不再贅述财岔。

最后實(shí)踐一下，可以發(fā)現(xiàn) ACIQ 的量化過程十分的快河爹，比 KL 量化快 4000 倍不是瞎說的匠璧，主要是源于先驗(yàn)的高斯分布 alpha_gaussian、gaussian_const咸这、std 這些值不需要進(jìn)行搜索夷恍。

image

以上分享了 ACIQ 的量化原理和實(shí)現(xiàn)，希望我的分享能對(duì)你的學(xué)習(xí)有一點(diǎn)幫助媳维。