MegEngine 使用小技巧：如何解讀 MegCC 編譯模型幾個(gè)階段 Pass 的作用

MegCC 是一個(gè)真真實(shí)實(shí)的深度學(xué)習(xí)模型編譯器赡艰，具備極其輕量的 Runtime 二進(jìn)制體積嵌纲，高性能蒲跨，方便移植满着，極低內(nèi)存使用以及快啟動(dòng)等核心特點(diǎn)准谚。用戶可在 MLIR 上進(jìn)行計(jì)算圖優(yōu)化挫剑，內(nèi)存規(guī)劃，最后通過(guò)預(yù)先寫好的 code 模版進(jìn)行代碼生成柱衔。

MegCC 中主要的 Pass

MGBToKernelPass：這個(gè) Pass 主要將 MGB IR 轉(zhuǎn)換為 Abstract Kernel IR樊破，轉(zhuǎn)換過(guò)程中主要完成幾件事情：
- 將 MGB IR 中的所有輸入輸出 Tensor 類型轉(zhuǎn)換為 Buffer 類型。
- 將 MGB IR 中的所有枚舉參數(shù)轉(zhuǎn)換為對(duì)應(yīng)的字符唆铐，這樣 Abstract Kernel IR 就可以完全和 MegEngine 解耦哲戚。
- 將一些內(nèi)存搬運(yùn)相關(guān)的 Opr 全部轉(zhuǎn)換為 Relayout，如：Concat艾岂，SetSubtensor 等 Opr（node-level optimizations）顺少。
- 將判斷 Opr 是靜態(tài) shape 還是動(dòng)態(tài) shape，動(dòng)態(tài) shape 就是輸入 tensor 的 shape 需要依賴輸入的值才能計(jì)算出來(lái)的王浴，如：輸出一個(gè) tensor 中所有大于 1 的數(shù)脆炎。如果是靜態(tài) shape 直接轉(zhuǎn)換到 Abstract Kernel IR，如果是動(dòng)態(tài) shape 直接轉(zhuǎn)換到 Kernel IR 的 Instruction 中氓辣。
MGBFuseKernelPass：應(yīng)用在 MGB IR 上秒裕，基于 mlir 的模板匹配的方法盡可能的完成 kernel 的融合，比如連續(xù)兩個(gè) typecvt 合并成為一個(gè) typecvt 等（block-level optimizations钞啸，算子融合）几蜻。
MemoryForwardingPass：將遍歷 Abstract Kernel IR 所有可能不用計(jì)算喇潘，直接 share 輸入內(nèi)存的 Opr，如果這些 Opr 確實(shí)不用計(jì)算梭稚，則直接 forward memory颖低，如果這些 Opr 需要進(jìn)行內(nèi)存搬運(yùn)，則會(huì)用 Relayout Opr 替換原來(lái)的 Opr（node-level optimizations）哨毁。KernelMaterializationPass：將所有 Abstract Kernel IR 都裝載上真正 Kernel code 并轉(zhuǎn)化為 KernelCall枫甲，然后添加對(duì)應(yīng)的 KernelDef源武。KernelCall 和 KernelDef 之間通過(guò) symbol 進(jìn)行匹配扼褪。
StaticMemoryPlanningPass：將所有靜態(tài) shape 的 memref 進(jìn)行內(nèi)存規(guī)劃，內(nèi)存規(guī)劃算法使用改進(jìn)的 MegEngine 的內(nèi)存規(guī)劃算法--PushDown 算法粱栖，能夠極大程度的壓縮運(yùn)行時(shí)內(nèi)存使用量话浇。同時(shí)將 mlir 的 memref.Alloc 替換為 Kernel IR 的 MemPlan，MemPlan 中主要記錄了內(nèi)存規(guī)劃的一整塊 memref 以及該 Tensor 在規(guī)劃的內(nèi)存中的偏移量（dataflow-level optimizations闹究，靜態(tài)內(nèi)存規(guī)劃）幔崖。

上面的 Pass 就完成模型的圖優(yōu)化、內(nèi)存規(guī)劃以及 Kernel 生成渣淤，上文提到的后端優(yōu)化即在 Kernel 生成階段體現(xiàn)赏寇，目前 MegCC 主要使用人工優(yōu)化的 Kernel 模版。最終可以根據(jù) Runtime 中定義的模型格式 dump 編譯之后的模型价认，以及生成計(jì)算模型所需的 Kernel 文件嗅定。下面以一個(gè)簡(jiǎn)單的模型為例，使用 MegCC 的輔助工具(下載 Release 包) mgb-importer 和 megcc-opt用踩，觀察經(jīng)過(guò)各個(gè) Pass 的處理 IR 的變化渠退。也可使用 mgb-to-tinynn 工具直接完成模型的編譯過(guò)程，詳見(jiàn) MegCC 入門文檔脐彩。

dump 模型（使用 megengine）

import megengine as mge
import megengine.functional as F
import megengine.module as M
import megengine.jit as jit
 
import numpy as np
 
# Define model
class ConvNet(M.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = M.Conv2d(1, 4, 3, padding=1)
        self.pool = M.MaxPool2d(2, 2)
        self.classifier = M.Linear(100, 5)
        self.relu = M.ReLU()
 
    def forward(self, x):
        x = self.pool(self.relu(self.conv1(x)))
        x = F.flatten(x, 1)
        x = self.classifier(x)
        return x
 
 
model = ConvNet()
 
@jit.trace(symbolic=True, capture_as_const=True)
def fun(data, *, net):
    pred = net(data)
    return pred
 
data = mge.Tensor(np.random.random([1, 1, 10, 10]).astype(np.float32))
 
fun(data, net=model)
fun.dump("test_model.mge", arg_names=["data"], optimize_for_inference=True, enable_fuse_conv_bias_nonlinearity=True)

導(dǎo)入模型

這一步主要將上面 dump 好的 MegEngine 模型 import 到 MegCC 的 MGB IR中碎乃，使用的工具是 MegCC 的 release 包中 bin/mgb-importer，執(zhí)行命令：

./bin/mgb-importer test_model.mge test_model_mgb_ir.mlir

執(zhí)行完成之后打開 test_model_mgb_ir.mlir惠奸，結(jié)果如下：

module {
  "MGB.ParamStorage"() {sym_name = "const{5}[0]", sym_visibility = "private", type = tensor<5xf32>, user_count = 1 : i32, value = dense<0.000000e+00> : tensor<5xf32>} : () -> ()
  "MGB.ParamStorage"() {sym_name = "const{1,4,1,1}[2]", sym_visibility = "private", type = tensor<1x4x1x1xf32>, user_count = 1 : i32, value = dense<0.000000e+00> : tensor<1x4x1x1xf32>} : () -> ()
  "MGB.ParamStorage"() {sym_name = "const{4,1,3,3}[6]", sym_visibility = "private", type = tensor<4x1x3x3xf32>, user_count = 1 : i32, value = dense<[[[[0.163880527, 0.566941559, 0.108093813], [-0.159407943, -0.3#
  "MGB.ParamStorage"() {sym_name = "const{5,100}[30]", sym_visibility = "private", type = tensor<5x100xf32>, user_count = 1 : i32, value = dense<"0x30394EBDE0DF49BEE368773D456F2B3E67A0FCBD9FC3683B3BF4B3BDCAD5B13#
  func @test_model_mgb_ir(%arg0: tensor<1x1x10x10xf32> {mgb.func_arg_name = "data"}) -> (tensor<1x5xf32> {mgb.func_result_name = "classifier.ADD"}) {
    %0 = "MGB.ParamProvider"() {name = @"const{5,100}[30]"} : () -> tensor<5x100xf32>
    %1 = "MGB.ParamProvider"() {name = @"const{4,1,3,3}[6]"} : () -> tensor<4x1x3x3xf32>
    %2 = "MGB.ParamProvider"() {name = @"const{1,4,1,1}[2]"} : () -> tensor<1x4x1x1xf32>
    %3 = "MGB.ParamProvider"() {name = @"const{5}[0]"} : () -> tensor<5xf32>
    %4 = "MGB.Reshape"(%arg0) {axis = 7 : i32} : (tensor<1x1x10x10xf32>) -> tensor<1x1x10x10xf32>
    %5 = "MGB.ConvBias"(%4, %1, %2) {compute_mode = 0 : i32, dilate_h = 1 : ui32, dilate_w = 1 : ui32, dtype = 0 : i32, format = 0 : i32, mode = 0 : i32, nonlineMode = 1 : i32, pad_h = 1 : ui32, pad_w = 1 : ui32#
    %6 = "MGB.Pooling"(%5) {format = 0 : i32, mode = 0 : i32, pad_h = 0 : ui32, pad_w = 0 : ui32, stride_h = 2 : ui32, stride_w = 2 : ui32, window_h = 2 : ui32, window_w = 2 : ui32} : (tensor<1x4x10x10xf32>) -> #
    %7 = "MGB.Reshape"(%6) {axis = 7 : i32} : (tensor<1x4x5x5xf32>) -> tensor<1x100xf32>
    %8 = "MGB.MatrixMul"(%7, %0) {compute_mode = 0 : i32, format = 0 : i32, strategy = 1 : i32, transposeA = false, transposeB = true, workspace_limit = 18446744073709551615 : ui64} : (tensor<1x100xf32>, tensor<#
    %9 = "MGB.Elemwise"(%3, %8) {mode = 16 : i32} : (tensor<5xf32>, tensor<1x5xf32>) -> tensor<1x5xf32>
    return %9 : tensor<1x5xf32>
  }
}

這里使用的 LLVM 的 IR 結(jié)構(gòu)梅誓，參考 LLVM 的 IR 模塊組。從上面的 IR 可以清楚的看到整個(gè)模型變成了一個(gè) mlir 的模塊佛南，其中模型的入口變成了一個(gè) func梗掰，還有如下變化：

參數(shù)全部轉(zhuǎn)換為 MGB.ParamStorage，并使用 MGB.ParamProvider 在 func 中作為接口訪問(wèn)共虑，MGB.ParamStorage 并 MGB.ParamProvider 通過(guò) sym_name 連接在一起愧怜，如上面 const{5}[0] 這個(gè)字符就是一個(gè)符號(hào)。
這個(gè) test_model.mge 變成了名字為 test_model_mgb_ir 的 func 類型妈拌，這個(gè) func 的參數(shù)就是整個(gè) test_model.mge 的輸入Tensor拥坛，這里是：%arg0: tensor<1x1x10x10xf32> {mgb.func_arg_name = "data"}蓬蝶。
test_model.mge 中的所有算子一一對(duì)應(yīng)的轉(zhuǎn)換為 MGB IR，如： MGB.ConvBias猜惋，MGB.MatrixMul 等丸氛。
在mlir中每個(gè) op 都有一個(gè)輸入和對(duì)一個(gè)輸入，這些輸入輸出可以通過(guò)鏈接關(guān)系構(gòu)成一張計(jì)算圖著摔。

將 Abstract Kernel IR 加載上代碼缓窜，并降低到 Kernel IR

./bin/megcc-opt --MGB-to-Kernel --memory-forwarding --static-memory-planning --kernel-materialization test_model_mgb_ir.mlir

執(zhí)行之后在終端中將輸出：

#map0 = affine_map<(d0, d1) -> (d0 * 5 + d1 + 20)>
#map1 = affine_map<(d0, d1, d2, d3) -> (d0 * 100 + d1 * 100 + d2 * 10 + d3)>
#map2 = affine_map<(d0, d1, d2, d3) -> (d0 * 400 + d1 * 100 + d2 * 10 + d3)>
#map3 = affine_map<(d0, d1, d2, d3) -> (d0 * 100 + d1 * 25 + d2 * 5 + d3 + 1600)>
#map4 = affine_map<(d0, d1) -> (d0 * 100 + d1 + 1600)>
#map5 = affine_map<(d0, d1) -> (d0 * 5 + d1)>
module {
  "Kernel.KernelDef"() {body = "\0A#include <stdbool.h>....", sym_name = "kernel_conv2d_3x3_NCHW_DENSE_p1x1_s1x1_d1x1_f32f32f32f32_bias_RELU"} : () -> ()
  "Kernel.KernelDef"() {body = "\0A#include <stdbool.h>\0A\0A...", sym_name = "kernel_pooling_MAX_NCHW_p0x0_s2x2_w2x2_f32f32"} : () -> ()
  "Kernel.KernelDef"() {body = "#include <string.h>\0...", sym_name = "naive_kernel_gevmnt"} : () -> ()
  "Kernel.KernelDef"() {body = "\0A                #include \22gi_float.h\22\0A ...)", sym_name = "GI_kernel_elementwise_ADD_binary_VEC_VEC_f32f32f32"} : () -> ()
  "Kernel.WeightStorage"() {sym_name = "const{5}[0]", type = tensor<5xf32>, user_count = 1 : i32, value = dense<0.000000e+00> : tensor<5xf32>} : () -> ()
  "Kernel.WeightStorage"() {sym_name = "const{1,4,1,1}[2]", type = tensor<1x4x1x1xf32>, user_count = 1 : i32, value = dense<0.000000e+00> : tensor<1x4x1x1xf32>} : () -> ()
  "Kernel.WeightStorage"() {sym_name = "const{4,1,3,3}[6]", type = tensor<4x1x3x3xf32>, user_count = 1 : i32, value = dense<[[[[0.163880527, 0.566941559, 0.108093813], ...]]]> : tensor<4x1x3x3xf32>} : () -> ()
  "Kernel.WeightStorage"() {sym_name = "const{5,100}[30]", type = tensor<5x100xf32>, user_count = 1 : i32, value = dense<"0x30394EBDE0DF49BEE3687..."> : tensor<5x100xf32>} : () -> ()
  func @test_model_mgb_ir(%arg0: memref<1x1x10x10xf32> {mgb.func_arg_name = "data"}, %arg1: memref<2000xi8> {mgb.func_arg_name = "kGlobalBuffer"}) -> (memref<1x5xf32, #map0> {mgb.func_result_name = "classifier.ADD"}) {
    %0 = "Kernel.GetWeight"() {name = @"const{5,100}[30]"} : () -> memref<5x100xf32>
    %1 = "Kernel.GetWeight"() {name = @"const{4,1,3,3}[6]"} : () -> memref<4x1x3x3xf32>
    %2 = "Kernel.GetWeight"() {name = @"const{1,4,1,1}[2]"} : () -> memref<1x4x1x1xf32>
    %3 = "Kernel.GetWeight"() {name = @"const{5}[0]"} : () -> memref<5xf32>
    %4 = "Kernel.Reshape"(%arg0) {axis = 7 : i32, determined = true} : (memref<1x1x10x10xf32>) -> memref<1x1x10x10xf32, #map1>
    %5 = "Kernel.MemPlan"(%arg1) : (memref<2000xi8>) -> memref<1x4x10x10xf32, #map2>
    "Kernel.KernelCall"(%4, %1, %2, %5) {attrMap = {compute_mode = "DEFAULT", dilate_h = 1 : ui32, dilate_w = 1 : ui32, format = "NCHW", kernel_h = 3 : i32, kernel_w = 3 : i32, mode = "CROSS_CORRELATION", nonlineMode = "RELU", operand_segment_sizes = dense<[1, 1, 1, 0, 1]> : vector<5xi32>, pad_h = 1 : ui32, pad_w = 1 : ui32, sparse = "DENSE", strategy = 1 : i32, stride_h = 1 : ui32, stride_w = 1 : ui32, workspace_limit = 18446744073709551615 : ui64}, callee = @kernel_conv2d_3x3_NCHW_DENSE_p1x1_s1x1_d1x1_f32f32f32f32_bias_RELU, dynamic_shape = false, operand_segment_sizes = dense<[3, 1, 0]> : vector<3xi32>} : (memref<1x1x10x10xf32, #map1>, memref<4x1x3x3xf32>, memref<1x4x1x1xf32>, memref<1x4x10x10xf32, #map2>) -> ()
    %6 = "Kernel.MemPlan"(%arg1) : (memref<2000xi8>) -> memref<1x4x5x5xf32, #map3>
    "Kernel.KernelCall"(%5, %6) {attrMap = {format = "NCHW", mode = "MAX", pad_h = 0 : ui32, pad_w = 0 : ui32, stride_h = 2 : ui32, stride_w = 2 : ui32, window_h = 2 : ui32, window_w = 2 : ui32}, callee = @kernel_pooling_MAX_NCHW_p0x0_s2x2_w2x2_f32f32, dynamic_shape = false, operand_segment_sizes = dense<[1, 1, 0]> : vector<3xi32>} : (memref<1x4x10x10xf32, #map2>, memref<1x4x5x5xf32, #map3>) -> ()
    %7 = "Kernel.MemPlan"(%arg1) : (memref<2000xi8>) -> memref<1x100xf32, #map4>
    %8 = "Kernel.MemPlan"(%arg1) : (memref<2000xi8>) -> memref<1x5xf32, #map5>
    "Kernel.KernelCall"(%7, %0, %8) {attrMap = {compute_mode = "DEFAULT", format = "DEFAULT", transposeA = false, transposeB = true}, callee = @naive_kernel_gevmnt, dynamic_shape = false, operand_segment_sizes = dense<[2, 1, 0]> : vector<3xi32>} : (memref<1x100xf32, #map4>, memref<5x100xf32>, memref<1x5xf32, #map5>) -> ()
    %9 = "Kernel.MemPlan"(%arg1) : (memref<2000xi8>) -> memref<1x5xf32, #map0>
    "Kernel.KernelCall"(%3, %8, %9) {attrMap = {}, callee = @GI_kernel_elementwise_ADD_binary_VEC_VEC_f32f32f32, dynamic_shape = false, operand_segment_sizes = dense<[2, 1, 0]> : vector<3xi32>} : (memref<5xf32>, memref<1x5xf32, #map5>, memref<1x5xf32, #map0>) -> ()
    return %9 : memref<1x5xf32, #map0>
  }
}

上面就是最后編譯完成之后的模型：

所有的內(nèi)核都以 Kernel.KernelDef 字串形式進(jìn)行定義，在后面將以 Kernel.KernelCall 字串形式進(jìn)行調(diào)用谍咆，所有的 Kernel.KernelDef 都是以字串形式存在的純 C 代碼

Kernel.KernelDef 和 Kernel.KernelCall 之間使用符號(hào)進(jìn)行對(duì)應(yīng)禾锤，如上面的 kernel_conv2d_3x3_NCHW_DENSE_p1x1_s1x1_d1x1_f32f32f32f32_bias_RELU 字符。
所有的內(nèi)存資源都是以 Kernel.MemPlan 的形式進(jìn)行申請(qǐng)摹察，
所有運(yùn)算符的參數(shù)都在 Kernel.KernelCall 以字符串或者其字符的形式傳遞給具體的內(nèi)核
每一個(gè)memref都確定了一個(gè)地圖來(lái)指定其在內(nèi)存計(jì)劃中的訪問(wèn)列表恩掷。
將上面的Kernel IR按照Runtime確定的模型格式進(jìn)行序列化以及將對(duì)應(yīng)的代碼串寫到xxx.c文件中，就完成了整個(gè)模型的編譯過(guò)程供嚎。

MegCC 中大多數(shù) Kernel 為人工優(yōu)化并提前寫好的 Kernel 模板黄娘，這些模板會(huì)根據(jù)具體的 Operator 參數(shù)生成對(duì)應(yīng)的 Kernel。大多數(shù)為人工優(yōu)化的 Kernel 的原因是：目前在 CPU 上不搜參的情況下克滴，mlir 生成的 Kernel 性能和手寫的 Kernel 還有一定的距離逼争，但是自動(dòng)生成 Kernel 的方法長(zhǎng)期來(lái)看是比較可取的。
MegCC 現(xiàn)已開源劝赔，倉(cāng)庫(kù)地址：github.com/MegEngine/MegCC誓焦，歡迎試用、star望忆、issue罩阵。

最后編輯于：2023.05.30 15:38:37

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個(gè)濱河市启摄，隨后出現(xiàn)的幾起案子稿壁，更是在濱河造成了極大的恐慌，老刑警劉巖歉备，帶你破解...
沈念sama閱讀 222,729評(píng)論 6贊 517
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件傅是，死亡現(xiàn)場(chǎng)離奇詭異，居然都是意外死亡蕾羊，警方通過(guò)查閱死者的電腦和手機(jī)喧笔，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 95,226評(píng)論 3贊 399
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)龟再，“玉大人书闸，你說(shuō)我怎么就攤上這事±眨” “怎么了浆劲？”我有些...
開封第一講書人閱讀 169,461評(píng)論 0贊 362
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵嫌术，是天一觀的道長(zhǎng)。經(jīng)常有香客問(wèn)我牌借，道長(zhǎng)度气，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 60,135評(píng)論 1贊 300
?港島之戀（遺憾婚禮）
正文為了忘掉前任膨报，我火速辦了婚禮磷籍，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘现柠。我一直安慰自己院领，他們只是感情好，可當(dāng)我...
茶點(diǎn)故事閱讀 69,130評(píng)論 6贊 398
惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
文/花漫我一把揭開白布晒旅。她就那樣靜靜地躺著栅盲，像睡著了一般。火紅的嫁衣襯著肌膚如雪废恋。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 52,736評(píng)論 1贊 312
城市分裂傳說(shuō)
那天扒寄，我揣著相機(jī)與錄音鱼鼓，去河邊找鬼。笑死该编，一個(gè)胖子當(dāng)著我的面吹牛迄本，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播课竣，決...
沈念sama閱讀 41,179評(píng)論 3贊 422
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼嘉赎，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼！你這毒婦竟也來(lái)了于樟？” 一聲冷哼從身側(cè)響起公条，我...
開封第一講書人閱讀 40,124評(píng)論 0贊 277
萬(wàn)榮殺人案實(shí)錄
序言：老撾萬(wàn)榮一對(duì)情侶失蹤，失蹤者是張志新（化名）和其女友劉穎迂曲，沒(méi)想到半個(gè)月后靶橱，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 46,657評(píng)論 1贊 320
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡路捧，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 38,723評(píng)論 3贊 342
?白月光啟示錄
正文我和宋清朗相戀三年关霸，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片杰扫。...
茶點(diǎn)故事閱讀 40,872評(píng)論 1贊 353
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡队寇，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出章姓，到底是詐尸還是另有隱情佳遣，我是刑警寧澤炭序，帶...
沈念sama閱讀 36,533評(píng)論 5贊 351
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布，位于F島的核電站苍日，受9級(jí)特大地震影響惭聂，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜相恃，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 42,213評(píng)論 3贊 336
男人毒藥：我在死后第九天來(lái)索命
文/蒙蒙一辜纲、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧拦耐，春花似錦耕腾、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 32,700評(píng)論 0贊 25
一樁弒父案扫俺，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽(yáng)。三九已至固翰，卻和暖如春狼纬，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背骂际。一陣腳步聲響...
開封第一講書人閱讀 33,819評(píng)論 1贊 274
情欲美人皮
我被黑心中介騙來(lái)泰國(guó)打工疗琉，沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留，地道東北人歉铝。一個(gè)月前我還...
沈念sama閱讀 49,304評(píng)論 3贊 379
代替公主和親
正文我出身青樓盈简，卻偏偏與公主長(zhǎng)得像，于是被迫代替她去往敵國(guó)和親太示。傳聞我的和親對(duì)象是個(gè)殘疾皇子柠贤，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 45,876評(píng)論 2贊 361

MegEngine 使用小技巧：如何解讀 MegCC 編譯模型幾個(gè)階段 Pass 的作用

推薦閱讀更多精彩內(nèi)容