一醋闭、前言 TVM是通過(guò)Relay進(jìn)行模型計(jì)算圖IRModule的構(gòu)建侦另，并且可以使用不同的優(yōu)化策略（即Pass）對(duì)IRModule進(jìn)行優(yōu)化炼邀，最終編譯成特定后端可執(zhí)行的代碼（co...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
【TVM系列十一】Relay可視化
-
【TVM系列九】FFI注冊(cè)機(jī)制
一毡庆、前言 TVM通過(guò)PackedFunc機(jī)制實(shí)現(xiàn)了Python與C++之間的相互調(diào)用，即FFI(Foreign Function Interface)钓辆，整體流程與原理可以參閱...
-
【TVM系列七】TVMC介紹
一穆壕、前言 TVMC是TVM python包提供的一個(gè)工具，可以通過(guò)命令行的方式執(zhí)行auto-tuning招拙，編譯唧瘾，性能profiling以及模型運(yùn)行。本文將根據(jù)TVM官網(wǎng)的指導(dǎo)...
-
【TVM系列六】PackedFunc原理一别凤、前言 在TVM中饰序，PackedFunc貫穿了整個(gè)Stack，是Python與C++進(jìn)行互相調(diào)用的橋梁规哪，深入理解PackedFunc的數(shù)據(jù)結(jié)構(gòu)及相應(yīng)的調(diào)用流程對(duì)理解整個(gè)TV...
-
【TVM系列五】添加Relay自定義算子
一求豫、前言 本文以實(shí)現(xiàn)一個(gè)axis_abs的自定義算子為例介紹如何在tvm中添加新的relay算子，該算子實(shí)現(xiàn)的功能是以輸入的3維tensor取某一維度的指定切片取絕對(duì)值由缆。 二...
-
【TVM系列四】模型編譯與運(yùn)行過(guò)程一注祖、前言 針對(duì)神經(jīng)網(wǎng)絡(luò)模型的編譯，TVM封裝了非常簡(jiǎn)潔的python接口均唉，如下： 在上一篇文章中介紹了模型的算子轉(zhuǎn)換與Relay IR Module的流程是晨，當(dāng)TVM將Rela...
-
【TVM系列三】算子轉(zhuǎn)換調(diào)用流程一、前言 本文將從源碼分析一個(gè)算子在TVM中是如何從前端到后端的轉(zhuǎn)換過(guò)程舔箭。首先來(lái)看一下keras模型編譯推理的一個(gè)示例：通過(guò)pip安裝好keras和tensorflow罩缴，按照...
-
【TVM系列二】TVM介紹一蚊逢、TVM的工作流程 TVM主要由兩個(gè)部分組成： （1）TVM編譯器：負(fù)責(zé)編譯和優(yōu)化模型 （2）TVM runtime：提供目標(biāo)設(shè)備上運(yùn)行模型的API 1、整體流程 如圖所示...
-
【TVM系列一】開(kāi)發(fā)環(huán)境搭建一箫章、前言 眾所周知烙荷，深度學(xué)習(xí)的計(jì)算量龐大，在追求效率與實(shí)用性的工業(yè)界檬寂，深度學(xué)習(xí)所面臨的一個(gè)最大的問(wèn)題就是如何在不影響模型精度的前提下將算法模型部署到目標(biāo)硬件平臺(tái)上進(jìn)行高效的前...