發(fā)簡信
IP屬地：上海
-
Tensor張量的操作
torch.linspace(1, 16, 16).view(4, 4)mask = torch.gt(a, 8)a = torch.tenso...
-
__init__.py基本原理 __init__.py文件的主要作用有： 標(biāo)識包：告訴Python解釋器這個目錄應(yīng)該被視為一個Python包疟游。 初始化代碼：可以在這個...
-
markdown常用速查
一、如何顯示# * ＞等符號留夜？1兆衅、加" \ "轉(zhuǎn)義:比如要寫__name__就需要寫成"\_\_name__"2毁枯、可以使用反引號" ` "包裹需...
-
__name__=='__main__'
每個py腳本都有自己的名字磺陡，姑且起一個叫“code_ex1.py”, python會給每個腳本自動賦予一個全局變量沼本，包括__name__柒桑，如果在...
-
模型壓縮和加速——參數(shù)共享（Parameter Sharing）及其pytorch實(shí)現(xiàn)
一弊决、參數(shù)共享含義 參數(shù)共享（Parameter Sharing）是模型壓縮與加速中的一種重要技術(shù)。通過參數(shù)共享魁淳，多個神經(jīng)元或?qū)涌梢怨蚕硐嗤臋?quán)重...
-
模型壓縮和加速——參數(shù)量化（Parameter Quantization）及其pytorch實(shí)現(xiàn)
參數(shù)量化（Parameter Quantization）是一種有效的模型壓縮技術(shù)飘诗，通過減少模型參數(shù)的位寬（例如從32位浮點(diǎn)數(shù)減少到8位整數(shù)）來減...
-
模型壓縮和加速——低秩分解（Low-rank Decomposition）及其pytorch實(shí)現(xiàn)
一、低秩分解的含義 低秩分解本質(zhì)是一種矩陣分解技術(shù)界逛，旨在將一個矩陣分解為兩個或多個矩陣的乘積昆稿，從而將高維數(shù)據(jù)壓縮為低維表示，以減少參數(shù)量息拜。在大模...
-
模型壓縮和加速——知識蒸餾（Knowledge Distillation）及pytorch實(shí)現(xiàn)一溉潭、知識蒸餾的含義 知識蒸餾（Knowledge Distillation）是一種用于模型壓縮和遷移學(xué)習(xí)的技術(shù)，通過將一個復(fù)雜模型（稱為教師模型...
-
模型壓縮和加速——網(wǎng)絡(luò)剪枝（Network Pruning）及其pytorch實(shí)現(xiàn)
一少欺、網(wǎng)絡(luò)剪枝的步驟 神經(jīng)網(wǎng)絡(luò)中的一些權(quán)重和神經(jīng)元是可以被剪枝的喳瓣，這是因?yàn)檫@些權(quán)重可能為零或者神經(jīng)元的輸出大多數(shù)時候?yàn)榱悖砻鬟@些權(quán)重或神經(jīng)元是冗...