當年作為核心SE在MindSpore團隊從0到1構建了MindSpore Lite推理引擎，到去年知道的信息是現(xiàn)在在華為和榮耀手機上的AI能力都是基于Lite推理引擎棠隐，調用次...
發(fā)簡信
IP屬地：江蘇
-
【推理引擎：核心原理】系列來啦通熄！從入門到昇騰唆涝！ -
模型壓縮（上）—— 知識蒸餾(Distilling Knowledge)1. 到底什么是知識蒸餾石抡？ 一般地，大模型往往是單個復雜網絡或者是若干網絡的集合助泽，擁有良好的性能和泛化能力，而小模型因為網絡規(guī)模較小嚎京，表達能力有限嗡贺。因此，可以利用大模型學習到...
-
MindSpore Python編程規(guī)范
說明 MindSpore Python編程規(guī)范以PEP8[https://www.python.org/dev/peps/pep-0008/]為基礎鞍帝，參考華為Python通用...
-
LaTeX數學符號大全
一诫睬、字母上面的上標輸入方法 字母上面的上標輸入方法，如表所示帕涌，如\bar{a}表示字母a頭上有一橫線實際上a可以為任意LaTex表達式 符號語法\hat{a}\grave{a...
-
機器學習和深度學習的區(qū)別機器學習和深度學習算法流程 終于考上人工智能的研究僧啦摄凡，不知道機器學習和深度學習有啥區(qū)別，感覺一切都是深度學習 挖槽蚓曼，聽說學長已經調了10個月的參數準備發(fā)有2000億參數的T...
-
全網最全-混合精度訓練原理如圖所示在網絡模型訓練階段亲澡， 激活函數的梯度分布式中，有67%的精度小于2^24纫版，直接使用FP16進行表示會截斷下溢的數據床绪，這些梯度值都會變?yōu)?。通常我們訓練神經網絡模型的時...
-
大模型的發(fā)展與解決的問題目前Foundation Model或者是大模型，特別地火癞己，接下來介紹什么是大模型膀斋，大模型的基本概念；接著看看大模型的實際作用痹雅，然后基于這些實際作用仰担，我們簡單展開幾個應用場景...
-
從分布式訓練到大模型訓練要了解大模型訓練難，我們得先看看從傳統(tǒng)的分布式訓練绩社，到大模型的出現(xiàn)惰匙，需要大規(guī)模分布式訓練的原因。接著第二點去了解下大規(guī)模訓練的挑戰(zhàn)铃将。 從分布式訓練到大規(guī)模訓練 常見的訓練方式...
