torch.linspace(1, 16, 16).view(4, 4)mask = torch.gt(a, 8)a = torch.tensor([[0, 1, 2, 0]...
發(fā)簡信
IP屬地：福建
-
Tensor張量的操作
-
__init__.py基本原理 __init__.py文件的主要作用有： 標(biāo)識包：告訴Python解釋器這個目錄應(yīng)該被視為一個Python包。 初始化代碼：可以在這個文件中執(zhí)行包級別的初始化代碼。...
-
markdown常用速查
一、如何顯示# * ＞等符號西篓？1难衰、加" \ "轉(zhuǎn)義:比如要寫__name__就需要寫成"\_\_name__"2捏卓、可以使用反引號" ` "包裹需要轉(zhuǎn)義的內(nèi)容.反引號位于鍵盤左...
-
__name__=='__main__'
每個py腳本都有自己的名字榜配，姑且起一個叫“code_ex1.py”, python會給每個腳本自動賦予一個全局變量否纬，包括__name__，如果在自己的腳本里寫一行代碼蛋褥，即pr...
-
模型壓縮和加速——參數(shù)共享（Parameter Sharing）及其pytorch實(shí)現(xiàn)
一临燃、參數(shù)共享含義 參數(shù)共享（Parameter Sharing）是模型壓縮與加速中的一種重要技術(shù)。通過參數(shù)共享烙心，多個神經(jīng)元或?qū)涌梢怨蚕硐嗤臋?quán)重參數(shù)膜廊，而不是每個神經(jīng)元或?qū)佣加?..
-
模型壓縮和加速——參數(shù)量化（Parameter Quantization）及其pytorch實(shí)現(xiàn)
參數(shù)量化（Parameter Quantization）是一種有效的模型壓縮技術(shù)，通過減少模型參數(shù)的位寬（例如從32位浮點(diǎn)數(shù)減少到8位整數(shù)）來減少模型的存儲空間和計算復(fù)雜度淫茵。...
-
模型壓縮和加速——低秩分解（Low-rank Decomposition）及其pytorch實(shí)現(xiàn)
一溃论、低秩分解的含義 低秩分解本質(zhì)是一種矩陣分解技術(shù)，旨在將一個矩陣分解為兩個或多個矩陣的乘積痘昌，從而將高維數(shù)據(jù)壓縮為低維表示钥勋，以減少參數(shù)量。在大模型中辆苔，權(quán)重矩陣通常非常大算灸，尤其...
-
模型壓縮和加速——知識蒸餾（Knowledge Distillation）及pytorch實(shí)現(xiàn)一、知識蒸餾的含義 知識蒸餾（Knowledge Distillation）是一種用于模型壓縮和遷移學(xué)習(xí)的技術(shù)驻啤，通過將一個復(fù)雜模型（稱為教師模型）的知識傳遞給一個較小的模型（...
-
模型壓縮和加速——網(wǎng)絡(luò)剪枝（Network Pruning）及其pytorch實(shí)現(xiàn)
一菲驴、網(wǎng)絡(luò)剪枝的步驟 神經(jīng)網(wǎng)絡(luò)中的一些權(quán)重和神經(jīng)元是可以被剪枝的，這是因?yàn)檫@些權(quán)重可能為零或者神經(jīng)元的輸出大多數(shù)時候?yàn)榱闫锶撸砻鬟@些權(quán)重或神經(jīng)元是冗余的赊瞬。網(wǎng)絡(luò)剪枝的過程主要分以下...
-
大模型的模型壓縮與加速方法總結(jié)
一、概述 需要做模型壓縮的原因在于我們有將模型部署在資源受限的設(shè)備上的需求贼涩，在這些設(shè)備上有受限的存儲空間和受限的計算能力巧涧。本文主要介紹7種常用方法。 二遥倦、總結(jié) 方法名稱簡要描...
-
強(qiáng)化學(xué)習(xí)的policy-based算法一谤绳、目標(biāo)概述 就是如何通過深度學(xué)習(xí)，訓(xùn)練得到actor(執(zhí)行者袒哥，機(jī)器人)或policy(策略)缩筛。我們把a(bǔ)ctor/policy記作，actor根據(jù)環(huán)境給出下一步的行動或行動概...
-
強(qiáng)化學(xué)習(xí)(Reinforcement Learning)的概念一堡称、含義 強(qiáng)化學(xué)習(xí)就是通過讓機(jī)器和環(huán)境不斷交互瞎抛，并獲得反饋來調(diào)整模型的方法。 二却紧、示例 例1：Alpha GO 圍棋機(jī)器人機(jī)器（actor）和人依次落子桐臊，每次機(jī)器落子钞艇，都會給...
-
有監(jiān)督微調(diào)（SFT）的原理和損失函數(shù)
LLMs模型應(yīng)用于特定NLP任務(wù)的流程可以分為2個階段： 一是無監(jiān)督預(yù)訓(xùn)練階段，在這一階段豪硅，通過生成式預(yù)訓(xùn)練來得到語言模型哩照，獲得包括詞匯、語法和語義在內(nèi)的通用能力懒浮。 二是有監(jiān)...
-
我又重新長大了一次——《殺死一只知更鳥》讀后感一飘弧、童年 閱讀這本書，宛如輕啟一扇回憶之窗砚著，溫暖明媚的陽光傾瀉而下次伶，我的思緒在鵝卵石路上歡快跳躍，一路引領(lǐng)我回到那遙遠(yuǎn)而可愛的童年時光稽穆。斯庫特和杰姆這對兄妹冠王，以及迪爾這個小活...
-
基于人類反饋的進(jìn)行強(qiáng)化學(xué)習(xí)：RLHF
一、RLHF的概念 LLM生成的內(nèi)容需對齊（Aligned）人類的價值觀念舌镶，如道德要求等等柱彻，已致有學(xué)者提出了“憲法 AI”（Constitutional AI）的概念。強(qiáng)化學(xué)...
-
低成本指令數(shù)據(jù)集構(gòu)建： Self-InstructSELF-INSTRUCT的介紹 作用：SELF-INSTRUCT餐胀，該方法可以僅使用最少的人工標(biāo)注哟楷，生成大量的用于指令調(diào)優(yōu)的數(shù)據(jù)。指令格式：一條指令數(shù)據(jù)集由instructi...
-
高等數(shù)學(xué)復(fù)習(xí)筆記8（多元導(dǎo)數(shù)的應(yīng)用）
一否灾、曲線函數(shù)及其導(dǎo)數(shù) 從參數(shù)方程形式引入“曲線的導(dǎo)數(shù)”更加容易卖擅。空間中的一個曲線可以表示成參數(shù)方程：若把上面的方程組寫成向量形式墨技，就叫做一元向量值函數(shù)惩阶。是假設(shè)質(zhì)點(diǎn)沿著曲線運(yùn)動...
-
高等數(shù)學(xué)復(fù)習(xí)筆記7（多元函數(shù)積分——三重積分）三重積分 定義 被稱做“體積元素”。 物理意義 若表示某物體在點(diǎn)的密度扣汪，是該物體所占據(jù)的空間區(qū)域断楷，那么三重積分表示其質(zhì)量。 計算 將三重積分化成三次積分來算私痹，或者轉(zhuǎn)換成一個二...
-
高等數(shù)學(xué)復(fù)習(xí)筆記6（多元函數(shù)積分——二重積分）二重積分 定義：,叫面積元素物理意義：二重定積分就是求曲面與X軸Y軸平面所圍成的體積（曲頂柱體的體積）脐嫂。 另外一層物理意義是，求超薄平面片的質(zhì)量紊遵。面密度是 ，面積是x和y在平...
-
高等數(shù)學(xué)復(fù)習(xí)筆記5（多元函數(shù)微分）
一侥蒙、多元函數(shù)的極限暗膜、連續(xù)性和可導(dǎo)性 當(dāng)以任何方式趨近于,趨近于A，這就是它的極限鞭衩，如果以不同方式逼近時得到不同的極限值学搜，那它就不存在極限娃善。 對于一元函數(shù)來說，可導(dǎo)必然連續(xù)瑞佩。但...