現(xiàn)象 使用 Hugging Face Trainer 在單機多卡環(huán)境下對 LLAMA2-7B 進行 LoRA finetuning 時榨为，在第一次保存 checkpoint 時...
IP屬地：廣東
-
Intel 顯卡單機多卡 FSDP 模型 checkpointing 時 Assert Out -
輔助式文本生成 - 文本生成新范式輔助式文本生成 - 文本生成新范式 @(NLP)[文本生成] 引言 LLM 要跨越從早期采用者到大眾市場的鴻溝见坑，其必要條件是價格大眾化项秉，也就是降低每詞元的價格未斑。 這種降低最好...
-
使用開源 LLM 充當(dāng) LangChain 智能體太長不看版 開源 LLM 現(xiàn)已達(dá)到一定的性能水平虹统，可堪作為智能體工作流的推理引擎染簇。在我們的測試基準(zhǔn)上，Mixtral[https://huggingface.co/blog/...
-
詳解 MoE隨著 Mixtral 8x7B 的發(fā)布（公告[https://mistral.ai/news/mixtral-of-experts/]模燥，模型卡[https://hugging...
-
亂彈 LLM 的工程化亂彈 LLM 的工程化 @(Thoughts) 僅為個人觀點咖祭，亂彈而已掩宜。 這一波 LLM 狂熱很有意思，從現(xiàn)象上來看跟智能手機 + 移動互聯(lián)網(wǎng)那一撥有點相像心肪。首先是 Open...
-
Transformer 估算 101@(Engineering Practice) 本文主要介紹用于估算 transformer 類模型計算量需求和內(nèi)存需求的相關(guān)數(shù)學(xué)方法锭亏。 引言 其實纠吴，很多有關(guān) transfo...
-
優(yōu)化故事: BLOOM 模型推理優(yōu)化故事: BLOOM 模型推理 @(Engineering Practice) 經(jīng)過“九九八十一難”硬鞍，大模型終于煉成。下一步就是架設(shè)服務(wù)戴已，準(zhǔn)備開門營業(yè)了固该。真這么簡單？恐怕未...
-
BLOOM 訓(xùn)練背后的技術(shù)BLOOM 訓(xùn)練背后的技術(shù) @(Engineering Practice) 假設(shè)你現(xiàn)在有了數(shù)據(jù)糖儡，也搞到了預(yù)算伐坏，一切就緒，準(zhǔn)備開始訓(xùn)練一個大模型握联，一顯身手了桦沉，“一朝看盡長安花”...
-
ChatGPT 與 AIGC 簡問亂答ChatGPT 與 AIGC 簡問亂答 ** 僅代表個人觀點。 ** [Q1] ChatGPT 最近非辰鹈觯火爆纯露，2 個月突破 1 億月活，從產(chǎn)品形態(tài)來看代芜，我們知道的微軟埠褪、谷歌的...
-
CPU AMX 詳解CPU AMX 詳解 @(System)[CPU] 概述 2016 年開始，隨著 NV GPU AI 能力的不斷加強挤庇，隱隱感覺到威脅的 Intel 也不斷在面向數(shù)據(jù)中心的至強...
-
Platform Challenges & Explorations for Deep Learning Medical Image Analysis@(Deep Learning)[Engineering] 姚偉峰[yaoweifeng0301@126.com] 2017年舊文 Deep Learning Helps M...
-
PyTorch Graph Execution@(Deep Learning)[Engineering, PyTorch] 姚偉峰[yaoweifeng0301@126.com]http://www.cnblogs.co...
-
圖智能 101Why Graph無處不在 Graph Intelligence helps It's the right time now! Gartner預(yù)測钞速，graph技術(shù)在數(shù)據(jù)和分析...
-
-
RETRO@(NLP)[IR] 姚偉峰(Matrix Yao) Info Card full nameRetrieval Enhanced TRansfOrmerpaperImprov...
-
機器學(xué)習(xí)實戰(zhàn) - How Machine Learning Engineers Deliver Their Work@(ML)[Engineering] 姚偉峰[yaoweifeng0301@126.com] 「大數(shù)據(jù)其實有點兒像青少年的性渴语。每一個人都興致勃勃地談?wù)撍菦]有任何一個人真...
-
機器學(xué)習(xí)算法 - Decision Tree@(ML)[算法] 姚偉峰[yaoweifeng0301@126.com] Why [例] 論丈母娘如何選女婿 決策樹 判別函數(shù) Decision Tree是一種非線性分類和...
-
Res-Family: From ResNet to SE-ResNeXt@(Deep Learning)[算法] 姚偉峰[yaoweifeng0301@126.com] ResNet-v1(2015 Dec) Paper Deep Residua...
-
CV Recognition: From AlexNet To Inception-v4姚偉峰 做研究就像比武論劍一樣昆咽，要論劍就要到華山論劍遵班，如果你一定要去太行山論劍，去挺進大別山潮改，那別人只能當(dāng)你是游擊隊狭郑，永遠(yuǎn)也別想成正規(guī)軍。在計算機視覺領(lǐng)域汇在，農(nóng)村是永遠(yuǎn)也包圍不...
-
用L2距離做MIP, MCS排序
@(Engineering Practice)[Fun For Deep Dive] 姚偉峰 問題 MIP (Maximum Inner Product) 輸入查詢向量(qu...
