整了半天的latex表格，原來中間的間隔的豎直線修改下toprule,bottomrule,midrule朴乖，不要用hline就好了霉囚。
發(fā)簡信
IP屬地：北京
-
用python將excel的有效內(nèi)容+格式存儲成png圖像
轉(zhuǎn)載：https://www.cnblogs.com/cgmcoding/p/16517494.html[https://www.cnblogs.com/cgmcoding/...
-
不蠢不蠢~~有時候有些問題看似簡單但是會給人意想不到的啟發(fā)~加油朋友窒悔！
Alpaca-LoRA 的安裝
嘗到了gpt的甜頭俯渤，覺得可以結(jié)合自己的任務(wù)訓(xùn)練下馍忽，因為用自己的服務(wù)器沒有那么大的gpu迅矛，后來等到lora終于可以跑自己的數(shù)據(jù)了~不過安裝過程中遇到了很多坑７列伞！真的很多坑秽褒，安裝...
-
不好意思最近忙都沒有登陸看壶硅，很開心能解決你的問題，跑起來你可以看官網(wǎng)里销斟，有詳細的訓(xùn)練方式庐椒，我的是用這個命令跑的：python finetune.py \
--base_model 'decapoda-research/llama-7b-hf' \
--data_path 'yahma/alpaca-cleaned' \
--output_dir './lora-alpaca' \
--batch_size 32 \
--micro_batch_size 4 \
--num_epochs 3 \
--learning_rate 1e-4 \
--cutoff_len 512 \
--val_set_size 2000 \
--lora_r 8 \
--lora_alpha 16 \
--lora_dropout 0.05 \
--lora_target_modules '[q_proj,v_proj]' \
--train_on_inputs \
--group_by_length
因為我的GPU不夠大，我調(diào)整了batchsize蚂踊，并且調(diào)整了源代碼里的部分约谈，因為源代碼是128反向傳播一次，因此我設(shè)置了梯度累計犁钟，把我的32設(shè)置成4次誤差累加后再反向傳播棱诱，這樣就和源碼一致。
如果你的空間都合適的話涝动，用這個代碼也行迈勋，python finetune.py \
--base_model 'decapoda-research/llama-7b-hf' \
--data_path 'yahma/alpaca-cleaned' \
--output_dir './lora-alpaca'
這個是可以直接跑的。歡迎隨時交流哈~Alpaca-LoRA 的安裝
嘗到了gpt的甜頭醋粟，覺得可以結(jié)合自己的任務(wù)訓(xùn)練下靡菇，因為用自己的服務(wù)器沒有那么大的gpu，后來等到lora終于可以跑自己的數(shù)據(jù)了~不過安裝過程中遇到了很多坑Ｎ粞ā镰官！真的很多坑，安裝...
-
CUDA out of memory
顯存不足的情況下吗货，總結(jié)了以下幾種方法泳唠，任何情況都能用其中一個解決。 一宙搬、降低batch_size 笨腥，訓(xùn)練時間就會長點拓哺，一般這個都能解決；二脖母、在測試和驗證代碼中加入以下代碼： ...
-
給gpt喂自己的數(shù)據(jù)士鸥！
上一篇文章說完了安裝，這下我要喂自己的數(shù)據(jù)了谆级。 1. 準備數(shù)據(jù) 首先要按照給的格式創(chuàng)建自己的json數(shù)據(jù)烤礁，這個比較好創(chuàng)建，之前沒用過json搜一下就行了肥照。原文的格式如下： 這...
-
Alpaca-LoRA 的安裝
嘗到了gpt的甜頭脚仔，覺得可以結(jié)合自己的任務(wù)訓(xùn)練下，因為用自己的服務(wù)器沒有那么大的gpu舆绎，后來等到lora終于可以跑自己的數(shù)據(jù)了~不過安裝過程中遇到了很多坑＠鹪唷！真的很多坑吕朵，安裝...
-
-
Dijkstra最短路徑
回顧下最短路徑算法努溃，感覺找了一堆沒有寫的特別簡單明了的硫嘶，還是輾轉(zhuǎn)看了好幾個人的才找到一個寫的很清楚的，這里再總結(jié)一下方便以后自己回顧茅坛。 以上面的圖為例音半，找0到其他1-6個點的...
-
數(shù)組合并中符號的區(qū)別
記錄一波在使用python數(shù)組時候的一些特別之處晾蜘，符號不同效果不同邻眷。目的是將兩個數(shù)據(jù)合成一個。1剔交、[ ]的效果 可見用[dataset1,dataset2]合并的方法只是單純...
-
數(shù)學(xué)知識在實際中的意義在實驗中通常會自己設(shè)計損失函數(shù)、優(yōu)化函數(shù)等，通常會用到對數(shù)板惑、分數(shù)橄镜、梯度等，不明白函數(shù)的實際意義在設(shè)計的時候就一臉懵冯乘，因此本文就幾種常見的函數(shù)進行實際意義的解釋洽胶，方便后期自身學(xué)...
-
2022-02-18
今天解決一個藍牙的問題搞了一下午，還以為是驅(qū)動各種問題裆馒，結(jié)果姊氓。。领追。解決方法令人震驚他膳！問題：1响逢、藍牙用著用著就消失了绒窑，無法使用；2舔亭、設(shè)備管理器里找不到藍牙些膨；3、設(shè)置里找不到藍牙...
-
-
對抗網(wǎng)絡(luò)GANs介紹
原文出自：https://www.tmtpost.com/2609145.html洼哎，這里做個基本了解。 生成對抗網(wǎng)絡(luò)（Generative Adversarial Netwo...
-
pytorch中ipdb的調(diào)試功能
在pytorch中使用ipdb可以對程序?qū)崿F(xiàn)單步調(diào)試等沼本，使用命令pip install ipdb安裝即可噩峦。在需要調(diào)試的代碼前面加上ipdb.set_trace()即可，當程序...
-
pytorch中多GPU并行設(shè)置
當使用GPU時抽兆，程序默認從device[0]開始運行识补，但是如果遇到第一塊就被占滿的情況，那么程序直接報錯GPU溢出辫红，但其實第二塊第三塊空閑凭涂，因此可以通過設(shè)置GPU的Index...
-
pytorch中的自定義數(shù)據(jù)處理
pytorch在數(shù)據(jù)中采用Dataset的數(shù)據(jù)保存方式，需要繼承data.Dataset類贴妻，如果需要自己處理數(shù)據(jù)的話切油，需要實現(xiàn)兩個基本方法。：.getitem:返回一條數(shù)據(jù)或...
