0、Nvidia驅(qū)動(dòng)
切記使用ubuntu 的應(yīng)用程序software & update 選擇安裝合適的Nvidia驅(qū)動(dòng)库继。
0-1 搜狗輸入法：
https://shurufa.sogou.com/linux
https://shurufa.sogou.com/linux/guide
若不能顯示中文：
安裝下面兩個(gè)依賴包就可以了
sudo apt-get install libqt5qml5 libqt5quick5 libqt5quickwidgets5 qml-module-qtquick2
sudo apt install libgsettings-qt1
1污桦、Git 安裝
sudo apt-get install git
查看版本
git version
Global Config.
git config --global user.name 'Neil-Hua'
git config --global user.email 'huaxiaoquan@163.com'
2峻凫、conda環(huán)境
wget https://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.sh
bash Anaconda3-2023.09-0-Linux-x86_64.sh
安裝過程中炊汹，若忘記添加環(huán)境變量中.
可以用：
sudo gedit ~/.bashrc
添加：
export PATH=$PATH:/home/user/anaconda3/bin
就可以用
conda list 檢驗(yàn)是否安裝OK.
3篡撵、CUDA
更新gcc.
sudo apt update
sudo apt install gcc
nvidia-smi 查看顯卡支持的CUDA版本
https://developer.nvidia.com/cuda-toolkit-archive 找到該版本并下載安裝褐着。
指令都給你寫好了坷澡。
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/12.2.2/local_installers/cuda-repo-ubuntu2204-12-2-local_12.2.2-535.104.05-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2204-12-2-local_12.2.2-535.104.05-1_amd64.deb
sudo cp /var/cuda-repo-ubuntu2204-12-2-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda
中間可能會(huì)有報(bào)錯(cuò)，主要是Nvidia驅(qū)動(dòng)版本和Cuda版本之間的一致性問題含蓉。挨個(gè)處理就好频敛。
添加到環(huán)境變量：
export PATH=/usr/local/cuda-12.2/bin${PATH:+:${PATH}} export LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64\ ${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
此時(shí)Cuda應(yīng)該就OK了
nvcc -V
可以看到安裝CUDA的版本信息。
放到系統(tǒng)的環(huán)境變量更加合適馅扣。
sudo gedit ~/.bashrc
export PATH=$PATH:/usr/local/cuda-12.2/bin export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-12.2/lib64
3姻政、llama2下載
https://ai.meta.com/resources/models-and-libraries/llama-downloads/ 頁面申請，郵件獲得一URL地址岂嗓，備用
https://github.com/facebookresearch/llama Github下載地址
git clone https://github.com/facebookresearch/llama
得到一個(gè)llama的文件夾汁展。
`
cd llama
#Make the ./download script executable
sudo chmod +x ./download.sh
# Run the ./download script
./download.sh
進(jìn)入下載頁面，輸入剛才郵箱獲得的URL地址厌殉，選擇模型食绿，即可進(jìn)入下載頁面。
4公罕、安裝torch.
在conda 建立一虛擬環(huán)境：
conda create -n llm7b python=3.11.5 -y
conda activate llm7b
conda activate llm7b 可能會(huì)報(bào)錯(cuò)誤器紧，使用source 可以解決：
conda info --envs ##查看base的位置
source /home/neil/anaconda3/etc/profile.d/conda.sh
conda activate llm7b
新版本的conda取消了conda activate xxx，改用下面的命令：
source activate 環(huán)境名
進(jìn)入pytorch頁面：
https://pytorch.org/
選擇對應(yīng)cuda版本的torch楼眷。
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
conda 進(jìn)入python
>>python
>>> import torch
>>> torch.cuda.is_available()
5铲汪、llama2的部署
見下面鏈接：
https://twm.me/how-to-install-llama2-linux-ubuntu/
