最近發(fā)現(xiàn)一個(gè)特別強(qiáng)的視頻超分算法————BasicVSR麻车,在真實(shí)世界數(shù)據(jù)集中缀皱,實(shí)現(xiàn)了前所未有的視覺重建效果,最近它還拿下了超分比賽NTIRE 2021三冠一亞的優(yōu)異成績(jī)动猬,登上了CVPR 2022啤斗。
視頻超分,假設(shè)低分辨率視頻是從高分辨率的視頻經(jīng)過一系列的退化操作而得到赁咙,超分算法就是將該退化操作進(jìn)行求逆钮莲,從而可以將低分辨率視頻恢復(fù)成高分辨率視頻。
對(duì)算法細(xì)節(jié)感興趣的同學(xué)可以先研究一下論文『Investigating Tradeoffs in Real-World Video Super-Resolution』
我試玩了一下,感覺效果還是蠻不錯(cuò)的凤覆,下面就分享一下BasicVSR
在ubuntu下的安裝極簡(jiǎn)教程链瓦。
實(shí)不相瞞,macOS和ubuntu下我都安裝成功了盯桦,Windows沒有成功(老報(bào)錯(cuò))慈俯,感興趣且運(yùn)氣爆表的同學(xué)可以再試試。
安裝
1 創(chuàng)建環(huán)境
conda create -n realbasic python=3.8
2 安裝pytorch
https://pytorch.org/get-started/locally/
具體版本需根據(jù)自己的電腦配置拥峦,如有GPU贴膘,需與注意自己的cuda版本,可以使用nvidia-smi
查看略号。
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.1 -c pytorch
3 安裝mim
和 mmcv-full
MMCV 是一個(gè)面向計(jì)算機(jī)視覺的基礎(chǔ)庫刑峡,它支持了很多開源項(xiàng)目。建議安裝完整版:mmcv-full 玄柠,包含所有的特性以及豐富的開箱即用的 CUDA 算子氛琢。
但是直接pip安裝需注意cuda和torch版本,容易安裝失敗随闪。建議使用MIM
安裝阳似,它會(huì)自動(dòng)檢查 CUDA 和 PyTorch 環(huán)境并盡量幫我們安裝和環(huán)境匹配的預(yù)編譯版本的 MMCV-full,從而省去編譯的耗時(shí)铐伴。
pip install openmim
mim install mmcv-full
4 安裝MMEditing
MMEditing
是基于 PyTorch 的圖像&視頻編輯開源工具箱, 提供修復(fù)/摳圖/超分辨率/生成等任務(wù)最先進(jìn)的算法撮奏。用pip我試了也失敗了幾次,最后只能本地安裝:
git clone https://github.com/open-mmlab/mmediting.git
cd mmediting
pip install -r requirements.txt
# 如報(bào)錯(cuò)当宴,忽略即可畜吊,繼續(xù)執(zhí)行下指令
pip install -v -e .
使用
1 克隆項(xiàng)目
https://github.com/ckkelvinchan/RealBasicVSR
2 下載預(yù)訓(xùn)練模型
下載地址:
在RealBasicVSR項(xiàng)目下新建checkpoints
文件夾
3 運(yùn)行
將需要轉(zhuǎn)換的視頻放到data目錄下,運(yùn)行即可
python inference_realbasicvsr.py configs/realbasicvsr_x4.py checkpoints/RealBasicVSR_x4.pth data/demo_001.mp4 results/demo_001.mp4 --fps=12.5
4 結(jié)果
運(yùn)行比較耗時(shí)户矢,需耐心等待玲献,如果你有鈔能力,當(dāng)我沒說。