超強(qiáng)視頻超分AI算法录平,從此只看高清視頻

最近發(fā)現(xiàn)一個(gè)特別強(qiáng)的視頻超分算法————BasicVSR麻车,在真實(shí)世界數(shù)據(jù)集中缀皱,實(shí)現(xiàn)了前所未有的視覺重建效果,最近它還拿下了超分比賽NTIRE 2021三冠一亞的優(yōu)異成績(jī)动猬,登上了CVPR 2022啤斗。

視頻超分,假設(shè)低分辨率視頻是從高分辨率的視頻經(jīng)過一系列的退化操作而得到赁咙,超分算法就是將該退化操作進(jìn)行求逆钮莲,從而可以將低分辨率視頻恢復(fù)成高分辨率視頻。

右側(cè)為原片彼水,左側(cè)為AI高清化
右側(cè)為原片崔拥,左側(cè)為AI高清化

對(duì)算法細(xì)節(jié)感興趣的同學(xué)可以先研究一下論文『Investigating Tradeoffs in Real-World Video Super-Resolution』

https://arxiv.org/pdf/2111.12704.pdf

我試玩了一下,感覺效果還是蠻不錯(cuò)的凤覆,下面就分享一下BasicVSR在ubuntu下的安裝極簡(jiǎn)教程链瓦。

實(shí)不相瞞,macOS和ubuntu下我都安裝成功了盯桦,Windows沒有成功(老報(bào)錯(cuò))慈俯,感興趣且運(yùn)氣爆表的同學(xué)可以再試試。

安裝

1 創(chuàng)建環(huán)境

conda create -n realbasic python=3.8

2 安裝pytorch

https://pytorch.org/get-started/locally/

image

具體版本需根據(jù)自己的電腦配置拥峦,如有GPU贴膘,需與注意自己的cuda版本,可以使用nvidia-smi查看略号。

conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.1 -c pytorch

3 安裝mimmmcv-full

MMCV 是一個(gè)面向計(jì)算機(jī)視覺的基礎(chǔ)庫刑峡,它支持了很多開源項(xiàng)目。建議安裝完整版:mmcv-full 玄柠,包含所有的特性以及豐富的開箱即用的 CUDA 算子氛琢。


image

但是直接pip安裝需注意cuda和torch版本,容易安裝失敗随闪。建議使用MIM安裝阳似,它會(huì)自動(dòng)檢查 CUDA 和 PyTorch 環(huán)境并盡量幫我們安裝和環(huán)境匹配的預(yù)編譯版本的 MMCV-full,從而省去編譯的耗時(shí)铐伴。

pip install openmim
mim install mmcv-full

4 安裝MMEditing

MMEditing 是基于 PyTorch 的圖像&視頻編輯開源工具箱, 提供修復(fù)/摳圖/超分辨率/生成等任務(wù)最先進(jìn)的算法撮奏。用pip我試了也失敗了幾次,最后只能本地安裝:

git clone https://github.com/open-mmlab/mmediting.git
cd mmediting
pip install -r requirements.txt
# 如報(bào)錯(cuò)当宴,忽略即可畜吊,繼續(xù)執(zhí)行下指令
pip install -v -e . 

使用

1 克隆項(xiàng)目

https://github.com/ckkelvinchan/RealBasicVSR

2 下載預(yù)訓(xùn)練模型

下載地址:

https://entuedu-my.sharepoint.com/personal/chan0899_e_ntu_edu_sg/_layouts/15/download.aspx?SourceUrl=%2Fpersonal%2Fchan0899%5Fe%5Fntu%5Fedu%5Fsg%2FDocuments%2FRealBasicVSR%2FRealBasicVSR%5Fx4%2Epth

在RealBasicVSR項(xiàng)目下新建checkpoints文件夾

image

3 運(yùn)行
將需要轉(zhuǎn)換的視頻放到data目錄下,運(yùn)行即可

python inference_realbasicvsr.py configs/realbasicvsr_x4.py checkpoints/RealBasicVSR_x4.pth data/demo_001.mp4 results/demo_001.mp4 --fps=12.5

4 結(jié)果
運(yùn)行比較耗時(shí)户矢,需耐心等待玲献,如果你有鈔能力,當(dāng)我沒說。

image
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末捌年,一起剝皮案震驚了整個(gè)濱河市瓢娜,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌礼预,老刑警劉巖眠砾,帶你破解...
    沈念sama閱讀 219,539評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異托酸,居然都是意外死亡褒颈,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,594評(píng)論 3 396
  • 文/潘曉璐 我一進(jìn)店門励堡,熙熙樓的掌柜王于貴愁眉苦臉地迎上來谷丸,“玉大人,你說我怎么就攤上這事应结∮倬” “怎么了?”我有些...
    開封第一講書人閱讀 165,871評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵摊趾,是天一觀的道長(zhǎng)币狠。 經(jīng)常有香客問我,道長(zhǎng)砾层,這世上最難降的妖魔是什么漩绵? 我笑而不...
    開封第一講書人閱讀 58,963評(píng)論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮肛炮,結(jié)果婚禮上止吐,老公的妹妹穿的比我還像新娘。我一直安慰自己侨糟,他們只是感情好碍扔,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,984評(píng)論 6 393
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著秕重,像睡著了一般不同。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上溶耘,一...
    開封第一講書人閱讀 51,763評(píng)論 1 307
  • 那天二拐,我揣著相機(jī)與錄音,去河邊找鬼凳兵。 笑死百新,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的庐扫。 我是一名探鬼主播饭望,決...
    沈念sama閱讀 40,468評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼仗哨,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了铅辞?” 一聲冷哼從身側(cè)響起厌漂,我...
    開封第一講書人閱讀 39,357評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎巷挥,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體验靡,經(jīng)...
    沈念sama閱讀 45,850評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡倍宾,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,002評(píng)論 3 338
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了胜嗓。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片高职。...
    茶點(diǎn)故事閱讀 40,144評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖辞州,靈堂內(nèi)的尸體忽然破棺而出怔锌,到底是詐尸還是另有隱情,我是刑警寧澤变过,帶...
    沈念sama閱讀 35,823評(píng)論 5 346
  • 正文 年R本政府宣布埃元,位于F島的核電站,受9級(jí)特大地震影響媚狰,放射性物質(zhì)發(fā)生泄漏岛杀。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,483評(píng)論 3 331
  • 文/蒙蒙 一崭孤、第九天 我趴在偏房一處隱蔽的房頂上張望类嗤。 院中可真熱鬧,春花似錦辨宠、人聲如沸遗锣。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,026評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽精偿。三九已至,卻和暖如春赋兵,著一層夾襖步出監(jiān)牢的瞬間还最,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,150評(píng)論 1 272
  • 我被黑心中介騙來泰國打工毡惜, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留拓轻,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,415評(píng)論 3 373
  • 正文 我出身青樓经伙,卻偏偏與公主長(zhǎng)得像扶叉,于是被迫代替她去往敵國和親勿锅。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,092評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容