python 批量上傳文件到阿里云oss炉媒,并寫入Excel,存到本地

最近公司要往阿里云oss上傳視頻昆烁,大小差不多有200G吊骤,原先讓運(yùn)營(yíng)去一個(gè)一個(gè)的添加,但是這能麻煩死人静尼,所以就讓技術(shù)去批量上傳白粉。所以研究了一下用python往oss上傳視頻

首先需引用以下幾個(gè)模塊

pip install oss2
pip install tablib
pip install pyexcel-xlsx

其次因?yàn)楸镜氐囊曨l都是比如中文.mp4這樣的,所以引入一個(gè)隨機(jī)字符串

import random
def generate_random_str(randomlength=8):
    """
    生成一個(gè)指定長(zhǎng)度的隨機(jī)字符串
    """
    random_str = ''
    base_str = 'ABCDEFGHIGKLMNOPQRSTUVWXYZabcdefghigklmnopqrstuvwxyz0123456789'
    length = len(base_str) - 1
    for i in range(randomlength):
        random_str += base_str[random.randint(0, length)]
    return random_str

因?yàn)槭俏募A里面套文件夾鼠渺,但是只上傳文件鸭巴,所以需要獲取子文件夾下面的視頻



代碼如下:

def upload(dir):
    fs = os.listdir(dir)
    for f in fs:
        file = dir + "/" + f
        if os.path.isdir(file):
            upload(file)
        else:
            if 'DS_Store' not in file and 'png' not in f and 'JPG' not in f:
                putAliyun(file, f)

備注:因?yàn)槲募A里面還有圖片,所以去除后綴為png拦盹、JPG的圖片鹃祖。因?yàn)橛玫氖莔ac上傳,所以文件夾里面有.DS_Store普舆,所以也需要去除

所以這個(gè)的整個(gè)代碼如下:

#!/usr/bin/env python
# ! -*- coding:utf-8 -*-

import oss2
import random
import os
import tablib
import time

ossDir = '/Users/FQY/Desktop/upload'
key = XXX
secret = XXX
bucketname = XXX

dataset = tablib.Dataset()
header = ('title', 'url')
dataset.headers = header

def generate_random_str(randomlength=8):
    """
    生成一個(gè)指定長(zhǎng)度的隨機(jī)字符串
    """
    random_str = ''
    base_str = 'ABCDEFGHIGKLMNOPQRSTUVWXYZabcdefghigklmnopqrstuvwxyz0123456789'
    length = len(base_str) - 1
    for i in range(randomlength):
        random_str += base_str[random.randint(0, length)]
    return random_str

def getmkname(path):
    remoteName = path.replace(ossDir, '')
    dir_names = remoteName.split('/')
    dir_names.pop()
    res = filter(None, dir_names)
    mkdir_name = '-'.join(res)
    return mkdir_name

#獲得上傳的時(shí)長(zhǎng)
def progress_callback(bytes_consumed, total_bytes):
    print('bytes_consumed is {}'.format(bytes_consumed))
    print('total_bytes is {}'.format(total_bytes))


def putAliyun(path, f):
    key = 'language/' + str(int(time.time())) + generate_random_str() + '.mp4'
    auth = oss2.Auth(key, secret)
    bucket = oss2.Bucket(auth, 'http://oss-cn-hangzhou.aliyuncs.com', bucketname)
    result = bucket.put_object_from_file(key=key, filename=path,progress_callback=progress_callback)

    if result.status == 200:
        aliyun = 'http://video.oss-cn-hangzhou.aliyuncs.com/{}'.format(key)
        title = '【{}】{}'.format(getmkname(path), f.split('.mp4')[0])
        dataset.append([title, aliyun])
    else:
        print('upload fail,error code', result.status)


def upload(dir):
    fs = os.listdir(dir)
    for f in fs:
        file = dir + "/" + f
        if os.path.isdir(file):
            upload(file)
        else:
            if 'DS_Store' not in file and 'png' not in f and 'JPG' not in f:
                putAliyun(file, f)

upload(ossDir)

myfile = open('/Users/FQY/Desktop/mydata_video.xlsx', 'wb')
myfile.write(dataset.xlsx)
myfile.close()

tablib的介紹恬口,可以觀看以下的文章
利用tablib校读、make_response 進(jìn)行文件的下載

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市祖能,隨后出現(xiàn)的幾起案子地熄,更是在濱河造成了極大的恐慌,老刑警劉巖芯杀,帶你破解...
    沈念sama閱讀 206,214評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件端考,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡揭厚,警方通過(guò)查閱死者的電腦和手機(jī)却特,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,307評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)筛圆,“玉大人裂明,你說(shuō)我怎么就攤上這事√” “怎么了闽晦?”我有些...
    開封第一講書人閱讀 152,543評(píng)論 0 341
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)提岔。 經(jīng)常有香客問(wèn)我仙蛉,道長(zhǎng),這世上最難降的妖魔是什么碱蒙? 我笑而不...
    開封第一講書人閱讀 55,221評(píng)論 1 279
  • 正文 為了忘掉前任荠瘪,我火速辦了婚禮,結(jié)果婚禮上赛惩,老公的妹妹穿的比我還像新娘哀墓。我一直安慰自己,他們只是感情好喷兼,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,224評(píng)論 5 371
  • 文/花漫 我一把揭開白布篮绰。 她就那樣靜靜地躺著,像睡著了一般季惯。 火紅的嫁衣襯著肌膚如雪吠各。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,007評(píng)論 1 284
  • 那天星瘾,我揣著相機(jī)與錄音走孽,去河邊找鬼。 笑死琳状,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的盒齿。 我是一名探鬼主播念逞,決...
    沈念sama閱讀 38,313評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼困食,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了翎承?” 一聲冷哼從身側(cè)響起硕盹,我...
    開封第一講書人閱讀 36,956評(píng)論 0 259
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎叨咖,沒想到半個(gè)月后瘩例,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,441評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡甸各,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,925評(píng)論 2 323
  • 正文 我和宋清朗相戀三年垛贤,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片趣倾。...
    茶點(diǎn)故事閱讀 38,018評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡聘惦,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出儒恋,到底是詐尸還是另有隱情善绎,我是刑警寧澤,帶...
    沈念sama閱讀 33,685評(píng)論 4 322
  • 正文 年R本政府宣布诫尽,位于F島的核電站禀酱,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏牧嫉。R本人自食惡果不足惜比勉,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,234評(píng)論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望驹止。 院中可真熱鬧浩聋,春花似錦、人聲如沸臊恋。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,240評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)抖仅。三九已至坊夫,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間撤卢,已是汗流浹背环凿。 一陣腳步聲響...
    開封第一講書人閱讀 31,464評(píng)論 1 261
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留放吩,地道東北人智听。 一個(gè)月前我還...
    沈念sama閱讀 45,467評(píng)論 2 352
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親到推。 傳聞我的和親對(duì)象是個(gè)殘疾皇子考赛,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,762評(píng)論 2 345