爬取某內(nèi)培訓(xùn)班vip課程并保存

# auther:xiaomge
# 達(dá)內(nèi)視頻下載(此代碼用于學(xué)習(xí))
import time
import shutil

import lxml.etree as etree
import requests
from Crypto.Cipher import AES
import os

header3 = dict()
header3[
    'User-Agent'] = 
header3['Referer'] = 
header3['Origin'] = 
header3['Host'] = 
header3['Accept'] = 
header3['Accept-Encoding'] =
header3['Sec-Fetch-Dest'] = 
header3['Sec-Fetch-Mode'] =
header3['Sec-Fetch-Site'] = 


class DaNei:
    def __init__(self):
        self.headers2 = {
            'User-Agent': ,
            'Cookie': ,
        }
        self.studentscenter_url = 'https://tts.tmooc.cn/studentCenter/toMyttsPage'
        self.verify = False
        self.dow_lowd_path = './tes'
        self.dow_hb_path = './hb'

    def dow_lowd(self, key_url_pipei, menu_id):
        if os.path.exists('./tes'):
            print('exist')
        else:
            os.mkdir('./tes')  # 創(chuàng)建
        if os.path.exists('./hb'):
            print('exist')
        else:
            os.mkdir('./hb')
        for i in range(0, 500):
            try:
                # 這兩個是變化的 nsd21050727am 下面兩個要換 網(wǎng)頁中自動獲取就行了
                key_url = 'https://c.it211.com.cn/{}/static.key'.format(key_url_pipei)
                ts_url = 'https://c.it211.com.cn/{}/{}-{}.ts'.format(key_url_pipei, key_url_pipei, i)
                header3['Referer'] = header3['Referer'].format(menu_id)
                key = requests.get(key_url, headers=header3, verify=self.verify).content
                res_ts = requests.get(ts_url, headers=header3, verify=self.verify).content
                # 下載ts文件
                down_path = self.dow_lowd_path + '/{}.ts'.format(i)
                with open(down_path, 'wb') as ts:
                    # 解密
                    cryptor = AES.new(key, AES.MODE_CBC, key)
                    ts.write(cryptor.decrypt(res_ts))
                    print('第{}個下載完成'.format(i))
            except Exception as e:
                print('錯誤:', e)
                break
        print('{}視頻下載完成了闰围,馬上去合并'.format(key_url_pipei))
        return True

    def has_id(self):
        one_page_html = requests.get(self.studentscenter_url, headers=self.headers2, verify=self.verify).content.decode(
            'utf-8')
        selector = etree.HTML(one_page_html)
        course_list = selector.xpath('.//div[@class="course-menu"]//li[@class="sp"]//@href')
        for one_url in course_list:
            menu_id = one_url.split('?')[1].split('&')[0]
            one_page_html2 = requests.get(one_url, headers=self.headers2, verify=self.verify).content.decode('utf-8')
            selector2 = etree.HTML(one_page_html2)
            data_time = selector2.xpath('.//div[@class="video-list"]//p//@id')
            course_title = str(selector2.xpath('.//div[@id="video_stage_lty"]//text()')[0])
            # print(course_title)
            print('*' * 10)
            for one_pa_am in data_time:
                true_time_contents = one_pa_am.split('_')[1].split('.')[0]
                if self.dow_lowd(true_time_contents, menu_id) is True:
                    # 開始合并視頻
                    all_ts = os.listdir('./tes')
                    save_path = self.dow_hb_path + '/' + course_title + str(true_time_contents) + '.mp4'
                    with open(save_path, 'wb+') as f:
                        for i in range(len(all_ts)):
                            ts_video_path = os.path.join('./tes', all_ts[i])
                            f.write(open(ts_video_path, 'rb').read())
                    print("合并完成J胶场偶芍!刪除所有")
                    try:
                        shutil.rmtree('./tes')
                    except Exception as e:
                        print(e)
                        pass
                print('{}的視頻下載合并完成了,下一個開始了!休息一分鐘'.format(true_time_contents))
                time.sleep(60)
            print('*' * 10)


if __name__ == '__main__':
    D = DaNei()
    D.has_id()

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌杈帐,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,372評論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件送朱,死亡現(xiàn)場離奇詭異娘荡,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)驶沼,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,368評論 3 392
  • 文/潘曉璐 我一進(jìn)店門炮沐,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人回怜,你說我怎么就攤上這事大年』槐。” “怎么了?”我有些...
    開封第一講書人閱讀 162,415評論 0 353
  • 文/不壞的土叔 我叫張陵翔试,是天一觀的道長轻要。 經(jīng)常有香客問我,道長垦缅,這世上最難降的妖魔是什么冲泥? 我笑而不...
    開封第一講書人閱讀 58,157評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮壁涎,結(jié)果婚禮上凡恍,老公的妹妹穿的比我還像新娘。我一直安慰自己怔球,他們只是感情好嚼酝,可當(dāng)我...
    茶點故事閱讀 67,171評論 6 388
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著竟坛,像睡著了一般闽巩。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上担汤,一...
    開封第一講書人閱讀 51,125評論 1 297
  • 那天涎跨,我揣著相機(jī)與錄音,去河邊找鬼漫试。 笑死六敬,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的驾荣。 我是一名探鬼主播,決...
    沈念sama閱讀 40,028評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼普泡,長吁一口氣:“原來是場噩夢啊……” “哼播掷!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起撼班,我...
    開封第一講書人閱讀 38,887評論 0 274
  • 序言:老撾萬榮一對情侶失蹤歧匈,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后砰嘁,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體件炉,經(jīng)...
    沈念sama閱讀 45,310評論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,533評論 2 332
  • 正文 我和宋清朗相戀三年矮湘,在試婚紗的時候發(fā)現(xiàn)自己被綠了斟冕。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,690評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡缅阳,死狀恐怖磕蛇,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤秀撇,帶...
    沈念sama閱讀 35,411評論 5 343
  • 正文 年R本政府宣布超棺,位于F島的核電站,受9級特大地震影響呵燕,放射性物質(zhì)發(fā)生泄漏棠绘。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,004評論 3 325
  • 文/蒙蒙 一再扭、第九天 我趴在偏房一處隱蔽的房頂上張望弄唧。 院中可真熱鬧,春花似錦霍衫、人聲如沸候引。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽澄干。三九已至,卻和暖如春柠傍,著一層夾襖步出監(jiān)牢的瞬間麸俘,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,812評論 1 268
  • 我被黑心中介騙來泰國打工惧笛, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留从媚,地道東北人。 一個月前我還...
    沈念sama閱讀 47,693評論 2 368
  • 正文 我出身青樓患整,卻偏偏與公主長得像拜效,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子各谚,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,577評論 2 353

推薦閱讀更多精彩內(nèi)容