python爬取neuxs文件

背景

&snap;&snap;公司neuxs倉(cāng)庫(kù)中maven-metadata 文件經(jīng)常被刪掉,導(dǎo)致開(kāi)發(fā)中拉取不到依賴問(wèn)題搜囱。剛開(kāi)始懷疑是本地settings問(wèn)題或者是neuxs有定時(shí)任務(wù)自動(dòng)清理拱她。為了驗(yàn)證這個(gè)問(wèn)題魂拦,決定每天晚上和第二天早上拉取所有文件做下對(duì)比矢赁。

腳本

爬取文件

import requests
import json
import time
import os


# 訪問(wèn)nexus 遞歸獲取/com/xxx下面文件劣砍,寫入固定文件
def mvn_seenew(path, file_handle):
    url = "http://mvn.xxx.info/service/extdirect"
    payload = "{\"action\":\"coreui_Browse\",\"method\":\"read\",\"data\":[{\"repositoryName\":\"prod-public\",\"node\":\"" + path + "\"}],\"type\":\"rpc\",\"tid\":9}"
    headers = {
        'Content-Type': 'application/json'
    }

    response = requests.request("POST", url, headers=headers, data=payload)

    result = json.loads(response.text)

    data = result.get('result')
    if data:
        list = data.get('data')
        if list:
            for meta in list:
                file_handle.write(meta.get('id') + "\n")
                mvn_seenew(meta.get('id'), file_handle)


if __name__ == '__main__':
    num = time.strftime('%Y%m%d', time.localtime(time.time()))
    if (os.path.exists("/home/admin/python_tmp/" + num)):
        file_name = num + "-2"
    else:
        file_name = num
    file_handle = open(file_name, mode='w')
    mvn_seenew('com/xxx', file_handle)
    file_handle.close()

對(duì)比文件內(nèi)容

import difflib
import requests
import time

# 將文件對(duì)比結(jié)果輸出到html
def diff_file(out_file):
    num = time.strftime('%Y%m%d', time.localtime(time.time()))

    # 昨天的文件
    a = open((str(int(num)-1)+"-2"), 'r')
    ye = a.read()

    # 今天的文件
    b = open(num, 'r')
    td = b.read()

    text1_lines = ye.splitlines()
    text2_lines = td.splitlines()
    d = difflib.HtmlDiff()
    result = d.make_file(text1_lines, text2_lines)
    with open(out_file, 'w') as f:
        f.writelines(result)

# 將html 對(duì)比結(jié)果發(fā)送釘釘機(jī)器人
def send_ding(path):
    url = "https://oapi.dingtalk.com/robot/send?access_token=xxx"
    payload = "{\"msgtype\": \"text\",\"text\": {\"content\": \"nexus meta-data comparing the results:" + path + "\"}}"
    headers = {
        'Content-Type': 'application/json'
    }
    response = requests.request("POST", url, headers=headers, data=payload)


if __name__ == "__main__":
    diff_file("./diff.html")
    send_ding("http://xxxx:9000/diff.html")

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末哮幢,一起剝皮案震驚了整個(gè)濱河市带膀,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌橙垢,老刑警劉巖垛叨,帶你破解...
    沈念sama閱讀 216,372評(píng)論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異柜某,居然都是意外死亡嗽元,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,368評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門喂击,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)剂癌,“玉大人,你說(shuō)我怎么就攤上這事惭等≌涫郑” “怎么了?”我有些...
    開(kāi)封第一講書人閱讀 162,415評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵辞做,是天一觀的道長(zhǎng)琳要。 經(jīng)常有香客問(wèn)我,道長(zhǎng)秤茅,這世上最難降的妖魔是什么稚补? 我笑而不...
    開(kāi)封第一講書人閱讀 58,157評(píng)論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮框喳,結(jié)果婚禮上课幕,老公的妹妹穿的比我還像新娘厦坛。我一直安慰自己,他們只是感情好乍惊,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,171評(píng)論 6 388
  • 文/花漫 我一把揭開(kāi)白布杜秸。 她就那樣靜靜地躺著,像睡著了一般润绎。 火紅的嫁衣襯著肌膚如雪撬碟。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書人閱讀 51,125評(píng)論 1 297
  • 那天莉撇,我揣著相機(jī)與錄音呢蛤,去河邊找鬼。 笑死棍郎,一個(gè)胖子當(dāng)著我的面吹牛其障,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播涂佃,決...
    沈念sama閱讀 40,028評(píng)論 3 417
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼励翼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了巡李?” 一聲冷哼從身側(cè)響起抚笔,我...
    開(kāi)封第一講書人閱讀 38,887評(píng)論 0 274
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎侨拦,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體辐宾,經(jīng)...
    沈念sama閱讀 45,310評(píng)論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡狱从,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,533評(píng)論 2 332
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了叠纹。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片季研。...
    茶點(diǎn)故事閱讀 39,690評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖誉察,靈堂內(nèi)的尸體忽然破棺而出与涡,到底是詐尸還是另有隱情,我是刑警寧澤持偏,帶...
    沈念sama閱讀 35,411評(píng)論 5 343
  • 正文 年R本政府宣布驼卖,位于F島的核電站,受9級(jí)特大地震影響鸿秆,放射性物質(zhì)發(fā)生泄漏酌畜。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,004評(píng)論 3 325
  • 文/蒙蒙 一卿叽、第九天 我趴在偏房一處隱蔽的房頂上張望桥胞。 院中可真熱鬧恳守,春花似錦、人聲如沸贩虾。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 31,659評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)缎罢。三九已至伊群,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間屁使,已是汗流浹背在岂。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 32,812評(píng)論 1 268
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留蛮寂,地道東北人蔽午。 一個(gè)月前我還...
    沈念sama閱讀 47,693評(píng)論 2 368
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像酬蹋,于是被迫代替她去往敵國(guó)和親及老。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,577評(píng)論 2 353

推薦閱讀更多精彩內(nèi)容

  • 描述linux發(fā)行版的系統(tǒng)目錄名稱命名規(guī)則以及用途 由上面tree命令為我們提供的根目錄結(jié)構(gòu)來(lái)看范抓,文件系統(tǒng)在Lin...
    還沒(méi)幫馬里奧再闖一關(guān)閱讀 267評(píng)論 0 1
  • 用兩張圖告訴你骄恶,為什么你的 App 會(huì)卡頓? - Android - 掘金 Cover 有什么料? 從這篇文章中你...
    hw1212閱讀 12,712評(píng)論 2 59
  • [TOC] 6.1 協(xié)議設(shè)計(jì) 在實(shí)際應(yīng)用中匕垫, Kafka 經(jīng)常被用作高性能僧鲁、可擴(kuò)展的消息中間件 。 Kafka 自...
    tracy_668閱讀 1,184評(píng)論 0 6
  • [TOC] 一象泵、概述 上一篇文章python-定時(shí)爬取指定城市天氣(一)-發(fā)送給關(guān)心的微信好友中我們講述了怎么定時(shí)...
    Twowords閱讀 895評(píng)論 0 1
  • Python語(yǔ)言特性 1 Python的函數(shù)參數(shù)傳遞 看兩個(gè)如下例子寞秃,分析運(yùn)行結(jié)果: 代碼一: a = 1 def...
    伊森H閱讀 3,062評(píng)論 0 15