社交達(dá)人叔本華

最近學(xué)習(xí)了spark 相關(guān)的內(nèi)容似谁，寫(xiě)個(gè)筆記記錄一下自己目前對(duì)于spark的理解傲绣，方便以后查閱掠哥。在本文的寫(xiě)作過(guò)程中秃诵，主要參考了1.寬依賴(lài)與窄依賴(lài)的區(qū)別;2.spark中幾個(gè)概念...

妄心xyx

顯示有限的接口到外部 當(dāng)發(fā)布python第三方package時(shí), 并不希望代碼中所有的函數(shù)或者class可以被外部import, 在init.py中添加all屬性, 該lis...

測(cè)試游記

動(dòng)態(tài)頁(yè)面與靜態(tài)頁(yè)面 比較常見(jiàn)的頁(yè)面形式可以分為兩種： 靜態(tài)頁(yè)面 動(dòng)態(tài)頁(yè)面 靜態(tài)頁(yè)面和動(dòng)態(tài)頁(yè)面的區(qū)別 使用requests進(jìn)行數(shù)據(jù)獲取的時(shí)候一般使用的是respond.text...

小怪聊職場(chǎng)

一、定義Item Item是保存爬取到的數(shù)據(jù)的容器顷链，其使用方法和python字典類(lèi)似目代，并且提供了額外保護(hù)機(jī)制來(lái)避免拼寫(xiě)錯(cuò)誤導(dǎo)致的未定義字段錯(cuò)誤嗤练。 類(lèi)似在ORM中做的一樣榛了，我們...

小怪聊職場(chǎng)

前面我們?cè)趯?xiě)爬取豆瓣讀書(shū)內(nèi)容示例中提到了XPath，本文就詳細(xì)介紹下在爬蟲(chóng)中如何使用XPath選擇器煞抬，掌握本文中的內(nèi)容霜大，將解決98%在爬蟲(chóng)中利用XPath提取元素的需求。 一...

社交達(dá)人叔本華

Sebastian Ruder 大神又出新啦残拐，是對(duì)今年EMNLP大會(huì)的５００篇論文的總結(jié)和分析途茫，搬運(yùn)搬運(yùn)溪食。原博客在這里。該文將大會(huì)的論文分成了下面７個(gè)大類(lèi)错沃，我也將會(huì)一一搬運(yùn)栅组。...