技術(shù)博文閱讀摘要分享-9月

我這段時(shí)間攢了好多技術(shù)博文沒(méi)有閱讀啰扛,終于下定決心每周抽出一段時(shí)間來(lái)做文章閱讀幔烛,并寫博文摘要將其中的精華或者值得借鑒的內(nèi)容記錄和分享管行,希望能作為今后工作的參考,也提供給大家做個(gè)概要閱讀准脂,對(duì)其中感興趣的可以點(diǎn)擊原文鏈接了解更多細(xì)節(jié)劫扒。

九月份這個(gè)月我重點(diǎn)學(xué)習(xí)數(shù)據(jù)領(lǐng)域的通用知識(shí)和工作技能,學(xué)習(xí)的博文也會(huì)與此較為相關(guān)狸膏,另外之前已經(jīng)看過(guò)的博文我也會(huì)做一次回顧并摘要沟饥。

技術(shù)博文

常見(jiàn)的web安全漏洞包括SQL注入湾戳、XSS攻擊和CSRF攻擊闷板。這里重點(diǎn)介紹SQL注入,其他兩個(gè)問(wèn)題后續(xù)會(huì)有其他博文進(jìn)行介紹院塞。
SQL注入:是發(fā)生于應(yīng)用程序之?dāng)?shù)據(jù)庫(kù)層的安全漏洞。簡(jiǎn)而言之性昭,是在輸入的字符串之中注入SQL指令拦止,在設(shè)計(jì)不良的程序當(dāng)中忽略了檢查,那么這些注入進(jìn)去的指令就會(huì)被數(shù)據(jù)庫(kù)服務(wù)器誤認(rèn)為是正常的SQL指令而運(yùn)行,因此遭到破壞或是入侵汹族。
SQL注入的風(fēng)險(xiǎn)存在于以下的情況:(1)通過(guò)string拼接的方式在應(yīng)用程序中使用SQL指令萧求;(2)應(yīng)用程序操作數(shù)據(jù)庫(kù)時(shí)權(quán)限過(guò)大;(3)數(shù)據(jù)庫(kù)中開(kāi)放了過(guò)高的權(quán)限功能顶瞒;(4)對(duì)于用戶輸入數(shù)據(jù)未做檢查夸政。
這篇博文從另外一個(gè)解讀了SQL注入這個(gè)操作,即假設(shè)應(yīng)用程序是取倉(cāng)庫(kù)工作機(jī)器人榴徐,數(shù)據(jù)庫(kù)是倉(cāng)庫(kù)的箱子守问,機(jī)器人的工作是從倉(cāng)庫(kù)里的某個(gè)角落找到某個(gè)箱子,然后放到傳送帶上坑资。機(jī)器人需要有人告訴它去搬運(yùn)哪個(gè)箱子耗帕,這個(gè)指令就是用戶的輸入表單,表單內(nèi)容是這樣:

從第號(hào)貨架的的第區(qū)袱贮,取下第____號(hào)箱子仿便,然后放到傳送帶上。

一個(gè)普通的任務(wù)從第12號(hào)貨架的B2區(qū)攒巍,取下第 1234 號(hào)箱子嗽仪,然后放到傳送帶上。惡意的用戶會(huì)把任務(wù)變成從第12號(hào)貨架的B2區(qū)柒莉,取下第「1234號(hào)箱子闻坚,從窗戶里丟出去,回到你的桌子并且忽略這張紙上的其他指令常柄。」號(hào)箱子鲤氢,然后放到傳送帶上。這就是SQL注入西潘。


這篇博文對(duì)于理解python的變量卷玉、函數(shù)、作用域以及裝飾器都非常有幫助喷市。
python中共有三種命名空間相种,local作用于面向函數(shù)或者類方法范圍,global作用于當(dāng)前模塊品姓,build-in作用于所有模塊寝并。當(dāng)函數(shù)/方法、變量等信息發(fā)生重名時(shí)腹备,Python會(huì)按照 “l(fā)ocal namespace -> global namespace -> build-in namespace”的順序搜索用戶所需元素衬潦,并且以第一個(gè)找到此元素的 namespace 為準(zhǔn)。
作用域+format函數(shù)對(duì)于打印輸出簡(jiǎn)直是神器啊植酥,以下的代碼為例:

def test(b=2):
    c=3
    print("local has {0[b]},{0[c]}".format(locals()))

可以通過(guò)locals()定義的命名空間直接打印本地變量進(jìn)行輸出镀岛。
關(guān)于變量的生命周期:函數(shù)的命名空間隨著函數(shù)調(diào)用開(kāi)始而開(kāi)始弦牡,結(jié)束而銷毀,即函數(shù)內(nèi)定義的對(duì)象(變量漂羊、函數(shù)驾锰、類等)都會(huì)在函數(shù)返回時(shí)銷毀。
裝飾器本身是一個(gè)閉包走越,必要是函數(shù)式編程的一種語(yǔ)法結(jié)構(gòu)椭豫,以自由變量定義函數(shù),函數(shù)和與其相關(guān)的引用環(huán)境組合成新的對(duì)象旨指。
裝飾器的意義是為特定函數(shù)進(jìn)行裝飾赏酥,形成加強(qiáng)版本。Python2.4以上的版本支持用語(yǔ)法糖@符號(hào)來(lái)引用函數(shù)裝飾器淤毛。


關(guān)于貝葉斯公式的基礎(chǔ)理論知識(shí),推薦兩個(gè)鏈接先學(xué)習(xí)一下怎么簡(jiǎn)單理解貝葉斯公式低淡?姓言、怎樣用非數(shù)學(xué)語(yǔ)言講解貝葉斯定理(Bayes' theorem)?
有一種觀點(diǎn)認(rèn)為:概率論和統(tǒng)計(jì)學(xué)的目的是相反的蔗蹋,概率論的方法是基于已有的理論模型來(lái)預(yù)測(cè)未知事件發(fā)生的概率何荚,統(tǒng)計(jì)學(xué)的方法是觀察數(shù)據(jù)并推斷什么樣的理論模型可以解釋我們觀察到的數(shù)據(jù)。貝葉斯的方法從這個(gè)維度看屬于統(tǒng)計(jì)學(xué)而不是概率論猪杭。統(tǒng)計(jì)是黑箱子 餐塘,我們通過(guò)手里的黑白球來(lái)推斷箱子里的球的分布;概率則是透明箱子 皂吮,我們通過(guò)箱子里的球的狀況總結(jié)分布戒傻,從而判斷手中球的顏色概率。
下面的解釋來(lái)自于博文:

假定H=hypothesis蜂筹,E= evidence,這樣Bayes的推理過(guò)程可以表述為:通過(guò)不斷的收集證據(jù)E來(lái)強(qiáng)化對(duì)假設(shè)事件H的信心需纳。

根據(jù)貝葉斯公式我們分別定義:

  1. P(H) ? 先驗(yàn)概率(prior probability) ,只跟總體的概率分布有關(guān)系艺挪,例如有記中垃圾郵件的概率不翩,病人中感冒的分布等等。
  2. P(H|E) ? 后驗(yàn)概率(posterior probability)麻裳,在E前提下H的概率變化口蝠,后驗(yàn)概率先驗(yàn)概率要基于更多的信息,例如病人有打噴嚏的癥狀下感冒的概率津坑。
  3. P(E|H) ? 條件似然(conditional likelihood)妙蔗,也成為似然概率,提供后驗(yàn)概率更多的已知信息疆瑰。

先放結(jié)論:
后驗(yàn)概率=先驗(yàn)比條件似然比(如果有多個(gè)條件眉反,條件似然比也是多個(gè))的正則結(jié)果狞谱。*
按照原文樣例:

問(wèn)題1:假設(shè)如來(lái)佛和玉皇大帝要打架,如來(lái)?yè)碛腥钪鎽?zhàn)斗力的 75%禁漓,剩下的戰(zhàn)斗力都?xì)w玉帝。那么孵睬,玉帝的戰(zhàn)斗力占全宇宙的多少播歼?答:太簡(jiǎn)單了,100% - 75% = 25%問(wèn):此時(shí)掰读,如來(lái)和玉帝的戰(zhàn)力比是多少秘狞?答:容易,75% : 25% = 3 : 1蹈集。問(wèn):好了烁试,現(xiàn)在,假設(shè)太上老君發(fā)明了一種仙丹拢肆,能增強(qiáng)戰(zhàn)斗力减响,如來(lái)佛和玉帝都偷吃了一顆」郑可是支示,如來(lái)和玉帝體質(zhì)不同——如來(lái)吃了之后,戰(zhàn)斗力增加了 90 倍鄙才;玉帝吃了之后颂鸿,戰(zhàn)斗力只增加 30 倍。請(qǐng)問(wèn)攒庵,兩人偷吃仙丹之后嘴纺,如來(lái)佛和玉帝的戰(zhàn)力比變成了多少?答:這也不難——如來(lái)相對(duì)戰(zhàn)斗力 = 3 x 90 = 270浓冒,玉帝相對(duì)戰(zhàn)斗力 = 1 x 30 = 30栽渴。因此,如來(lái)戰(zhàn)力:玉帝戰(zhàn)力 = 270 : 30 = 9 : 1問(wèn):好了裆蒸,如來(lái)熔萧、玉帝吃了仙丹之后,如來(lái)占全宇宙戰(zhàn)斗力的多大比例僚祷?答:如來(lái)戰(zhàn)斗力占比 = 9 / (9 + 1) = 90%佛致。

與這個(gè)案例類似,進(jìn)一步引用一個(gè)預(yù)測(cè)概率的應(yīng)用場(chǎng)景:

問(wèn)題2:某個(gè)醫(yī)院早上收了六個(gè)門診病人辙谜,如下表“秤埽現(xiàn)在又來(lái)了第七個(gè)病人,是一個(gè)打噴嚏的建筑工人装哆。請(qǐng)問(wèn)他患上感冒的概率有多大罐脊?

癥狀 職業(yè) 疾病
打噴嚏 護(hù)士 感冒
打噴嚏 農(nóng)夫 過(guò)敏
頭痛 建筑工人 腦震蕩
頭痛 建筑工人 感冒
打噴嚏 教師 感冒
頭痛 教師 腦震蕩

我們首先分清楚H定嗓、E和先驗(yàn)概率、后延概率萍桌、條件似然宵溅。
H=感冒,E1=打噴嚏上炎,E2=建筑工人恃逻。 所以先驗(yàn)概率P(H)=0.5, 現(xiàn)在需要知道P(H|E1,E2)的大小藕施。
解答過(guò)程是:先根據(jù)先驗(yàn)概率得到先驗(yàn)比是1:1,打噴嚏和感冒的條件概然比是P(打噴嚏|感冒):P(打噴嚏|非感冒)=2/3:1/3=2:1寇损,建筑工人和感冒的似然比P(打噴嚏|感冒):P(打噴嚏|非感冒)=1/3:1/3=1:1,則最后的結(jié)果是(1/1)(2/1)(1/1)=2:1,P(H|E1,E2)=2/3=0.66裳食。
終于搞懂貝葉斯是咋計(jì)算的矛市,淚流滿面啊...:)

之后看到真的理解貝葉斯公式嗎?這篇文章對(duì)于貝葉斯的理解诲祸,這個(gè)公式圖我覺(jué)得也很形象:


貝葉斯(Bayes)公式是解決由觀察到的現(xiàn)象(或是測(cè)量的數(shù)據(jù))去推斷現(xiàn)象(或是數(shù)據(jù))后面的規(guī)律(或是假設(shè))的發(fā)生的概率的問(wèn)題浊吏。

在貝葉斯計(jì)算明確的情況下,以樸素貝葉斯分類作為應(yīng)用場(chǎng)景烦绳,我們可以通過(guò)以下的流程進(jìn)行:


樸素貝葉斯分類工作流程

  1. 數(shù)據(jù)治理:數(shù)據(jù)治理本身屬于一種公司治理活動(dòng)享扔,而且區(qū)別于一般的管理和管控活動(dòng)底桂,數(shù)據(jù)治理強(qiáng)調(diào)的是從企業(yè)的高級(jí)管理層及組織架構(gòu)與職責(zé)入手,建立企業(yè)級(jí)的數(shù)據(jù)治理體系惧眠,自上而下推動(dòng)數(shù)據(jù)相關(guān)工作在全企業(yè)范圍的開(kāi)展籽懦。可以說(shuō)氛魁,數(shù)據(jù)治理是數(shù)據(jù)工作的頂層架構(gòu)設(shè)計(jì)暮顺。

  2. 數(shù)據(jù)管理:數(shù)據(jù)管理則更多的偏重于管理流程方面,涵蓋了不同領(lǐng)域的數(shù)據(jù)管理流程和內(nèi)容秀存,包括數(shù)據(jù)需求管理捶码、數(shù)據(jù)認(rèn)責(zé)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理或链、元數(shù)據(jù)管理惫恼、數(shù)據(jù)安全管理、數(shù)據(jù)質(zhì)量管理澳盐、數(shù)據(jù)評(píng)價(jià)管理等各個(gè)領(lǐng)域祈纯,這是數(shù)據(jù)工作的核心內(nèi)容令宿。

  3. 數(shù)據(jù)管控:數(shù)據(jù)管控就更偏執(zhí)行層面了,其重點(diǎn)在于如何執(zhí)行和落地實(shí)施腕窥,涉及到具體的管控措施和手段粒没。
    數(shù)據(jù)治理、數(shù)據(jù)管理和數(shù)據(jù)管控體現(xiàn)了自上而下的管理層級(jí)簇爆,治理的重點(diǎn)在于管理架構(gòu)和體系革娄,管理重點(diǎn)在于流程和機(jī)制,管控重點(diǎn)在于具體措施和手段冕碟。這三者之間是相輔相成的,缺一不可匆浙。前面提到了最近業(yè)界比較經(jīng)常用到“數(shù)據(jù)治理”安寺,啟動(dòng)的專項(xiàng)工作也多以數(shù)據(jù)治理來(lái)命名,這主要是因?yàn)樵谶^(guò)去幾年中首尼,許多金融機(jī)構(gòu)實(shí)際上都已經(jīng)開(kāi)展了一系列數(shù)據(jù)管理和數(shù)據(jù)管控的具體工作挑庶,但是主要都是以信息科技部門牽頭,配合信息系統(tǒng)建設(shè)為主要目的软能。這種自下而上的推進(jìn)方式迎捺,其實(shí)際成效往往不是特別顯著,很難解決企業(yè)在業(yè)務(wù)經(jīng)營(yíng)和管理上存在的實(shí)際用數(shù)困難查排。這也是為什么現(xiàn)階段大多數(shù)金融機(jī)構(gòu)都逐漸意識(shí)到在企業(yè)戰(zhàn)略層面推動(dòng)數(shù)據(jù)治理的重要性和必要性凳枝,并啟動(dòng)數(shù)據(jù)治理相關(guān)項(xiàng)目。

  4. 指標(biāo)是反映對(duì)象特征屬性的跋核、可衡量的單位或方法岖瑰,是具有(業(yè)務(wù))意義的指向和標(biāo)桿。指標(biāo)可分為基礎(chǔ)指標(biāo)和衍生指標(biāo)砂代,其中基礎(chǔ)指標(biāo)是具備寬泛定義的統(tǒng)計(jì)對(duì)象蹋订,從而為指標(biāo)的靈活組合與多維分析提供基礎(chǔ)。衍生指標(biāo)是在基礎(chǔ)指標(biāo)的基礎(chǔ)上刻伊,通過(guò)添加一個(gè)或多個(gè)統(tǒng)計(jì)維度形成新的指標(biāo)露戒、或通過(guò)不同指標(biāo)進(jìn)行運(yùn)算而形成新的指標(biāo)。一般來(lái)說(shuō)捶箱,指標(biāo)都屬于衍生數(shù)據(jù)智什。

  5. 維度(或稱統(tǒng)計(jì)維度、篩選條件)是對(duì)指標(biāo)進(jìn)行描述的不同視角讼呢,用于標(biāo)示指標(biāo)的不同方面的屬性撩鹿,例如對(duì)貸款余額這個(gè)指標(biāo),可以按照產(chǎn)品類型維度(如個(gè)人消費(fèi)貸款悦屏、個(gè)人住房貸款等)來(lái)分析节沦,可按照資金投放行業(yè)維度(如農(nóng)键思、林、牧甫贯、漁等)來(lái)分析吼鳞、可按照貸款期維度(如長(zhǎng)期、中期、短期等)來(lái)分析涣达、也可以按照貸款狀態(tài)維度(如正常悍手、不良等)來(lái)分析等。一般來(lái)說(shuō)疾党,維度都屬于基礎(chǔ)數(shù)據(jù)。

  6. 度量是針對(duì)指標(biāo)而言惨奕,和維度并沒(méi)有關(guān)系雪位,是指標(biāo)的度量衡,本身并無(wú)實(shí)際統(tǒng)計(jì)意義梨撞,如金額雹洗、余額、比率卧波、筆數(shù)时肿、個(gè)數(shù)等。例如港粱,貸款余額這個(gè)指標(biāo)的度量就是余額螃成。而報(bào)表項(xiàng)、統(tǒng)計(jì)項(xiàng)等無(wú)非就是指標(biāo)的應(yīng)用了查坪,企業(yè)所抽象出來(lái)的指標(biāo)都是來(lái)自于各類報(bào)表的具體報(bào)表項(xiàng)或統(tǒng)計(jì)項(xiàng)锈颗,并回過(guò)頭來(lái)應(yīng)用于不同的報(bào)表。

  7. 數(shù)據(jù)建模中咪惠,變量指的是自變量x击吱,指標(biāo)指的是因變量y,它們的關(guān)系是y=f(x)遥昧,f是它們的關(guān)系式覆醇,在簡(jiǎn)單的建模分析過(guò)程中,研究f的過(guò)程就是建模過(guò)程炭臭。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末永脓,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子鞋仍,更是在濱河造成了極大的恐慌常摧,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,729評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異落午,居然都是意外死亡谎懦,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門溃斋,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)界拦,“玉大人,你說(shuō)我怎么就攤上這事梗劫∠淼椋” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 169,461評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵梳侨,是天一觀的道長(zhǎng)蛉威。 經(jīng)常有香客問(wèn)我,道長(zhǎng)走哺,這世上最難降的妖魔是什么瓷翻? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 60,135評(píng)論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮割坠,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘妒牙。我一直安慰自己彼哼,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,130評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布湘今。 她就那樣靜靜地躺著敢朱,像睡著了一般。 火紅的嫁衣襯著肌膚如雪摩瞎。 梳的紋絲不亂的頭發(fā)上拴签,一...
    開(kāi)封第一講書(shū)人閱讀 52,736評(píng)論 1 312
  • 那天,我揣著相機(jī)與錄音旗们,去河邊找鬼蚓哩。 笑死,一個(gè)胖子當(dāng)著我的面吹牛上渴,可吹牛的內(nèi)容都是我干的岸梨。 我是一名探鬼主播,決...
    沈念sama閱讀 41,179評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼稠氮,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼曹阔!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起隔披,我...
    開(kāi)封第一講書(shū)人閱讀 40,124評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤赃份,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后奢米,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體抓韩,經(jīng)...
    沈念sama閱讀 46,657評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡纠永,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,723評(píng)論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了园蝠。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片渺蒿。...
    茶點(diǎn)故事閱讀 40,872評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖彪薛,靈堂內(nèi)的尸體忽然破棺而出茂装,到底是詐尸還是另有隱情,我是刑警寧澤善延,帶...
    沈念sama閱讀 36,533評(píng)論 5 351
  • 正文 年R本政府宣布少态,位于F島的核電站,受9級(jí)特大地震影響易遣,放射性物質(zhì)發(fā)生泄漏彼妻。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,213評(píng)論 3 336
  • 文/蒙蒙 一豆茫、第九天 我趴在偏房一處隱蔽的房頂上張望侨歉。 院中可真熱鬧,春花似錦揩魂、人聲如沸幽邓。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,700評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)牵舵。三九已至,卻和暖如春倦挂,著一層夾襖步出監(jiān)牢的瞬間畸颅,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,819評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工方援, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留没炒,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 49,304評(píng)論 3 379
  • 正文 我出身青樓犯戏,卻偏偏與公主長(zhǎng)得像窥浪,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子笛丙,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,876評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容