原文請移步我的博客：TCMalloc解密 寫在前面 本文首先簡單介紹TCMalloc及其使用方法，然后解釋TCMalloc替代系統(tǒng)的內存分配函數的原理，然后從宏觀上討論其內存...
發(fā)簡信
IP屬地：山東
-
TCMalloc解密 -
最簡單的勿负，各個截圖計算phash做鹰，10張圖合并出一個大的hash值作為視頻的hash值蜂绎，然后算距離颅停；不過如果是想拿來做視頻相似度分析的話尺迂，這種效率很差，效果也不好硅则，最多只能找出加了水印的視頻淹父，如果視頻稍微加了個片頭改變了時長，就沒辦法了怎虫；
較大規(guī)模圖片 使用phash去重
起因 先說下為什么要做這個事暑认。做的圖片站的圖片來源為很多美女圖片站，自然地大审，會有很多重復的圖片蘸际，而我的目標就是要把重復的圖片找出來，剔除掉或者是做其他處理徒扶。 什么樣的圖片屬于...
-
是指result 中會有重復嗎粮彤？理論上是會有的，但是也沒啥問題吧姜骡；如果要不重復导坟，list換成set就完事了
較大規(guī)模圖片 使用phash去重
起因 先說下為什么要做這個事。做的圖片站的圖片來源為很多美女圖片站圈澈，自然地惫周，會有很多重復的圖片，而我的目標就是要把重復的圖片找出來康栈，剔除掉或者是做其他處理闯两。 什么樣的圖片屬于...
-
如果只是兩兩對比的話，可以考慮下sift谅将，無視旋轉之類的變化
較大規(guī)模圖片 使用phash去重
起因 先說下為什么要做這個事。做的圖片站的圖片來源為很多美女圖片站重慢，自然地饥臂，會有很多重復的圖片，而我的目標就是要把重復的圖片找出來似踱，剔除掉或者是做其他處理隅熙。 什么樣的圖片屬于...
-
scons 簡單入門
簡單入門 hello world scons由Sconstruct 作為入口，控制如何進行編譯操作核芽。Sconstruct 本身是一個python文件囚戚，故需要遵循python的...
-
布隆過濾器擴容及刪除過期數據
我們知道，布隆過濾器是不可變的轧简，但如果布隆過濾器容量確實不夠了驰坊，該怎么辦呢？或者如果要每個月都刪除幾個月前的去重數據哮独，該如何處理呢拳芙？這邊要記錄一種布隆過濾器的巧用察藐，多個布隆過...
-
golang hijack打開方式
簡介Hijack Hijack()可以將HTTP對應的TCP連接取出，連接在Hijack()之后舟扎，HTTP的相關操作就會受到影響分飞，調用方需要負責去關閉連接《孟蓿看一個簡單的例子譬猫。...
-
groupcache源碼中幾個有趣的點
簡介 groupcache is a caching and cache-filling library, intended as a replacement for mem...
-
對go中function type的一點思考
function type 可以理解為一組擁有相同參數類型和結果類型的方法的集合。我看也有人管他叫接口型函數羡疗。 A function type denotes the set...
-
品讀 werkzeug reloader 實現機制
werkzeug使用reloader可以在文件被改變時自動加載更改過的文件染服，使用方法也很簡單，run_simple('localhost', 4000, applicatio...
-
TIME_WAIT狀態(tài)存在的意義
什么時候會TIME_WAIT TCP在關閉的時候有個四次揮手的過程顺囊，主動關閉方在四次揮手的最后一個ACK發(fā)送之后會變成TIME_WAIT狀態(tài)肌索。 主動關閉方 跟握手不同，揮手可...
-
簡析pyspider
pyspider優(yōu)勢所在 pyspider非常適合那種很小很雜的爬蟲的管理特碳，比如有100個小網站诚亚，規(guī)則又各不相同，我要獲取他的一些很簡單的內容午乓，如標題站宗，所有的圖片，正文內容益愈。...
-
基于asyncio實現的異步協程爬蟲
前言 以下內容是看500 lines or less中 A Web Crawler With asyncio Coroutines這個章節(jié)后做的一些記錄梢灭。 一個最簡單的爬蟲 ...
-
kubernetes中部署spark集群
在寫這個的時候，spark版本為2.2.1蒸其。 基于kubernetes部署的兩種方式 直接使用kubernetes作為集群管理器(Cluster Manager)敏释，類似與me...
-
優(yōu)雅關閉以及機器kubernetes pods
優(yōu)雅啟動 很常見的一個場景，一個服務剛啟動摸袁，可能會有一堆東西要加載（比如我這邊需要讀數據庫中一堆東西）需要一些時間钥顽，而這段時間里，我不希望kubernetes 把請求打到這些...
-
kafka-python 獲取topic lag值
說真靠汁，這個問題看上去很簡單蜂大，但“得益”與kafka-python神奇的文檔，真的不算簡單蝶怔，反正我是搜了半天還看了半天源碼奶浦。直接上代碼吧
-
一種神奇的批量創(chuàng)建類的方法--參照namedtuple
namedtuple是一個很神奇的東西，在看kafka-python的時候看到了很多地方用到了這玩意踢星。用法也非常簡單 很方便的創(chuàng)建一個父類為tuple的類澳叉，且可以用kv對的方...