前言 也玩了蠻久的scrapy了，scrapy底層用到的twisted還是要學(xué)習(xí)一下的沼填，了解原理能提高自己的技術(shù)水平的說 異步編程 如果在某程序的運行時桅咆，能根據(jù)已經(jīng)執(zhí)行的指令...
發(fā)簡信
IP屬地：甘肅
-
學(xué)習(xí)twisted_1 基本 -
python 裝飾器詳解
前言 這篇文章打算寫下關(guān)于python3中裝飾器的一些認(rèn)識，提高一下知識水平 1 裝飾器是啥 裝飾器本質(zhì)上是一個 Python 函數(shù)／類坞笙，它可以讓其他函數(shù)／類在不需要做任何代...
-
分布式爬取豆瓣電影1 前言 前一陣子看了不少關(guān)于分布式爬蟲系統(tǒng)的設(shè)計相關(guān)的博客岩饼，現(xiàn)在也想寫個練練手，就拿大家都喜歡看的豆瓣電影做個測試好了薛夜，代碼的框架結(jié)構(gòu)如圖所示 編程之前需要熟悉： redi...
-
消息隊列RabbitMQ
前言 用多臺機器爬取數(shù)據(jù)時籍茧，用消息隊列的方式同步和更新任務(wù)不管是可維護性還是擴展性都是相對較為合適的方案，RabbitMQ就是一個比較合適消息隊列解決方案 安裝 基本上 安裝...
-
機器學(xué)習(xí)入坑之logistic回歸分析
前言 不管是興趣還是趨勢梯澜，筆者開始嘗試入坑機器學(xué)習(xí)寞冯，慢慢做一點筆記學(xué)習(xí)下。腊徙。由于是菜鳥简十，數(shù)學(xué)原理就不寫了，貼一些流程和公式撬腾，專業(yè)詞匯可能也有點不到位問題螟蝙。這里記錄的是怎么訓(xùn)練...
-
learning scrapy 讀書筆記通過閱讀 《learning scrapy》這本書提高自己的爬蟲知識水平，記錄些覺得比較有意思的地方吧 1 xpath xpath是查找元素節(jié)點的重要工具民傻。入門的話自行百度胰默，...
-
selenium +phantomjs 爬取網(wǎng)易云音樂的評論信息1.前言 網(wǎng)易云音樂的網(wǎng)頁端與服務(wù)端通訊做了加密，本人才疏學(xué)淺破解不了漓踢，于是考慮用selenium +phantomjs的方式爬取牵署，selenium 用pip install...
-
爬蟲服務(wù)端學(xué)習(xí)研究（Flask+MongoDB+Nginx）
在筆者淺顯的認(rèn)識中，一個簡單的分布式爬蟲雛形就是爬蟲客戶端通過RESTAPI和 爬蟲服務(wù)端通訊喧半，做的事情應(yīng)該是發(fā)布和領(lǐng)取爬取任務(wù)奴迅，同時能夠?qū)⑴廊∠聛頂?shù)據(jù)做一個文件存儲，現(xiàn)在開...
-
MongoDB windows基本操作
作為一個爬蟲挺据，數(shù)據(jù)還是需要的取具，數(shù)據(jù)量不是很大的時候脖隶，MongoDB用起來挺方便的，大概寫下window上怎么用暇检，做個筆記 1.安裝 去官網(wǎng)下載各個版本下載選個適合的3.x的版...
-
anyproxy抓包入門使用anyproxy是爬移動app的好幫手产阱，作為中間人攻擊的中間人，可以拿到請求和響應(yīng)块仆，先來看下怎么用 1.安裝 2.啟動 啟動成功后會在可以直接訪問 8002端口 進入anyp...
-
流暢的python學(xué)習(xí)筆記1
筆者使用python為3.41.字典字典中取不存在的值的時候构蹬，會拋出keyerror錯誤，那么怎么實現(xiàn)返回默認(rèn)值呢悔据？ 這種寫法會返回默認(rèn)值“d” 有些字典是配置項參數(shù)需要避免...
-
爬蟲系列二之爬取微博用戶1.爬取思路從一個用戶的關(guān)注列表入手庄敛，爬取所有他關(guān)注的用戶（微博限制只能看到200個），然后再以這200個入手蜜暑，爬取這200個關(guān)注的铐姚。200*200 然后以此類推。由于微博的...
-
爬蟲系列一之爬取旅游網(wǎng)站圖片前言 接下來的一段時間里肛捍，將完成一個爬蟲系列文章，各位請慢慢看之众，也請慢慢點贊這一節(jié)先講講大致工具和目標(biāo)吧 1 目標(biāo)和工具 作為菜鳥先從爬圖片入手吧拙毫，下手目標(biāo)就是 螞蜂窩旅游...
-
阿里云搭建自己的私有g(shù)it repo
簡介 本文主要描述怎么在阿里云（Ubuntu）上搭建自己的git倉庫，便于日常開發(fā)和使用 詳細流程 注意以下步驟均為 阿里云root ssh登錄后直接在命令行輸入1棺禾、 安裝g...
-
python調(diào)用gradle實現(xiàn)Android打包
簡述 正常情況下用Jenkins直接實現(xiàn)apk打包是最方便的缀蹄，但是要是代碼是由多個倉庫的代碼組合起來的話，Jenkins操作起來也比較麻煩膘婶，這里就用python代碼實現(xiàn)了下缺前，...
-
加快apk的構(gòu)建速度，如何把編譯時間從130秒降到17秒
本文已授權(quán)微信公眾號：鴻洋（hongyangAndroid）原創(chuàng)首發(fā) 公司的項目代碼比較多悬襟，每次調(diào)試改動java文件后要將近2分鐘才能跑起來衅码，實在受不了。在網(wǎng)上找了一大堆配置...
-
美團walle多渠道打包工具的原理分析以及python實現(xiàn)簡介 這篇文章主要講了美團walle多渠道打包工具的基本原理脊岳，并且基于此原理利用python實現(xiàn)類似功能逝段，然后用walle工具將python寫入的渠道號讀出，python采用...
-
Android gradle打包并自動上傳簡介 這篇文章主要介紹Android用gradle打包割捅，并且調(diào)用python腳本將打包好的apk上傳到fir.im供相關(guān)人員下載,對于學(xué)習(xí)gradle 打包和python 幾...
-
android上 kotlin 和jni的混合使用
前言 本文探討一下kotlin和jni的混合使用奶躯，綜合考慮，jni的入口函數(shù)采用java編程亿驾，其他的android業(yè)務(wù)邏輯采用kotlin編程嘹黔。c程序內(nèi)容是自己在ubuntu...