github 路徑：https://github.com/tsball/node-china-region-spider
node-china-region-spider 是一個(gè)基于 nodejs 技術(shù)讨衣，通過訪問中國(guó)統(tǒng)計(jì)局網(wǎng)，獲取省式镐、地級(jí)市反镇、區(qū)（縣）、鎮(zhèn)（街道）多層行政級(jí)別地區(qū)的名字 與 編號(hào)娘汞，并將數(shù)據(jù)保存到 SQLite 數(shù)據(jù)庫(kù)歹茶。
目錄結(jié)構(gòu)
1. 程序特點(diǎn)
- 支持采集不同的行政級(jí)別深度
- 支持采集指定的年份數(shù)據(jù)，并且支持不同年份數(shù)據(jù)對(duì)比你弦，為每年升級(jí)提供數(shù)據(jù)幫助
- 支持自定義多并發(fā)采集惊豺，提高整體的運(yùn)行效率
- 訪問超時(shí)自動(dòng)重試
- 支持?jǐn)帱c(diǎn)續(xù)采，避免被攔截后重新開始采集的代價(jià)
- 通過訪問頻率控制禽作，避免容易被服務(wù)器察覺并禁止訪問
2. 數(shù)據(jù)來源
數(shù)據(jù)來源于國(guó)家統(tǒng)計(jì)局網(wǎng)尸昧。
其中，不同年份的行政區(qū)域劃分： http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/
3. 技術(shù)構(gòu)成
數(shù)據(jù)采集：puppeteer
Puppeteer 是一個(gè)通過 DevTools Protocol 控制 headless Chrome or Chromium 瀏覽器的高級(jí) node 庫(kù)旷偿。-
數(shù)據(jù)存儲(chǔ)： SQLite 文件數(shù)據(jù)庫(kù)
使用 sequelize orm 進(jìn)行數(shù)據(jù)庫(kù)操作烹俗。推薦安裝 Navicat 客戶端爆侣，可以查看 SQLite 文件的數(shù)據(jù)。
nodejs 庫(kù)依賴管理：Yarn
默認(rèn)的源安裝 puppeteer 經(jīng)常因?yàn)榫W(wǎng)絡(luò)問題導(dǎo)致失敗幢妄，需要采用一下方式：
方式一：修改了源 .npmrc
type puppeteer_download_host = https://npm.taobao.org/mirrors
方式二：使用 npm 單獨(dú)安裝 puppeteer
PUPPETEER_DOWNLOAD_HOST=https://storage.googleapis.com.cnpmjs.org npm i puppeteer
4. 安裝
# 安裝所有的 js 依賴
yarn
5. 運(yùn)行
# 獲取最新的記錄
node index.js
# 獲取指定年份的記錄
node index.js -y 2016
# 獲取指定行政級(jí)別深度的數(shù)據(jù)（支持 province, city, district, town）
node index.js -d 3
6. 參數(shù)
# 查看參數(shù)指令
$ node index.js --help
| 參數(shù) | 簡(jiǎn)寫 | 值 | 默認(rèn)值 | 描述 |
|---|---|---|---|---|
| headless | h | y/n | n | 無頭模式（沒有界面） |
| depth | d | 1/2/3/4 | 3 | 采集指定行政級(jí)別深度的地區(qū)數(shù)據(jù) (provice/city/district/town) |
| year | y | 數(shù)字 | 2016 | 采集指定年份的數(shù)據(jù)兔仰。查看年份 |
| concurrency | c | 數(shù)字 | 3 | 并發(fā)請(qǐng)求數(shù) |
| interval | i | 毫秒 | 500 | 采集數(shù)據(jù)休息的間隙 |
| timeout | t | 毫秒 | 3000 | 超時(shí)重試的時(shí)間 |
