緣起：
公司有個爬蟲項(xiàng)目睛藻，它會爬取一些指定的數(shù)據(jù)到測試服務(wù)器的數(shù)據(jù)庫，現(xiàn)狀是
⊙ρ怠①每日我早上啟動恨旱，到晚上關(guān)閉（中間可能會自動停）辈毯；
②我從測試服務(wù)器導(dǎo)出新增數(shù)據(jù)給老大搜贤，老大負(fù)責(zé)放到線上谆沃。
愿景：
①爬蟲定時自動啟停；
∫敲ⅰ②數(shù)據(jù)定時自動導(dǎo)出唁影，上傳到老大指定的一個位置，剩下的他接管掂名。
打怪記錄：
腳本1据沈，啟動爬蟲項(xiàng)目：
沒什么好說的，因?yàn)轫?xiàng)目已經(jīng)將所有爬蟲的啟動集中到main.py文件中饺蔑，記得改掉文件權(quán)限锌介。腳本2，殺死爬蟲項(xiàng)目：
問題①：根據(jù)進(jìn)程名中關(guān)鍵字殺死進(jìn)程及其子孫進(jìn)程的命令
ps -ef | grep procedure_name | grep -v grep | awk '{print $2}' | xargs kill -9腳本3，自動導(dǎo)出數(shù)據(jù)庫數(shù)據(jù)孔祸，上傳到服務(wù)器
問題①：數(shù)據(jù)庫是mysql隆敢，我使用mysqldump命令不想寫入明文密碼；
問題②：我導(dǎo)出的數(shù)據(jù)不想有創(chuàng)建表結(jié)構(gòu)的語句融击；
問題③：我導(dǎo)出數(shù)據(jù)時筑公，不想鎖表，因?yàn)榭赡芘老x還在爬尊浪，在輸出的文件里，也不想增加 LOCK TABLES t WRITE;
問題④：我只想導(dǎo)出時間是最新的數(shù)據(jù)封救。
解：這四個問題都可以在一行命令內(nèi)解決
mysqldump --default-file=配置文件 --no-create-info --single-transaction --add-locks=0 --where="time > today" --result-file=data.sql;
說明：
--default-file=文件路徑拇涤，通過配置文件連接mysql客戶端，解決了問題①誉结；
--no-create-info 表示不需要導(dǎo)出創(chuàng)建表結(jié)構(gòu)語句鹅士；
--single-transaction 導(dǎo)出數(shù)據(jù)的時候不需要對表加表鎖，不影響爬蟲惩坑；
--add-locks=0 表示輸出的文件里掉盅，沒有插入數(shù)據(jù)前的鎖表語句；
--where=條件以舒，可以指定要導(dǎo)出數(shù)據(jù)滿足的條件
問題⑤：shell腳本中怎樣獲取當(dāng)前日期并賦值給變量趾痘？
解：
獲取當(dāng)前日期tod=date +%Y-%m-%d（2019-03-08）
獲取昨天日期yes=date -d 'last day' +%Y%m%d（mac上試了不好使）crontab的配置：
參考
