需求：spark 可以直接使用 textFile 讀取 HDFS禽车，但是不能判斷 hdfs 文件是否存在哗戈，不過 pyspark 可以調(diào)用 java...

需求：一次插入多條熄阻，獲取每條記錄的自增 ID 注意：獲取 ID 必須在 commit 之前蜘欲，否則獲取為 0

需求：服務(wù)器近幾日多次因?yàn)檫\(yùn)存不足導(dǎo)致重啟邪财，找到相應(yīng)程序運(yùn)行地址

使用隊(duì)列資源拷貝 HDFS 文件：

HDFS 若有子目錄，Spark 是不能遞歸讀取子目錄应狱，需要在 spark-submit 中配置以下參數(shù)：

需求：遍歷字典時(shí)共郭，刪除某個(gè) key 正常情況下是不能直接刪除的，需要借助其他方式： 優(yōu)化后：

需求：有數(shù)據(jù) urls侦香、data_list，現(xiàn)在需要根據(jù) urls 的順序來排序纽疟，最終輸出的結(jié)果 html_list罐韩、url_list 是相對(duì)應(yīng)...

es_client.indices.refresh(index=index_name)，若不指定 index會(huì)導(dǎo)致全局刷新

es.resource 可配置為： ES 別名 單個(gè)索引名/doc_type 索引1,索引2,索引3