久壑

Linux常用命令 查看系統(tǒng)信息常用命令 常用命令-關(guān)機(jī)或重啟命令 命令前結(jié)構(gòu)

久壑

變量及類(lèi)型 類(lèi)型: Numbers(數(shù)字): int(有符號(hào)整型) long(長(zhǎng)整型) float(浮點(diǎn)型) complex(復(fù)數(shù)) Boolean(布爾): Ture Fa...

久壑

Scrapy-Redis分布式爬蟲(chóng)組件 Scrapy是一個(gè)框架，他本身是不支持分布式的。如果我們想要做分布式的爬蟲(chóng)樟澜，就需要借助一個(gè)組件叫做Scrapy-Redis，這個(gè)組件正...

久壑

Scrapy框架架構(gòu) Scrapy框架介紹： 寫(xiě)一個(gè)爬蟲(chóng)，需要做很多的事情。比如：發(fā)送網(wǎng)絡(luò)請(qǐng)求情妖、數(shù)據(jù)解析、數(shù)據(jù)存儲(chǔ)诱担、反反爬蟲(chóng)機(jī)制（更換ip代理毡证、設(shè)置請(qǐng)求頭等）、異步請(qǐng)求等蔫仙。這...

久壑

一、原生Ajax 二施籍、Jquery中的Ajax 1居扒、$.ajax()：type為POST時(shí)，表示發(fā)送數(shù)據(jù)丑慎，type為GET時(shí)喜喂，表示接收數(shù)據(jù) 2瓤摧、$.post()：發(fā)送數(shù)據(jù) 3...

久壑

圖形驗(yàn)證碼識(shí)別技術(shù)： 阻礙我們爬蟲(chóng)的鸥昏。有時(shí)候正是在登錄或者請(qǐng)求一些數(shù)據(jù)時(shí)候的圖形驗(yàn)證碼。因此這里我們講解一種能將圖片翻譯成文字的技術(shù)姐帚。將圖片翻譯成文字一般被成為光學(xué)文字識(shí)別（...

久壑

多線(xiàn)程爬蟲(chóng) 有些時(shí)候吏垮，比如下載圖片，因?yàn)橄螺d圖片是一個(gè)耗時(shí)的操作罐旗。如果采用之前那種同步的方式下載膳汪。那效率肯會(huì)特別慢。這時(shí)候我們就可以考慮使用多線(xiàn)程的方式來(lái)下載圖片九秀。 多線(xiàn)程介...

久壑

動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)抓取 什么是AJAX： AJAX（Asynchronouse JavaScript And XML）異步JavaScript和XML遗嗽。過(guò)在后臺(tái)與服務(wù)器進(jìn)行少量數(shù)據(jù)...

久壑

redis教程： 概述 redis是一種支持分布式的nosql數(shù)據(jù)庫(kù),他的數(shù)據(jù)是保存在內(nèi)存中，同時(shí)redis可以定時(shí)把內(nèi)存數(shù)據(jù)同步到磁盤(pán)鼓蜒，即可以將數(shù)據(jù)持久化痹换，并且他比memc...

久壑

json文件處理： 什么是json： JSON(JavaScript Object Notation, JS 對(duì)象標(biāo)記) 是一種輕量級(jí)的數(shù)據(jù)交換格式。它基于 ECMAScri...

久壑

正則表達(dá)式和re模塊： 什么是正則表達(dá)式： 通俗理解：按照一定的規(guī)則都弹，從某個(gè)字符串中匹配出想要的數(shù)據(jù)娇豫。這個(gè)規(guī)則就是正則表達(dá)式。標(biāo)準(zhǔn)答案：https://baike.baidu...

久壑

1. 寫(xiě)一個(gè)郵箱地址的正則表達(dá)式畅厢？ 2. 談一談你對(duì) Selenium 和 PhantomJS 了解 Selenium 是一個(gè)Web 的自動(dòng)化測(cè)試工具锤躁，可以根據(jù)我們的指令，讓...

久壑

BeautifulSoup4庫(kù) 和 lxml 一樣或详，Beautiful Soup 也是一個(gè)HTML/XML的解析器系羞，主要的功能也是如何解析和提取 HTML/XML 數(shù)據(jù)。lx...