目錄：
1峭咒、Scrapy爬取網(wǎng)易云音樂和評(píng)論（一、思路分析）
2纪岁、Scrapy爬取網(wǎng)易云音樂和評(píng)論（二凑队、Scrapy框架每個(gè)模塊的作用）
3、Scrapy爬取網(wǎng)易云音樂和評(píng)論（三幔翰、爬取歌手）
4漩氨、Scrapy爬取網(wǎng)易云音樂和評(píng)論（四、關(guān)于API）
5遗增、Scrapy爬取網(wǎng)易云音樂和評(píng)論（五叫惊、評(píng)論）
前面有提到，API的參考鏈接贡定，另外再放上幾個(gè)赋访，
1、http://moonlib.com/606.html（我用的這個(gè)）
2缓待、http://blog.csdn.net/qujunjie/article/details/34422379
3蚓耽、https://binaryify.github.io/NeteaseCloudMusicApi/#/?id=neteasecloudmusicapi（這個(gè)比較官方，我也不知道是不是官方旋炒，但是很全很全很全）
我們爬取的順序是：
1秋泳、歌手專輯
2浪感、專輯信息（不包括評(píng)論）
3、歌曲信息（不包括評(píng)論）
4、歌詞
5帆阳、專輯和歌曲評(píng)論（這個(gè)另起一章寫）
我們拿一個(gè)來講解什燕，其他的類似：
比如闹丐，歌手專輯：
http://music.163.com/api/artist/albums/166009?id=166009&offset=0&total=true&limit=12
- offset：偏移量烘嘱，它其實(shí)算是比如歌手的專輯頁每頁有12首，第一頁的offset就是0（一般是0開頭）尚粘，然后第二頁offset就是12择卦，第一頁0~11剛好12位數(shù)，所以offset從12開頭郎嫁，以此類推秉继。可以算作是
second_offset = limit*(first_offset+1) - limit：一頁有多少泽铛，這個(gè)可以改尚辑，但是不同的網(wǎng)站有不同的規(guī)律，比如豆瓣盔腔，它這個(gè)limit的上限跟當(dāng)頁顯示給你看的不同杠茬，比如一頁默認(rèn)給你顯示20條數(shù)據(jù)月褥，但是你給它改成50也會(huì)給你返回50條。但是網(wǎng)易云不一樣澈蝙，它顯示是12條吓坚，它的limit可以往下，但不能往上灯荧，往上它返回也是12條，它這是固定的盐杂，那超過怎么辦呢逗载？假設(shè)36條，那么3頁對(duì)吧链烈，根據(jù)前面的offset厉斟，不停的改offset，這數(shù)字一看就有規(guī)律强衡，很容易就能想到用遍歷擦秽，如圖，這是我寫的一個(gè)歌手專輯信息的函數(shù)：
我的那個(gè)get_req()函數(shù)就是對(duì)requests.get做了些處理漩勤，中途肯定會(huì)遇到各種各樣的狀態(tài)碼對(duì)吧感挥，這個(gè)你們自己去思考。
這里我沒有用response越败，因?yàn)椴簧婕暗揭粋€(gè)完整的傳遞鏈触幼，它只是要存進(jìn)數(shù)據(jù)庫的某一個(gè)字段，如圖究飞，這個(gè)才是我要進(jìn)行存儲(chǔ)的的函數(shù)置谦，其中調(diào)用了get_artist_album_info()這個(gè)函數(shù)，它只是作為一個(gè)字段存進(jìn)了item亿傅。
然后回到get_artist_album_info()函數(shù)葵擎，這里的建議就是谅阿，將固定的不變，會(huì)變的用params這個(gè)參數(shù)坪蚁，requests.get它后面可以傳各種參數(shù)奔穿，包括params，以及前面的headers敏晤。
這個(gè)params里有四個(gè)參數(shù)：
- id：歌手的id贱田，事實(shí)上，有它嘴脾，albums_url里那個(gè)%s占位的地方可以不要男摧，但是因?yàn)樽铋_始參照的那個(gè)網(wǎng)站有蔬墩，也是測(cè)試成功就沒管了。（上面我提供的鏈接1和2的區(qū)別在這里耗拓，用哪個(gè)都行）
- offset：這個(gè)首先看到我的page_count拇颅，就是指頁數(shù)，比如3頁乔询，但其實(shí)網(wǎng)易云這個(gè)抓不到有多少頁樟插，其實(shí)應(yīng)該是從第一頁的json返回的專輯信息得到的總專輯數(shù)量有多少，然后進(jìn)行處理的竿刁。但是因?yàn)閷戇@個(gè)的時(shí)候我直接爬的頁數(shù)黄锤，但是當(dāng)時(shí)沒測(cè)試，所以建議改成這樣就可以了：
# album_count是一個(gè)歌手所有專輯的總數(shù)
# 獲得的方法可以先爬第一頁的json數(shù)據(jù)食拜，或者別的你們自己找
for offset in range(0,album_count,12):
params = {
'id':singer_id,
'offset':offset,
'total':'true',
'limit':12
}
- total：這個(gè)參數(shù)的意義除了在評(píng)論有用鸵熟，這里不確定到底有什么用，最開始我以為负甸，改成TRUE能不需要offset流强，會(huì)返回所有數(shù)據(jù)，后來發(fā)現(xiàn)沒什么區(qū)別呻待，最大上限就是一頁12打月，放著也沒關(guān)系。
- limit：這里就是12
API
以此類推带污，其他到底都是這樣了僵控，這里把http://moonlib.com/606.html的API集中寫一下，method都是GET：
1鱼冀、歌手專輯：
# 歌手專輯：
# 三種寫法报破，隨意，推薦第三種千绪，后面都是
1充易、http://music.163.com/api/artist/albums/[artist_id]/
2、http://music.163.com/api/artist/albums/166009/id=166009&offset=0&total=true&limit=5
3荸型、url='http://music.163.com/api/artist/albums/166009'
params = {....}
2盹靴、專輯里的歌曲列表
# 專輯里的歌曲列表
http://music.163.com/api/album/2457012?ext=true&id=2457012&offset=0&total=true&limit=10
3、歌曲信息
# 歌曲信息
# 這里說明一下瑞妇，%5B和%5D就是一對(duì)中括號(hào)[]稿静，最好改成[]，像歌手專輯里第一種寫法那個(gè)一樣辕狰，因?yàn)?5B那種寫法還要處理改备，且麻煩。
http://music.163.com/api/song/detail/?id=28377211&ids=%5B28377211%5D
4蔓倍、歌詞信息
# 這個(gè)跟其他都不一樣悬钳，后面的lv盐捷、kv、tv是固定的默勾，只要改id即可碉渡。
http://music.163.com/api/song/lyric?os=pc&id=93920&lv=-1&kv=-1&tv=-1
