前言

最近疚俱，網(wǎng)易的音樂很多聽不到了呆奕，剛好也看到很多教程，跟進學習了一下，也集大全了吧秦忿，本來想優(yōu)化一下的灯谣，但是發(fā)現(xiàn)問題還是有點復雜胎许，最后另辟捷徑辜窑，提供了簡單的方法啊所禀！

Python + 爬蟲

首先恭金，說一下準備工作：

• Python：需要基本的python語法基礎(chǔ)
• requests：專業(yè)用于請求處理蔚叨，requests庫學習文檔中文版
• lxml：其實可以用python自帶的正則表達式庫re，但是為了更加簡單入門搀别，用 lxml 中的 etree 進行網(wǎng)頁數(shù)據(jù)定位爬取。
• re：python正則表達式處理
• json：python的json處理庫
  然后榜苫，說一下現(xiàn)在已經(jīng)知道下載鏈接是這樣的：

http://music.163.com/song/media/outer/url?id='

id 就是歌曲的id！

所以驹饺，現(xiàn)在我們爬蟲主要的工作就是找到這個id，當然為了更好的保存，也要找到這個歌名啦菩佑！

那現(xiàn)在就是要找到我們需要爬蟲的網(wǎng)站鏈接啦！我分析了一下劣光，大概是下面三種：

#歌曲清單
music_list = 'https://music.163.com/#/playlist?id=2412826586' 
#歌手排行榜
artist_list = 'https://music.163.com/#/artist?id=8325'
#搜索列表 
search_list = 'https://music.163.com/#/search/m/?order=hot&cat=全部&limit=435&offset=435&s=梁靜茹' 

如果你已經(jīng)只是想下載一首歌，比如靜茹-勇氣：https://music.163.com/#/song?id=254485雄可，那你直接就用瀏覽器打開 http://music.163.com/song/media/outer/url?id=254485 就可以了凿傅，沒必要爬蟲啊！

下載歌詞

如果還要下載歌詞虐急，那也很簡單被辑，通過接口，有歌曲的id就可以：

url = 'http://music.163.com/api/song/lyric?id={}&lv=-1&kv=-1&tv=-1'.format(song_id)

返回的json數(shù)據(jù)大概長這樣

{
    sgc: true,
    sfy: false,
    qfy: false,
    lrc:
    {
        version: 7,
        lyric: "[00:39.070]開了窗 等待天亮\n[00:46.160]看這城市 悄悄的 熄了光\n[00:51.850]聽風的方向\n[00:55.090]這一刻 是否和我一樣\n[00:58.730]孤單的飛翔\n[01:02.300]模糊了眼眶\n[01:07.760]廣播里 那首歌曲\n[01:14.830]重復當時 那條街那個你\n[01:20.410]相同的桌椅\n[01:23.740]不用言語 就會有默契\n[01:27.470]這份親密\n[01:30.560]那么熟悉\n[01:33.850]在愛里 等著你\n[01:37.480]被你疼惜 有種暖意\n[01:41.090]在夢里 全是你\n[01:43.920]不要再遲疑 把我抱緊"
    },
    klyric:
    {
        version: 0,
        lyric: null
    },
    tlyric:
    {
        version: 0,
        lyric: null
    },
    code: 200
}

坑點與進階

表面上很簡單举哟，但是需要注意的是秽褒，網(wǎng)易返回的鏈接，數(shù)據(jù)是js動態(tài)加載威兜，也就是爬蟲得到的網(wǎng)頁數(shù)據(jù)和瀏覽器得到的dom內(nèi)容和結(jié)構(gòu)不一樣销斟！

坑

其中，搜索列表爬蟲回來的內(nèi)容笔宿，完全得不到歌曲id＠缰印＠庥铡！

解決

解決方法也是有的涝动！

python模擬瀏覽器

使用selenium+phantomjs無界面瀏覽器迈勋，這兩者的結(jié)合其實就是直接操作瀏覽器，可以獲取JavaScript渲染后的頁面數(shù)據(jù)醋粟。

缺點

由于是無界面瀏覽器靡菇，采用此方案效率極低，如果大批量抓取不推薦米愿。

對于異步請求并且數(shù)據(jù)在源碼中并不存在的厦凤，同時也就無法抓取到的數(shù)據(jù)。

搜索的歌曲變成歌單

比如想下載全部的某一歌手的全部音樂育苟，用手機云音樂搜索较鼓，然后全部保存到新建一個歌單，這樣就可以啦宙搬！

總結(jié)

用python笨腥，就一定要簡單，我認為復雜的東西勇垛，還是盡量少做脖母，能取巧就取巧，所以本文沒有使用selenium+phantomjs實踐闲孤。

注：本文只是技術(shù)交流谆级，請不要商業(yè)用途~ 如有違反，本人一概不負責讼积。

全部代碼
又是非常簡單的100行代碼完事７收铡！勤众！

import os
import re
import json
import requests
from lxml import etree


def download_songs(url=None):
    if url is None:
        url = 'https://music.163.com/#/playlist?id=2384642500'

    url = url.replace('/#', '').replace('https', 'http')  # 對字符串進行去空格和轉(zhuǎn)協(xié)議處理
    # 網(wǎng)易云音樂外鏈url接口：http://music.163.com/song/media/outer/url?id=xxxx
    out_link = 'http://music.163.com/song/media/outer/url?id='
    # 請求頭
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
        'Referer': 'https://music.163.com/',
        'Host': 'music.163.com'
    }
    # 請求頁面的源碼
    res = requests.get(url=url, headers=headers).text

    tree = etree.HTML(res)
    # 音樂列表
    song_list = tree.xpath('//ul[@class="f-hide"]/li/a')
    # 如果是歌手頁面
    artist_name_tree = tree.xpath('//h2[@id="artist-name"]/text()')
    artist_name = str(artist_name_tree[0]) if artist_name_tree else None

    # 如果是歌單頁面：
    #song_list_tree = tree.xpath('//*[@id="m-playlist"]/div[1]/div/div/div[2]/div[2]/div/div[1]/table/tbody')
    song_list_name_tree = tree.xpath('//h2[contains(@class,"f-ff2")]/text()')
    song_list_name = str(song_list_name_tree[0]) if song_list_name_tree else None

    # 設(shè)置音樂下載的文件夾為歌手名字或歌單名
    folder = './' + artist_name if artist_name else './' + song_list_name

    if not os.path.exists(folder):
        os.mkdir(folder)

    for i, s in enumerate(song_list):
        href = str(s.xpath('./@href')[0])
        song_id = href.split('=')[-1]
        src = out_link + song_id  # 拼接獲取音樂真實的src資源值
        title = str(s.xpath('./text()')[0])  # 音樂的名字
        filename = title + '.mp3'
        filepath = folder + '/' + filename
        print('開始下載第{}首音樂：{}\n'.format(i + 1, filename))

        try:  # 下載音樂
            #下載歌詞
            #download_lyric(title, song_id)

            data = requests.get(src).content  # 音樂的二進制數(shù)據(jù)

            with open(filepath, 'wb') as f:
                f.write(data)
        except Exception as e:
            print(e)

    print('{}首全部歌曲已經(jīng)下載完畢舆绎！'.format(len(song_list)))


def download_lyric(song_name, song_id):
    url = 'http://music.163.com/api/song/lyric?id={}&lv=-1&kv=-1&tv=-1'.format(song_id)
    # 請求頭
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
        'Referer': 'https://music.163.com/',
        'Host': 'music.163.com'
        # 'Origin': 'https://music.163.com'
    }
    # 請求頁面的源碼
    res = requests.get(url=url, headers=headers).text
    json_obj = json.loads(res)
    lyric = json_obj['lrc']['lyric']
    reg = re.compile(r'\[.*\]')
    lrc_text = re.sub(reg, '', lyric).strip()

    print(song_name, lrc_text)




if __name__ == '__main__':
    #music_list = 'https://music.163.com/#/playlist?id=2384642500' #歌曲清單
    music_list = 'https://music.163.com/#/artist?id=8325' #歌手排行榜
    # music_list = 'https://music.163.com/#/search/m/?order=hot&cat=全部&limit=435&offset=435&s=梁靜茹' #搜索列表
    download_songs(music_list)

如有疑問，歡迎在評論區(qū)一起討論们颜！
如有不正確的地方吕朵，歡迎指導！