import requests
from lxml import html

# 這個(gè)東西可以把 html 文本轉(zhuǎn)為 text 文本
from html2text import html2text


class Model(object):
    def __str__(self):
        class_name = self.__class__.__name__
        properties = (u'{0} = ({1})'.format(k, v) for k, v in self.__dict__.items())
        r = u'\n<{0}:\n  {1}\n>'.format(class_name, u'\n  '.join(properties))
        return r


class ZHAnswer(Model):
    def __init__(self, path='', title='', date='', content='', vote_count=0):
        super(ZHAnswer, self).__init__()
        self.url = 'http://www.zhihu.com' + path
        self.path = path
        self.title = title
        self.date = date
        self.html = str(content)
        self.content = html2text(self.html)
        self.vote_count = vote_count


def answer_from_node(node):
    # 這些內(nèi)容請參考文件末尾 回答節(jié)點(diǎn)的內(nèi)容
    # 注意, 因?yàn)檫@是一個(gè)節(jié)點(diǎn), 所以我們用 .// 來查找節(jié)點(diǎn)內(nèi)的數(shù)據(jù)
    link = node.xpath('.//a[@class="answer-date-link meta-item"]')
    if len(link) > 0:
        link = link[0]
        path = link.attrib['href']
        date = link.text
        title = node.xpath('.//a[@class="question_link"]/text()')[0]
        content = node.xpath('.//textarea[@class="content"]/text()')[0]
        vote_count = node.xpath('.//div[@class="zm-item-vote"]/a/text()')[0]
        # 得到所有數(shù)據(jù)后, 用 ZHAnswer 類來包裝一下
        a = ZHAnswer(path, title, date, content, vote_count)
    else:
        # 這是被和諧的答案伍宦，空數(shù)據(jù)
        a = ZHAnswer()
    return a


# url 是你想要爬的網(wǎng)站地址
# 以李開復(fù)的回答為例, 這里是第一頁
url_likaifu = 'https://www.zhihu.com/people/kaifulee/answers?page=1'

# 根據(jù)群文件中的「偽裝登錄爬蟲總結(jié)」替換 cookie
cookie = ''
# 偽裝是 chrome 瀏覽器
useragent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36'
headers = {
    'Cookie': cookie,
    'User-Agent': useragent,
}

# 獲取這個(gè)網(wǎng)頁
r = requests.get(url_likaifu, headers=headers)
# 解析成節(jié)點(diǎn)類型
root = html.fromstring(r.text)

# 得到頁面內(nèi)的回答節(jié)點(diǎn)列表
items = root.xpath('//div[@class="zm-item"]')
# 對(duì)于每個(gè)回答, 調(diào)用函數(shù) answer_from_node 得到一個(gè)格式化后的回答
answers = [answer_from_node(item) for item in items]

# 顯示第 1 個(gè)回答
print(answers[0])



# 一個(gè) 回答節(jié)點(diǎn) 的內(nèi)容
"""
<div class="zm-item" id="mi-1457350196">
    <h2><a class="question_link" href="/question/39906815/answer/89652546" data-id="8170090">
AlphaGo 能戰(zhàn)勝李世石嗎芽死？
</a></h2>
    <div tabindex="-1" class="zm-item-answer " itemscope itemtype="http://schema.org/Answer" data-aid="31296760" data-atoken="89652546" data-collapsed="0" data-created="1457350196" data-deleted="0" data-isowner="0" data-helpful="1" data-copyable="1">
        <link itemprop="url" href="/question/39906815/answer/89652546">
        <meta itemprop="answer-id" content="31296760">
        <meta itemprop="answer-url-token" content="89652546">
        <a class="zg-anchor-hidden" name="answer-31296760"></a>

        <div class="zm-item-vote">
            <a class="zm-item-vote-count js-expand js-vote-count" href="javascript:;" data-bind-votecount>8846</a>
        </div>

        <div class="zm-votebar">
            <button class="up ">
<i class="icon vote-arrow"></i>
<span class="count">8846</span>
<span class="label sr-only">贊同</span>
</button>
            <button class="down ">
<i class="icon vote-arrow"></i>
<span class="label sr-only">反對(duì)</span>
</button>
        </div>


        <div class="answer-head">

            <div class="zm-item-answer-author-info">

                <a class="zm-item-link-avatar avatar-link" href="/people/kaifulee" target="_blank" data-tip="p$t$kaifulee">![](https://pic1.zhimg.com/c104d6f24_s.jpg)</a>


                <a class="author-link" data-tip="p$t$kaifulee" target="_blank" href="/people/kaifulee">李開復(fù)</a>


                <span title="創(chuàng)新工場CEO" class="bio">，創(chuàng)新工場CEO</span>

            </div>

            <div class="zm-item-vote-info" data-votecount="8846">


                <span class="answer-tag">
<span class="text">收錄于 </span>


                <span class="text">編輯推薦</span>



                </span>


                <span class="zg-bull text">?</span><span class="voters text"><a href="#" class="more text"><span class="js-voteCount">8846</span> 人贊同</a>
                </span>


            </div>
        </div>
        <div class="zm-item-rich-text expandable js-collapse-body" data-resourceid="8170090" data-action="/answer/content" data-author-name="李開復(fù)" data-entry-url="/question/39906815/answer/89652546">

            <textarea hidden class="content">先直接回答這個(gè)問題次洼，下面再分析AlphaGo和人工智能的未來关贵。我認(rèn)為AlphaGo這次的比賽打敗李世乭比較懸，但是1-2年之內(nèi)必然完勝人類卖毁。<br><ol><li><b>按照兩者的Elo（圍棋等級(jí)分）揖曾，可以算出去年年底的AlphaGo打敗李世乭的概率相當(dāng)?shù)汀?lt;/b>如何算出的呢？AlphaGo去年年底的頂級(jí)分布式版本的Elo是3168（見下面第一張圖）亥啦，而李世乭的Elo大約是3532（全球圍棋手Elo: <a  class=" wrap external" target="_blank" rel="nofollow noreferrer">Go Ratings<i class="icon-external"></i></a> ，見下面第二張圖）奴拦。<br>![](https://pic1.zhimg.com/f2894ef94ec70c27792ef9ccd3d05520_b.png)![](https://pic3.zhimg.com/bef51010f1adc9909bf7f5e3ef3d6ef6_b.png)<br>按照這兩個(gè)等級(jí)分的兩個(gè)棋手對(duì)弈届吁，李世乭每盤的勝算為89%（[站外圖片上傳中……(4)]，公式見：<a  class=" wrap external" target="_blank" rel="nofollow noreferrer">How to Guide: Converting Elo Differences To Winning Probabilities : chess<i class="icon-external"></i></a>）暂氯。如果對(duì)弈一盤痴施，AlphaGo尚有11%的獲勝的可能性，而整個(gè)比賽五盤勝出三盤或更多锉矢，AlphaGo就只有1.1%的可能性了。（當(dāng)然灯节，這是幾個(gè)月前的AlphaGo炎疆，也許今天已經(jīng)超越了：見下面第三點(diǎn)）形入。<br></li><li><b>AlphaGo不是打敗了歐洲冠軍嗎？有些</b>人認(rèn)為AlphaGo去年底擊敗了歐洲冠軍樊麾浓若，所以挑戰(zhàn)（前）世界冠軍應(yīng)有希望挪钓。但是耳舅，樊麾只是職業(yè)二段（Elo 3000左右）浦徊，而李世乭是職業(yè)九段（ELO 3532）。這兩位的差別是巨大的霞丧，完全不能混為一談蚯妇。就比如說一個(gè)人乒乓球打敗了非洲冠軍，并不代表他就可以成功挑戰(zhàn)中國冠軍硬贯。<br></li><li><b>AlphaGo有可能在這幾個(gè)月突飛猛進(jìn)饭豹，進(jìn)而擊敗李世乭嗎务漩？</b>AlphaGo的負(fù)責(zé)人說：”外界不知道我們這幾個(gè)月進(jìn)步了非常多“饵骨。（來自：<a  class=" wrap external" target="_blank" rel="nofollow noreferrer">Odds favor machine over human in big Go showdown<i class="icon-external"></i></a> ）。這點(diǎn)確實(shí)有可能妖混。AlphaGo進(jìn)步的方法有兩個(gè)：（1）增加硬件：我們從Nature的文章可以看到：從1202個(gè)CPU到1920個(gè)CPU制市，AlphaGo的ELO只增加了28祥楣，而且線性地增加CPU汉柒，不會(huì)看到線性的ELO成長碾褂。若要達(dá)到364 ELO積分的提升，需要的CPU將達(dá)到天文數(shù)字（有篇文章估計(jì)至少要10萬個(gè)CPU：<a  class=" wrap external" target="_blank" rel="nofollow noreferrer">AlphaGo and AI Progress<i class="icon-external"></i></a>）渡八。當(dāng)然屎鳍，谷歌有錢有機(jī)器逮壁，但是純粹加機(jī)器將會(huì)碰到并行計(jì)算互相協(xié)調(diào)的瓶頸（就是說假設(shè)有十萬萬臺(tái)機(jī)器粮宛，它們的總計(jì)算能力很強(qiáng)，但是彼此的協(xié)調(diào)將成為瓶頸）忧饭。在幾個(gè)月之內(nèi)增加兩個(gè)數(shù)量級(jí)的CPU并調(diào)節(jié)算法词裤，降低瓶頸，應(yīng)該不容易逆航。（2）增加學(xué)習(xí)功能：AlphaGo有兩種學(xué)習(xí)功能因俐，第一種是根據(jù)高手棋譜的學(xué)習(xí)女揭，第二種是自我對(duì)弈栏饮，自我學(xué)習(xí)袍嬉。前者已經(jīng)使用了16萬次高手比賽伺通，而后者也在巨大機(jī)組上訓(xùn)練了8天罐监。這方面肯定會(huì)有進(jìn)步瞒爬，但是要超越世界冠軍可能不容易侧但。最后，換一種分析方式：如果從過去深藍(lán)擊敗世界冠軍的“成長過程”來看屁药，深藍(lán)大約1993年達(dá)到職業(yè)大師水平酿箭，4年后才在一場六盤的比賽中擊敗世界冠軍（大約500Elo積分點(diǎn)的提升）。今天的AlphaGo應(yīng)該和1993年的深藍(lán)相似缔御，剛進(jìn)入職業(yè)大師水平械巡。若要擊敗世界冠軍讥耗，雖然未必需要4年的時(shí)間，但是幾個(gè)月似乎不夠蔼卡。</li><li><b>還有什么以上未考慮的因素雇逞，導(dǎo)致AlphaGo獲勝嗎塘砸？</b>如果谷歌刻意未出全力和樊麾對(duì)抗晤锥，或者有其它學(xué)習(xí)或并行計(jì)算方面超越了Nature里面的描述矾瘾，那AlphaGo完全有可能獲勝。</li></ol>既然寫了這么多蛉迹，就對(duì)這個(gè)題目再發(fā)表一些看法：<br><ol><li><b>AlphaGo 是什么北救？</b>在今年一月的Nature (<a  class=" external" target="_blank" rel="nofollow noreferrer"><span class="invisible">http://www.</span><span class="visible">nature.com/nature/journ</span><span class="invisible">al/v529/n7587/full/nature16961.html</span><span class="ellipsis"></span><i class="icon-external"></i></a> )有AlphaGo的詳細(xì)介紹扭倾，AlphaGo是一套為了圍棋優(yōu)化的設(shè)計(jì)周密的深度學(xué)習(xí)引擎挽绩，使用了神經(jīng)網(wǎng)路加上MCTS (Monte Carlo tree search），并且用上了巨大的谷歌云計(jì)算資源肩民，結(jié)合CPU+GPU持痰，加上從高手棋譜和自我學(xué)習(xí)的功能祟蚀。這套系統(tǒng)比以前的圍棋系統(tǒng)提高了接近1000分的Elo前酿，從業(yè)余5段提升到可以擊敗職業(yè)2段的水平，超越了前人對(duì)圍棋領(lǐng)域的預(yù)測淹仑，更達(dá)到了人工智能領(lǐng)域的重大里程碑匀借。</li><li><b>AlphaGo 是科學(xué)的創(chuàng)新突破嗎吓肋？</b>AlphaGo是一套設(shè)計(jì)精密的卓越工程是鬼，也達(dá)到了歷史性的業(yè)界里程碑磅叛，不過Nature文章中并沒有新的“發(fā)明”弊琴，AlphaGo的特點(diǎn)在于：不同機(jī)器學(xué)習(xí)技術(shù)的整合（例如：reinforcement learning, deep neural network, policy+value network, MCTS的整合可謂創(chuàng)新）敲董、棋譜學(xué)習(xí)和自我學(xué)習(xí)的整合腋寨、相對(duì)非郴溃可擴(kuò)張的architecture（讓其充分利用谷歌的計(jì)算資源）、CPU+GPU并行發(fā)揮優(yōu)勢的整合键兜。這套“工程”不但有世界頂級(jí)的機(jī)器學(xué)習(xí)技術(shù)普气，也有非常高效的代碼佃延，并且充分發(fā)揮了谷歌世界最宏偉的計(jì)算資源（不僅僅是比賽使用履肃，訓(xùn)練AlphaGo時(shí)也同樣關(guān)鍵）榆浓。<br>AlphaGo的跳躍式成長來自幾個(gè)因素：1）15-20名世界頂級(jí)的計(jì)算機(jī)科學(xué)家和機(jī)器學(xué)習(xí)專家（這是圍棋領(lǐng)域從未有的豪華團(tuán)隊(duì)：也許你覺得這不算什么，但是要考慮到這類專家的稀缺性）烘浦，2）前面一點(diǎn)提到的技術(shù)闷叉、創(chuàng)新握侧、整合和優(yōu)化嘿期。3）全世界最浩大的谷歌后臺(tái)計(jì)算平臺(tái)备徐，供給團(tuán)隊(duì)使用，4）整合CPU+GPU的計(jì)算能力秀菱。</li><li><b>AlphaGo是個(gè)通用的大腦衍菱，可以用在任何領(lǐng)域嗎脊串？</b>AlphaGo里面的深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)洪规、MCTS斩例，和AlphaGo的擴(kuò)張能力計(jì)算能力都是通用的技術(shù)念赶。AlphaGo的成功也驗(yàn)證了這些技術(shù)的可擴(kuò)展性。但是旗吁，AlphaGo其實(shí)做了相當(dāng)多的圍棋領(lǐng)域的優(yōu)化很钓；除了上述的系統(tǒng)調(diào)整整合之外码倦，里面甚至還有人工設(shè)定和調(diào)節(jié)的一些參數(shù)锭碳。AlphaGo的團(tuán)隊(duì)在Nature上也說：AlphaGo不是完全自我對(duì)弈end-to-end的學(xué)習(xí)（如之前同一個(gè)團(tuán)隊(duì)做Atari AI，用end-to-end推汽，沒有任何人工干預(yù)學(xué)習(xí)打電動(dòng)游戲）歹撒。如果AlphaGo今天要進(jìn)入一個(gè)新的應(yīng)用領(lǐng)域诊胞，用AlphaGo的底層技術(shù)和AlphaGo的團(tuán)隊(duì)厢钧，應(yīng)該可以更快更有效地開發(fā)出解決方案嬉橙。這也就是AlphaGo真正優(yōu)于深藍(lán)的地方。但是上述的開發(fā)也要相當(dāng)?shù)臅r(shí)間霞扬，并且要世界上非常稀缺的深度計(jì)算科學(xué)家（現(xiàn)在年待遇行情已達(dá)250萬美金）喻圃。所以斧拍，AlphaGo還不能算是一個(gè)通用技術(shù)平臺(tái)，不是一個(gè)工程師可以經(jīng)過調(diào)動(dòng)API可以使用的愚墓，而且還距離比較遠(yuǎn)浪册。</li><li><b>如果這次AlphaGo沒有打敗</b><b>李世乭村象，那還要多久呢？</b>IBM深藍(lán)從進(jìn)入大師級(jí)別到比賽擊敗世界冠軍花了四年厚者。AlphaGo應(yīng)該會(huì)比深藍(lán)更快提升自己籍救，因?yàn)樯钏{(lán)需要新版本的硬件吨铸，和針對(duì)Kasparov的人工調(diào)節(jié)優(yōu)化诞吱，而AlphaGo是基于谷歌的硬件計(jì)算平臺(tái)，和相對(duì)通用的深度學(xué)習(xí)算法沼瘫。所以咙俩，幾個(gè)月太短阿趁，4年太長歌焦，就預(yù)計(jì)1-2年之間吧。<br></li><li><b>從國際象棋到圍棋独撇，到底是不是巨大的突破呢纷铣？</b>肯定是的，在這篇文章里面（<a  class="internal">在國際象棋領(lǐng)域以躯，電腦已經(jīng)可以戰(zhàn)勝人腦忧设，那么圍棋領(lǐng)域電腦還差多遠(yuǎn)址晕？ - 計(jì)算機(jī)</a> ）顿锰，第一位回答者分析了圍棋的復(fù)雜度為[站外圖片上傳中……(5)] 而國際象棋則只有[站外圖片上傳中……(6)] 硼控。在1997年深藍(lán)擊敗世界冠軍時(shí)牢撼，大家都認(rèn)為：深藍(lán)使用的是人工調(diào)整的評(píng)估函數(shù)，而且是用特殊設(shè)計(jì)的硬件和”暴力“的搜索 (brute-force) 地征服了國際象棋級(jí)別的復(fù)雜度牡直，但是圍棋是不能靠窮舉的碰逸，因?yàn)樗乃阉魈珡V（每步的選擇有幾百而非幾十）也太深（一盤棋有幾百步而非幾十步）饵史。而AlphaGo的發(fā)展讓我們看到了胳喷，過去二十年的發(fā)展吭露，機(jī)器學(xué)習(xí)+并行計(jì)算+海量數(shù)據(jù)是可以克服這些數(shù)字上的挑戰(zhàn)的讲竿，至少足以超越最頂尖的人類题禀。</li><li><b>AlphaGo 若打敗了世界冠軍膀捷，就意味著計(jì)算機(jī)超越人腦全庸？或者可以思考了嗎壶笼？我的回答：</b></li></ol><ul><li>在可以憑邏輯分析推算的問題上，機(jī)器即將遠(yuǎn)遠(yuǎn)把人類拋在后面挑豌。機(jī)器速度會(huì)越來越快氓英，學(xué)習(xí)能力會(huì)越來越強(qiáng)鹦筹，數(shù)據(jù)會(huì)越來越多。當(dāng)年徘键，大家討論“國際象棋輸給機(jī)器不算什么螟凭，圍棋才是真正的智慧”只是我們?nèi)祟惥S護(hù)自己尊嚴(yán)但是不實(shí)際的幻想它呀！今天纵穿，我們該面對(duì)現(xiàn)實(shí)了淆院！</li><li>在大數(shù)據(jù)+機(jī)器學(xué)習(xí)+大規(guī)模并行計(jì)算的時(shí)代迫筑，我們將看到無數(shù)的商機(jī)和產(chǎn)品宗弯，能夠在預(yù)測脯燃、分析、推薦等方面蒙保，產(chǎn)生巨大的商業(yè)和用戶價(jià)值辕棚。不過，這些解決方案和人類相比邓厕，其實(shí)沒有什么意義逝嚎，因?yàn)槿瞬钐h(yuǎn)了（比如說：推薦引擎將能推薦你最可能會(huì)買的產(chǎn)品、想吃的菜详恼，想認(rèn)識(shí)的人峭弟；自動(dòng)交易能得到更高的投資回報(bào)和風(fēng)險(xiǎn)比例媚创。逃魄。叽掘。）。</li><li>在感知方面，人類也將會(huì)被機(jī)器超越听隐。今天的語音識(shí)別增淹，人臉識(shí)別，未來的自動(dòng)駕駛，都是例子冗澈。</li><li>但是捌归，以上都還是冷冰冰的技術(shù)，機(jī)器打敗了世界冠軍也沒有感到高興（甚至說不出為什么）。對(duì)于那些科幻片的粉絲們：機(jī)器人是否會(huì)人性化臼寄？這還是未知的留攒。畢竟魄揉，在情感、喜怒哀樂、七情六欲、人文藝術(shù)袜漩、美和愛、價(jià)值觀等方面，機(jī)器離人還差的很遠(yuǎn)，甚至連基礎(chǔ)都沒有。對(duì)人工智能的研究者，這是下一個(gè)挑戰(zhàn)。對(duì)我們?nèi)祟惓ニィ谙聜€(gè)突破之前视事，我們還是多發(fā)展右腦吧！</li></ul>P.S. - 也許有人好奇，為什么這個(gè)話題我說了這么多推励，因?yàn)樵?986年，我在讀書時(shí)杆怕，曾經(jīng)開發(fā)了一套黑白棋系統(tǒng)（復(fù)雜度[站外圖片上傳中……(7)]）违施，擊敗了黑白棋的世界團(tuán)體冠軍辣往，而當(dāng)年的那套系統(tǒng)也有（非常粗淺的）自我學(xué)習(xí)的能力。有興趣的網(wǎng)友可以在這里看到我當(dāng)年的文章：<a  class=" wrap external" target="_blank" rel="nofollow noreferrer">A pattern classification approach to evaluation function learning<i class="icon-external"></i></a> ) 。</textarea>


            <div class="zh-summary summary clearfix">

                先直接回答這個(gè)問題睦袖，下面再分析AlphaGo和人工智能的未來厉亏。我認(rèn)為AlphaGo這次的比賽打敗李世乭比較懸窝趣，但是1-2年之內(nèi)必然完勝人類洗鸵。<b>按照兩者的Elo（圍棋等級(jí)分），可以算出去年年底的AlphaGo打敗李世乭的概率相當(dāng)?shù)汀?lt;/b>如何算出的呢砰逻？AlphaGo去年年底的頂級(jí)分…

                <a href="/question/39906815/answer/89652546" class="toggle-expand">顯示全部</a>

            </div>



            <p class="visible-expanded"><a itemprop="url" class="answer-date-link meta-item" data-tip="s$t$發(fā)布于 2016-03-07" target="_blank" href="/question/39906815/answer/89652546">編輯于 2016-03-08</a></p>

        </div>
        <div class="zm-item-meta answer-actions clearfix js-contentActions">
            <div class="zm-meta-panel">

                <a data-follow="q:link" class="follow-link zg-follow meta-item" href="javascript:;" id="sfb-8170090"><i class="z-icon-follow"></i>關(guān)注問題</a>

                <a href="#" name="addcomment" class="meta-item toggle-comment js-toggleCommentBox">
                    <i class="z-icon-comment"></i>948 條評(píng)論</a>


                <a href="#" class="meta-item zu-autohide js-thank" data-thanked="false"><i class="z-icon-thank"></i>感謝</a>



                <a href="#" class="meta-item zu-autohide js-share"><i class="z-icon-share"></i>分享</a>

                <a href="#" class="meta-item zu-autohide js-collect"><i class="z-icon-collect"></i>收藏</a>





                <span class="zg-bull zu-autohide">?</span>

                <a href="#" class="meta-item zu-autohide js-noHelp">沒有幫助</a>

                <span class="zg-bull zu-autohide">?</span>
                <a href="#" class="meta-item zu-autohide js-report">舉報(bào)</a>




                <span class="zg-bull">?</span>

                <a href="/terms#sec-licence-1" target="_blank" class="meta-item copyright">作者保留權(quán)利</a>


                <button class="meta-item item-collapse js-collapse">
<i class="z-icon-fold"></i>收起
</button>
            </div>
        </div>
    </div>
</div>
"""