先說一下你閱讀本文可以得到什么戏溺。你能得到AI的理論知識框架;你能學(xué)習(xí)到如何成為一個AI產(chǎn)品經(jīng)理并且了解到AI產(chǎn)品經(jīng)理如何在工作中發(fā)揮作用挟冠,以及AI產(chǎn)品經(jīng)理需要從哪些方面鍛煉能力。最重要的是袍睡,通過本文知染,一切都特別快(手打滑稽)。
PS:目前只針對弱人工智能(我喜歡簡稱斑胜,此處我們簡稱為“弱智”)進行學(xué)習(xí)控淡。
首先我們必須要掌握的是AI的專業(yè)知識框架,然后了解AI的市場情況止潘,最后要明白AI產(chǎn)品經(jīng)理的工作流程及在項目的價值體現(xiàn)掺炭。本文致力于讓完全沒有學(xué)習(xí)過AI的朋友可以輕松讀懂,獲取干貨凭戴。即使你不能完整理解AI也沒關(guān)系涧狮,最起碼看完本文之后你可以完美裝13,文末會有特別的裝13技巧送給你么夫。
一者冤、AI是什么
1、AI的定義
凡是通過機器學(xué)習(xí)档痪,實現(xiàn)機器替代人力的技術(shù)涉枫,就是AI。機器學(xué)習(xí)是什么呢腐螟?機器學(xué)習(xí)是由AI科學(xué)家研發(fā)的算法模型愿汰,通過數(shù)據(jù)灌輸,學(xué)習(xí)數(shù)據(jù)中的規(guī)律并總結(jié)乐纸,即模型內(nèi)自動生成能表達(輸入衬廷、輸出)數(shù)據(jù)之間映射關(guān)系的特定算法。這整個過程就是機器學(xué)習(xí)汽绢。
AI模型是個“中間件”泵督,不能直接與用戶完成交互,所以AI還是需要借助傳統(tǒng)的應(yīng)用程序庶喜,應(yīng)用程序直接與用戶進行交互小腊,同時提交輸入數(shù)據(jù)給模型,模型處理后返回輸出數(shù)據(jù)給應(yīng)用程序久窟,應(yīng)用程序再轉(zhuǎn)化為合適的呈現(xiàn)方式反饋給用戶秩冈。
AI解決方案比互聯(lián)網(wǎng)解決方案有什么優(yōu)勢:再也不需要去歸納總結(jié)知識和規(guī)律,然后進行越來越復(fù)雜的編程斥扛,只需要用數(shù)據(jù)喂養(yǎng)機器入问,讓機器完成所有工作丹锹。而且傳統(tǒng)的互聯(lián)網(wǎng)解決方案遇到需要求變時,是個頭痛的事芬失,因為直接讓工程師對程序楣黍、算法進行修改的過程中會需要考慮很多既有程序帶來的限制及改動后的未知風(fēng)險(同時也容易造成人力成本更高),而AI模型是可以遷移棱烂、疊加利用的租漂,所以需求變化時,少了很多既有積累的東西帶來的問題颊糜。
2哩治、AI的根基
AI的根基從數(shù)學(xué)理論開始,數(shù)學(xué)理論(包括:線性代數(shù)衬鱼、概率論业筏、統(tǒng)計學(xué)、微積分)的基礎(chǔ)上我們得以有機器學(xué)習(xí)理論鸟赫,機器學(xué)習(xí)理論(包括:監(jiān)督學(xué)習(xí)蒜胖、無監(jiān)督學(xué)習(xí)、強化學(xué)習(xí)抛蚤、遷移學(xué)習(xí)翠勉、深度學(xué)習(xí))的基礎(chǔ)上我們得以有基礎(chǔ)技術(shù),基礎(chǔ)技術(shù)(包括:機器學(xué)習(xí)ML霉颠、深度學(xué)習(xí)DL对碌、語音識別ASR、語音合成TTS蒿偎、計算機視覺CV朽们、機器視覺MV、自然語言理解NLU诉位、自然語言處理NLP骑脱、專家系統(tǒng))的基礎(chǔ)上AI應(yīng)用得以實現(xiàn)。
特別提醒:不僅是數(shù)學(xué)理論苍糠,物理理論也是AI的根基叁丧。在更深度的AI建模等理論需求中,很多所謂的“數(shù)學(xué)理論”其實原型來自于“物理理論”岳瞭。比如熵的概念拥娄,比如多維空間的概念,都是出于物理學(xué)中的概念瞳筏。
3稚瘾、機器學(xué)習(xí)理論詳解及算法模型介紹
關(guān)于模型算法的結(jié)果導(dǎo)向理解:1、對數(shù)據(jù)進行分類姚炕,2摊欠、找到輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的規(guī)律丢烘。機器學(xué)習(xí)方式有多種,每種機器學(xué)習(xí)方式又有多種算法些椒。機器學(xué)習(xí)方式可以配合利用播瞳,且各種算法模型也可以結(jié)合利用。
機器學(xué)習(xí)的抽象流程是:訓(xùn)練機器階段免糕,讓模型對輸入數(shù)據(jù)進行分類赢乓,且找到規(guī)律;測試階段说墨,數(shù)據(jù)進入模型時骏全,模型對數(shù)據(jù)進行分類苍柏,每一個測試數(shù)據(jù)都歸類到訓(xùn)練數(shù)據(jù)類別中對應(yīng)的一個類別尼斧,然后根據(jù)訓(xùn)練找到的規(guī)律計算出輸出值(即答案);欠擬合或者過擬合的情況下试吁,要清洗訓(xùn)練數(shù)據(jù)棺棵、調(diào)整參數(shù)以及重復(fù)訓(xùn)練;達到最佳擬合后熄捍,機器學(xué)習(xí)完成烛恤。
3.1、監(jiān)督學(xué)習(xí)
通俗解釋:準(zhǔn)備好許多組問題和對應(yīng)答案余耽,然后對機器說:當(dāng)你看到這個問題的時候缚柏,你就告訴人家這個答案。多次重復(fù)這樣的訓(xùn)練碟贾,然后機器從每一次的訓(xùn)練問題和對應(yīng)答案中找到了其中的規(guī)律(即算法)币喧。然后你跟你朋友吹噓說,我的機器機靈得跟猴似的袱耽,不信你問它問題杀餐。你這位朋友開始提一大堆問題,提的問題大可以跟你訓(xùn)練的問題不同朱巨,機器人只是根據(jù)自己之前總結(jié)的規(guī)律推測出答案給對方史翘。如果發(fā)現(xiàn)機器人說出的答案中錯誤太多,那你就要修理修理它冀续,再重新用更豐富的有標(biāo)記答案的問題訓(xùn)練一番琼讽,直到你的機器被人提問時回答準(zhǔn)確率特別高,達到你的期望了洪唐。這時候你就可以放心的跟你朋友炫耀:我的機器機靈得跟猴似的跨琳。
專業(yè)解釋:準(zhǔn)備樣本(樣本通常準(zhǔn)備兩組:訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)),先將訓(xùn)練數(shù)據(jù)(即標(biāo)記樣本)給到機器桐罕,同時提供標(biāo)準(zhǔn)答案(有答案的樣本數(shù)據(jù)屬于“標(biāo)記樣本”)脉让,機器盡量從訓(xùn)練數(shù)據(jù)中找到因變量和自變量之間的關(guān)系桂敛,讓自己推測的答案盡量跟標(biāo)準(zhǔn)答案靠近。訓(xùn)練過程中機器嘗試生成我們需要的算法溅潜,這個算法就是我們要機器學(xué)習(xí)出來的結(jié)果术唬。然后我們給機器測試樣本(測試數(shù)據(jù)),不提供標(biāo)準(zhǔn)答案滚澜,看機器推理出答案的準(zhǔn)確率怎么樣粗仓,如果準(zhǔn)確率太低(欠擬合),那我們就要調(diào)整模型的參數(shù)设捐,并且再訓(xùn)練機器借浊,接著又用測試數(shù)據(jù)測試,直到機器達到了我們期望的準(zhǔn)確率萝招。抽象一個最簡單的邏輯公式:線性代數(shù)y=kx蚂斤。我們提供n組x值及對應(yīng)y值作為訓(xùn)練數(shù)據(jù),模型經(jīng)過計算推測出k值(推測出k值這個過程我們叫做“回歸”)槐沼,然后我們再用m組測試數(shù)據(jù)曙蒸,但是此時只輸入x值,看機器得出的y值是否跟我們已知的正確答案y值是否相同岗钩。當(dāng)有多個緯度的特征時纽窟,應(yīng)該抽象公式應(yīng)該是y=kx1+kx2+kx3,或者y=k1x1+k2x2+k3x3兼吓。當(dāng)然還有可能要考慮其他一些參數(shù)臂港,此時公式應(yīng)該為y=kx1+kx2+kx3+b,或y=k1x1+k2x2+k3x3+b势腮。參數(shù)b是我們的AI工程師可以直接調(diào)整的垂蜗,以便讓機器訓(xùn)練的結(jié)果最接近我們想要的結(jié)果。
監(jiān)督學(xué)習(xí)的算法分類
1)KNN臨近算法
在訓(xùn)練階段時笨蚁,機器將訓(xùn)練數(shù)據(jù)進行分類(根據(jù)數(shù)據(jù)的feature凶朗,即數(shù)據(jù)的特征)瓷胧。(邏輯推理出,在某些情況下模型可以找出來的數(shù)據(jù)之間的映射不止一條棚愤,即可能每一類數(shù)據(jù)會有一個映射關(guān)系搓萧。)當(dāng)測試數(shù)據(jù)輸入時,機器會根據(jù)輸入數(shù)據(jù)的特征判斷該輸入數(shù)據(jù)跟哪一類的訓(xùn)練數(shù)據(jù)為同一類宛畦,在此判斷基礎(chǔ)上瘸洛,機器便決定用哪一個映射關(guān)系來推測當(dāng)下輸入測試數(shù)據(jù)對應(yīng)的輸出數(shù)據(jù)(即答案)。機器是如何判斷測試時的輸入數(shù)據(jù)更接近哪一類訓(xùn)練數(shù)據(jù)的呢次和?用數(shù)學(xué)邏輯解釋就是反肋,模型內(nèi)是一個多維空間,有一個多維坐標(biāo)踏施,每一緯是一個特征石蔗,當(dāng)一個訓(xùn)練數(shù)據(jù)輸入時罕邀,該數(shù)據(jù)坐落在坐標(biāo)上某一點,訓(xùn)練數(shù)據(jù)量大了之后养距,模型里的坐標(biāo)上有無數(shù)點诉探。當(dāng)測試數(shù)據(jù)輸入后,根據(jù)測試數(shù)據(jù)的特征在坐標(biāo)上為它找到一個點棍厌,機器會找與該點歐式距離最近的點(訓(xùn)練數(shù)據(jù)的點)是哪一個肾胯,并且將該點視為與找到的距離最近的訓(xùn)練數(shù)據(jù)的點為同一類。
舉個栗子:Mary喜歡玩探探耘纱,在她眼里敬肚,探探里的男銀分3類。第一類是不喜歡束析,左劃艳馒;第二類是喜歡,右劃畸陡;第三類是超級喜歡鹰溜,點星星虽填。第一類男銀的共同點是單眼皮丁恭、低鼻梁、禿頂斋日、穿安踏牲览;第二類的共同點是雙眼皮、高鼻梁恶守、茂密的頭發(fā)第献,穿西裝;第三類的共同點是帶名牌手表兔港,照片旁邊有一輛跑車庸毫。AI了解Mary后,開始為Mary把關(guān)衫樊。當(dāng)AI看到一個男銀上探探飒赃,就會看這個男銀是否單眼皮,鼻梁接近于高還是低科侈,頭發(fā)多少载佳,著裝幼稚還是成熟,然后將這個男銀為第一類或者第二類臀栈,第一類的直接幫Mary劃掉蔫慧,第二類的直接幫Mary點喜歡。還有权薯,當(dāng)AI看到一個男銀帶名牌表姑躲,有豪車睡扬,直接幫Mary點一個超級喜歡。然后Mary不用那么累地全部都要點一遍黍析,AI幫她選的人她都挺滿意威蕉,她一臉的滿足。
2)決策樹ID3算法
基于“決策樹”的理論的一種算法橄仍。根據(jù)數(shù)據(jù)特征進行分支韧涨,直到不可再分支,此時決策樹成形侮繁,數(shù)據(jù)也被分出一類來虑粥,成形的一個決策樹表現(xiàn)了這一類數(shù)據(jù)的所有特征。
示意圖(Jennifer去相親):
該決策樹形成后(一條分枝將特征消化完之后)宪哩,我們視滿足該條分枝上所有特征的為同一類人(即我們分出了一類數(shù)據(jù))娩贷。憑經(jīng)驗推測,這類人就是Jennifer最后選擇的結(jié)婚對象锁孟。(如果你不知道我指的是哪一條彬祖,那你這輩子一定都找不到老婆)
決策樹ID3算法與KNN算法的區(qū)別在于:KNN算法需要始終保存并持續(xù)使用所有訓(xùn)練數(shù)據(jù),決策樹ID3算法完成決策樹之后品抽,可以不再保存所有的訓(xùn)練數(shù)據(jù)了(可以清清內(nèi)存)储笑,只需要將決策樹模型保留下來,便可以對新數(shù)據(jù)進行高準(zhǔn)確率地分類圆恤。
3)logistic邏輯回歸算法
當(dāng)特征和結(jié)果不滿足線性時(函數(shù)大于一次方時)突倍,就可以用邏輯回歸算法。邏輯回歸是一個非線性模型盆昙,它的因變量(x)跟線性回歸函數(shù)不相同羽历。邏輯回歸同樣用來解決分類問題,呈二項分布(示意圖1)淡喜,它只輸出兩種結(jié)果秕磷,0或1(實際情況是輸出為0~0.5,或0.5~1炼团,小于0.5取值0澎嚣,大于等于0.5取值1),0和1分別代表兩個類別们镜。作為產(chǎn)品經(jīng)理币叹,我們不需要去理解模型內(nèi)部是怎么回事(反正我目前也沒看懂模型內(nèi)部到底怎么回事),我們只需要了解模狭,當(dāng)特征和結(jié)果颈抚,即X與Y之間的關(guān)系不滿足線性關(guān)系(函數(shù)大于一次方),就可以利用邏輯回歸算法,算法得出的值約等于1或約等于0贩汉,約等于1時該輸入數(shù)據(jù)屬于一類驱富,約等于0時該輸入數(shù)據(jù)屬于另一類∑ノ瑁或許以后在實戰(zhàn)中褐鸥,你的AI工程師搭檔會跟你講解,看了這篇文章赐稽,你在聽你的AI工程師解釋的時候不會茫然吧叫榕。
邏輯回歸的基礎(chǔ)公式:
示意圖1:
4)支持向量機SVM
主要優(yōu)勢就是可以判斷到分類是否正確。先給大家舉一個例姊舵,當(dāng)我們要分割一個平面晰绎,會用一條線,即分割二維數(shù)據(jù)用一維數(shù)據(jù)括丁;如果我們要分割一個立體空間荞下,會用一個面,即分割三維數(shù)據(jù)用二維數(shù)據(jù)史飞。理解例子后尖昏,就可以理解SVM的原理了。SVM的原理就是用一個N-1維的“分割超平面”線性分開N維空間构资,而所有數(shù)據(jù)都在這個空間內(nèi)各為一點抽诉。每一次分割超平面開始切分,都在將空間內(nèi)的數(shù)據(jù)分為兩部分(假設(shè)為A蚯窥、B兩邊)掸鹅,模型的目的就是讓分出來的兩部分?jǐn)?shù)據(jù)是兩個類別塞帐,我們要理解在A這邊的每個數(shù)據(jù)點到分割超平面的距離為正值拦赠,那么另一邊(B那邊)的數(shù)據(jù)點到分割超平面的距離就一定為負(fù)值(我們把分割超平面看作是臨界面吧,或者看作是“海平面”葵姥,兩邊的點朝著臨界面直線出發(fā)時荷鼠,方向是相對的,這樣解釋大家就能明白為什么說一邊為正值另一邊就為負(fù)值了)榔幸。當(dāng)模型計算所有特征相同的數(shù)據(jù)各自到分割超平面的距離時允乐,若都為正值(我們默認(rèn)這些特征相同的數(shù)據(jù)所占邊是A邊),那么分割正確削咆,我們就知道空間內(nèi)所有數(shù)據(jù)被準(zhǔn)確無誤地分為兩類了牍疏。若發(fā)現(xiàn)有出現(xiàn)負(fù)值的,那一定是有至少一個數(shù)據(jù)站錯邊了拨齐,換一種說法是我們這個分割超平面分割得不對鳞陨,分割超平面就會重新分割,直到分割完全正確瞻惋。因為理論上講厦滤,分割超平面是一個多維空間的任意維度的“面”援岩,它可以在數(shù)據(jù)任何分布的情況下都剛好把不同類(不同特征)的數(shù)據(jù)一分為二,保證它的分割不會讓任意一個數(shù)據(jù)“站錯邊”掏导。
借用幾張經(jīng)典示意圖幫助理解:
這只是一個簡單示意圖享怀,但是我們要發(fā)揮空間想象力,如果不能看起來是一條直線分割兩邊趟咆,那就讓看起來是一條曲線的分割超平面分割兩邊添瓷,但是這條曲線其實不是曲線,它是一個多維面值纱。(這個多維空間真的燒腦仰坦,我記得網(wǎng)上有個很經(jīng)典的10分鐘理解多維空間的視頻,大家可以去搜一搜)
5)樸素貝葉斯分類算法
首先說明一點:KNN算法计雌、決策樹ID3算法悄晃、logistic回歸算法、SVM都是屬于判別方法凿滤,而樸素貝葉斯算法是屬于生成方法妈橄。樸素貝葉斯算法的邏輯是:每一個訓(xùn)練數(shù)據(jù)輸入時,計算該數(shù)據(jù)被分到每一個類別的概率翁脆,最后視概率最大的那一個為該輸入數(shù)據(jù)的類別眷蚓。跟邏輯回歸一樣,作為產(chǎn)品經(jīng)理反番,大家只要記住宏觀邏輯就好了(手打調(diào)皮)沙热。
公式:
3.2、無監(jiān)督學(xué)習(xí)
通俗解釋:你準(zhǔn)備一大堆問題丟給你的機器罢缸,每一個問題都不告訴它答案篙贸,叫它自己把問題分類了。它開始識別所有問題分別都是什么特征枫疆,然后開始將這些問題分類爵川,比如A類、B類息楔、C類寝贡。分類好了之后,你又對你朋友炫耀:我的機器機靈得跟猴似的值依,不信你問它問題圃泡。然后你朋友問它: “女朋友說自己感冒了應(yīng)該怎么回復(fù)她?”機器想了想愿险,發(fā)現(xiàn)這個問題跟自己歸類的A類問題一樣颇蜡,于是它就隨口用A類問題里的一個代表性問題作為回答:“女朋友說自己大姨媽來了該怎么回復(fù),你就怎么回復(fù)≡璺耍”你的朋友覺得機器是理解了他的問題熔任,但是他還是不知道該怎么回復(fù)女朋友啊,失望的走了唁情。這個時候你發(fā)現(xiàn)你的機器回答方式不好呀疑苔,于是你告訴機器,不要用問題回答問題甸鸟,你順便給了他的A類問題一個統(tǒng)一答案惦费,就是“多喝熱水”。然后你叫你朋友再問一次機器抢韭,你朋友又來問了一次機器:“女朋友說自己感冒了我該怎么回復(fù)薪贫。”機器馬上回答:“叫她多喝熱水呀刻恭∏剖。”你朋友一聽,恍然大悟鳍贾,開開心心地走了鞍匾。
專業(yè)解釋:機器學(xué)習(xí)是否有監(jiān)督,就看訓(xùn)練時輸入的數(shù)據(jù)是否有標(biāo)簽(標(biāo)簽即標(biāo)注輸入數(shù)據(jù)對應(yīng)的答案)骑科。無監(jiān)督學(xué)習(xí)即訓(xùn)練時輸入數(shù)據(jù)無標(biāo)簽橡淑,無監(jiān)督學(xué)習(xí)利用聚類算法。無監(jiān)督學(xué)習(xí)不利用“回歸”方式找到規(guī)律咆爽。其他的跟監(jiān)督學(xué)習(xí)基本相同梁棠。
1)K-聚類(聚類算法)
K-means聚類是一種矢量量化的方法,給定一組向量斗埂,K-means算法將這些數(shù)據(jù)組織成k個子集符糊,使得每個向量屬于最近的均值所在的子集。在特征學(xué)習(xí)中蜜笤,K-means算法可以將一些沒有標(biāo)簽的輸入數(shù)據(jù)進行聚類濒蒋,然后使每個類別的“質(zhì)心”來生成新的特征。
換種說法就是:K個子集中每個子集都計算出一個均值把兔,每個均值在空間里都為一個“質(zhì)心”,根據(jù)輸入數(shù)據(jù)的特征及特征值為它找到一個點瓮顽,這個點最接近哪個“質(zhì)心”县好,我們就視該數(shù)據(jù)屬于哪個子集,即與該子集所有數(shù)據(jù)為同一類暖混。
2)主成分分析法
容我偷個懶缕贡,這個我自己還未真正學(xué)習(xí)懂,所以就不寫了,后面出現(xiàn)未具體解釋的東西都是我還未學(xué)習(xí)明白的內(nèi)容晾咪。爭取只寫我真正自己學(xué)懂的東西收擦,怕未完全明白的基礎(chǔ)上寫的東西容易出現(xiàn)誤導(dǎo)。但是我會在接下來的學(xué)習(xí)中把余下的AI知識都學(xué)好谍倦,并盡量再發(fā)文跟大家分享塞赂。
3.3、半監(jiān)督學(xué)習(xí)
半監(jiān)督學(xué)習(xí)其實就是監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)的方法合并利用昼蛀,訓(xùn)練數(shù)據(jù)有一部分是有標(biāo)簽的宴猾,有一部分是無標(biāo)簽的,通常無標(biāo)簽的數(shù)據(jù)量比有標(biāo)簽的數(shù)據(jù)量大很多叼旋。半監(jiān)督學(xué)習(xí)的好處是仇哆,1)降低打標(biāo)簽的人工成本的情況下讓模型可以得到很好的優(yōu)化;2)大量的沒辦法打標(biāo)簽的數(shù)據(jù)得以被利用起來夫植,保證訓(xùn)練數(shù)據(jù)的量讹剔,從而讓訓(xùn)練結(jié)果更佳。狹義上【半監(jiān)督學(xué)習(xí)】要分為transductive SVM详民、inductive SVM辟拷、Co-training、label propagation阐斜;我們可以嘗試用另外一種方法分類【半監(jiān)督學(xué)習(xí)】衫冻,即“分類半監(jiān)督”、“聚類半監(jiān)督”谒出。分類半監(jiān)督--舉例說明就是先用標(biāo)簽數(shù)據(jù)進行訓(xùn)練隅俘,然后加入無標(biāo)簽數(shù)據(jù)訓(xùn)練,無標(biāo)簽數(shù)據(jù)輸入時笤喳,會根據(jù)數(shù)據(jù)特征及特征值为居,看該數(shù)據(jù)與有標(biāo)簽數(shù)據(jù)分類中哪一類更接近(支持向量機SVM的方法就可以幫助找到最接近哪一類),就視為該類數(shù)據(jù)杀狡;或者是蒙畴,看該數(shù)據(jù)與有標(biāo)簽數(shù)據(jù)哪一個最接近(KNN的方法就可以找到最接近的那個數(shù)據(jù)),則把該無標(biāo)簽數(shù)據(jù)替換為該標(biāo)簽數(shù)據(jù)呜象。聚類半監(jiān)督--通常是在有標(biāo)簽數(shù)據(jù)的“標(biāo)簽不確定”的情況下利用(比如這個輸入數(shù)據(jù)的答案可能是xxx)膳凝,“聚類半監(jiān)督”就是重點先完成數(shù)據(jù)的分類,然后嘗試根據(jù)標(biāo)簽數(shù)據(jù)訓(xùn)練提供的標(biāo)簽預(yù)測結(jié)果恭陡。
1)S3VM算法
2)S4VM算法
3)CS4VM算法
4)TSVM算法
3.4蹬音、強化學(xué)習(xí)
通俗解釋:你準(zhǔn)備一大堆問題,每個問題有多個答案選項休玩,其中只有一個選項是正確答案著淆。手里拿著皮鞭劫狠,讓你的機器一個個問題的從選項里挑答案回答,回答正確了永部,你就溫柔的默默它的頭独泞,回答錯誤了,你就抽它丫的苔埋。所有問題都回答完了之后懦砂,再重復(fù)一次所有問題。然后你就發(fā)現(xiàn)讲坎,你的機器每一次重復(fù)孕惜,正確率都提高一些,直到最后正確率達到你的期望值了晨炕,這時候機器基本也從撫摸和抽打中找到了每一個問題的正確答案衫画。機器通過一次次去猜測問題和答案之間的規(guī)律(即算法),一次次更新規(guī)律瓮栗,最后也找到了最準(zhǔn)確那條規(guī)律(最佳算法)削罩,這時,它機靈得跟猴一樣费奸。(當(dāng)然實際過程里弥激,只需要獎勵機制就夠了,但是你想同時給懲罰機制愿阐,也可以的微服。)
專業(yè)解釋:我自己的理解,把強化學(xué)習(xí)理論分一和二缨历,其中一是完全按照馬爾科夫決策過程的理論以蕴,需要理解環(huán)境,在每一步動作時都得到一個反饋并計算下一步該怎么動作更好辛孵。二是不需要理解環(huán)境丛肮,只需要在執(zhí)行完之后接收環(huán)境反饋的信號,然后它才明白之前的動作好不好魄缚,下次會堅持或改變同樣情況下要執(zhí)行的動作宝与。
強化學(xué)習(xí)理論一:agent(下文會講agent是什么,此處可以理解為機器本身)需要理解環(huán)境冶匹、分析環(huán)境习劫,并且要推測出完成一個動作得到獎勵的概率。該理論完全滿足馬爾科夫決策徙硅。馬爾可夫的核心:在一個狀態(tài)下榜聂,可以采取一些動作,每一個動作都有一個“轉(zhuǎn)化狀態(tài)”且可以得出對應(yīng)“轉(zhuǎn)化狀態(tài)”的概率(或該“轉(zhuǎn)化狀態(tài)”能獲取獎勵的概率)嗓蘑。而強化學(xué)習(xí)的目標(biāo)就是學(xué)習(xí)怎樣讓每一次行動都是為了達到最有價值的“轉(zhuǎn)化狀態(tài)”上须肆。
1) model based(算法:Qleaning, Sarsa, Policy Gradients)
理解真實環(huán)境,建立一個模擬環(huán)境的模型桩皿,有想象能力豌汇,根據(jù)想象預(yù)判結(jié)果,最后選擇想象中結(jié)果最好的那一種作為參考進行下一步泄隔。
2)policy based(算法:Policy Gradients,? Actor-critic)
通過感官分析環(huán)境拒贱,推測出下一步要進行的各種動作的概率,取概率最大的作為實際行動的參考佛嬉。
3)value based(算法:Qleaning, Sarsa)
推測出所有動作的價值逻澳,根據(jù)價值最高的作為實際動作的參考。
4)On policy(算法:Sarsa,? Sarsa lambda)
必須親自參與
5)Off policy(算法:Qleaning,? Deep-Q-Network)
可親自參與暖呕;也可以不親自參與斜做,通過觀看其他人或機器,對其他人或機器進行模仿湾揽。
強化學(xué)習(xí)理論二:agent不需要理解環(huán)境瓤逼、分析環(huán)境時,做出決策库物,該決策正確時獎勵霸旗,錯誤時不獎勵或懲罰。agent不會在動作時去計算是否得到獎勵的概率戚揭。
強化學(xué)習(xí)中的4個要素:agent(一個智能體诱告,可以為一個算法模型,或直接理解成機器本身)民晒、environment(環(huán)境精居,環(huán)境對于agent是獨立的,它可以是一個硬件設(shè)備镀虐、強化學(xué)習(xí)之外的某種機器學(xué)習(xí)模型等箱蟆,它的任務(wù)就是當(dāng)action結(jié)束后用它的方式給agent一個信號)、action(動作)刮便、reward(獎勵)空猜。
agent能夠執(zhí)行多種action,但它每次只能選擇一個action來執(zhí)行恨旱,agent任意執(zhí)一個action來改變當(dāng)前狀態(tài)辈毯,一個action被執(zhí)行后,environment會通過觀測得出一個observation搜贤,這個observation會被agent接收谆沃,同時會出現(xiàn)一個reward也會被agent接收(這個reward也來自于environment,environment可以通過推測或直接判斷action結(jié)束時達到的效果是否是AI工程師想要的效果來決定這個reward是正值還是負(fù)值仪芒,當(dāng)然負(fù)值相當(dāng)于是“懲罰”了)唁影。agent在執(zhí)行action時并不會知道結(jié)果會怎樣耕陷,當(dāng)agent接收到environment的observation時,agent仍然是一無所知的(因為agent不理解environment)据沈,但由于environment同時反饋reward哟沫,agent才知道執(zhí)行的action好還是不好。agent會記住這次reward是正值還是負(fù)值锌介,以后的action都會參考這次記憶嗜诀。強化學(xué)習(xí)理論二對比一的區(qū)別就是:二并非在每一步都計算一個概率(所以二并非完全符合馬爾科夫決策)。
1)model free(算法:Qleaning, Sarsa, Policy Gradients)
不理解環(huán)境孔祸,等待環(huán)境反饋隆敢,根據(jù)反饋進行下一步。
2)Monte-carlo update(算法:Policy Gradients,? Monte-carlo leaning)
等待所有過程結(jié)束崔慧,事后總結(jié)所有轉(zhuǎn)折點
3)Temporal difference update(算法:Qleaning, Sarsa)
過程中每一步都總結(jié)一下
4)On policy(算法:Sarsa,? Sarsa lambda)
必須親自參與
5)Off policy(算法:Qleaning,? Deep-Q-Network)
可親自參與拂蝎;也可以不親自參與,通過觀看其他人或機器尊浪,對其他人或機器進行模仿匣屡。
強化學(xué)習(xí)不糾結(jié)于找出一條規(guī)律/算法,它只關(guān)心結(jié)果輸出時能否得到獎勵拇涤。之前提到的機器學(xué)習(xí)都是解決分類問題捣作,而強化學(xué)習(xí)是解決“決策”問題。
3.5鹅士、遷移學(xué)習(xí)
通俗解釋:當(dāng)你的機器用以上幾種方式中任何一種方式學(xué)習(xí)完之后券躁,你叫你的機器把學(xué)習(xí)后找到的規(guī)律(算法)寫在它的筆記本上。然后換一種學(xué)習(xí)方式掉盅,讓它繼續(xù)學(xué)習(xí)也拜,叫它用第二種方法學(xué)習(xí)的時候要看筆記本,把新學(xué)到的知識也寫上去趾痘,但是不能跟原筆記沖突慢哈,也不能修改原筆記。連續(xù)用多種方法讓你的機器學(xué)習(xí)永票,它肯定比猴更機靈耗溜。
專業(yè)解釋:將一個已經(jīng)開發(fā)過的任務(wù)模型(源域)重復(fù)利用蚯妇,作為第二個任務(wù)模型(目標(biāo)域)的起點狐榔。深度學(xué)習(xí)中會經(jīng)常用到遷移學(xué)習(xí)王凑,遷移時(復(fù)用時),可以全部使用或部分使用第一個模型(源任務(wù)模型)世分,當(dāng)然這取決于第一個模型的建模邏輯是否允許编振。遷移學(xué)習(xí)是特別好的降低(獲取樣本數(shù)據(jù)、打標(biāo)簽)成本的方法臭埋。
1)樣本遷移法
看看目標(biāo)域的樣本數(shù)據(jù)跟源域中訓(xùn)練數(shù)據(jù)哪部分相似踪央,把目標(biāo)域中這部分樣本數(shù)據(jù)的特征值照著相似的源域中的樣本數(shù)據(jù)的特征值調(diào)整臀玄,盡量調(diào)到一樣,然后再把調(diào)過的數(shù)據(jù)權(quán)重值提高杯瞻。這個方法是最簡單的遷移學(xué)習(xí)方法镐牺,不過人工去調(diào)炫掐,如果經(jīng)驗不足魁莉,容易造成極大誤差。
2)特征遷移法
找到源域同目標(biāo)域的數(shù)據(jù)中的共同特征募胃,將這些共同特征的數(shù)據(jù)都放到同一個坐標(biāo)空間里旗唁,形成一個數(shù)據(jù)分布。這樣就可以得到一個數(shù)據(jù)量更大且更優(yōu)質(zhì)的模型空間痹束。(之前提到很多模型算法對輸入數(shù)據(jù)分類時都要依靠模型里虛擬的空間检疫,這個空間的質(zhì)量越好,分類效果越好)祷嘶。
3)模型遷移法
源域的整個模型都遷移到目標(biāo)域屎媳。最完整的遷移,但是可能會因為源域模型的特有的那些對目標(biāo)域來說沒有的數(shù)據(jù)论巍、特征烛谊、特征值等,在目標(biāo)域中反而會有干擾效果(類似與“過擬合”)嘉汰。
4)關(guān)系遷移法
當(dāng)兩個域相似時丹禀,可以直接將源域的邏輯網(wǎng)絡(luò)關(guān)系在目標(biāo)域中進行應(yīng)用。比如我們將人的大腦神經(jīng)網(wǎng)絡(luò)的邏輯關(guān)系遷移到AI神經(jīng)網(wǎng)絡(luò)中鞋怀,因為從邏輯上這兩者我們覺得是一樣的双泪。
3.6、深度學(xué)習(xí)
深度學(xué)習(xí)可以理解為是多個簡單模型組合起來密似,實現(xiàn)多層神經(jīng)網(wǎng)絡(luò)焙矛,每層神經(jīng)網(wǎng)絡(luò)(也可以叫做神經(jīng)元)處理一次數(shù)據(jù),然后傳遞到下一層繼續(xù)處理残腌。這種多層的結(jié)構(gòu)比起淺層學(xué)習(xí)的模型優(yōu)勢在于村斟,可以提取出數(shù)據(jù)特征(無需人工提取)废累〉嗣罚“深度”并沒有絕對的定義,語音識別的模型中4層神經(jīng)網(wǎng)絡(luò)就算深了邑滨,但在圖像識別的模型中日缨,20層也不算很深。
1)DNN深度神經(jīng)網(wǎng)絡(luò)
深度神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)最基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)掖看。有很多層(每一層為一個神經(jīng)元)從上往下排列匣距,每一個層相互連接面哥。有個缺點就是,正因為每一層之間連接起來毅待,出現(xiàn)了參數(shù)數(shù)量膨脹問題(因為每一層涉及到一個算法尚卫,每一個算法都有自己的各種參數(shù)),這樣的情況下容易過擬合(實現(xiàn)了局部最佳但整體擬合不佳)尸红。
2)CNN卷積神經(jīng)網(wǎng)絡(luò)
卷積神經(jīng)網(wǎng)絡(luò)有“卷積核”吱涉,這個“卷積核”可以作為介質(zhì)連接神經(jīng)元,用“卷積核”連接神經(jīng)元時就不需要每一層都連接了外里。
3)RNN循環(huán)神經(jīng)網(wǎng)絡(luò)
因為DNN還有一個缺點怎爵,無法對時間序列上發(fā)生的變化進行建模,如果在語音識別盅蝗、自然語言處理等應(yīng)用中使用AI模型時鳖链,數(shù)據(jù)的時間順序影響很大。所以RNN就出現(xiàn)了墩莫,RNN能彌補DNN的缺點芙委,可以在時間序列上發(fā)生的變化進行建模。
4狂秦、重要的關(guān)鍵詞解釋
4.1灌侣、擬合
擬合是用來形容訓(xùn)練結(jié)束后效果好壞的。
1)欠擬合
當(dāng)訓(xùn)練數(shù)據(jù)少故痊、數(shù)據(jù)質(zhì)量差的時候顶瞳,訓(xùn)練出來的模型質(zhì)量就差(或者說損失函數(shù)過大),這時進行測試的時候愕秫,就會出現(xiàn)誤差大慨菱,即“欠擬合”狀況。
2)過擬合
在訓(xùn)練階段戴甩,反復(fù)用同樣的訓(xùn)練數(shù)據(jù)進行訓(xùn)練符喝,可以讓訓(xùn)練效果變得更好(損失函數(shù)小)甜孤,但同時機器會因為要達到最好的訓(xùn)練效果协饲,將訓(xùn)練數(shù)據(jù)中不重要的特征或只有訓(xùn)練數(shù)據(jù)才有的某些特征進行利用得太重或開始學(xué)習(xí)不需要的細節(jié),也就是說機器對訓(xùn)練數(shù)據(jù)太過依賴缴川,最后就會出現(xiàn)在訓(xùn)練數(shù)據(jù)上表現(xiàn)特別好茉稠,但在其他數(shù)據(jù)上表現(xiàn)不佳。這樣的情況叫做“過擬合“把夸。
3)最佳擬合
欠擬合而线、過擬合都不是我們需要的。我們要的是最佳擬合。所以我們在訓(xùn)練機器時要注意平衡膀篮。最佳點在哪里呢嘹狞?最佳點在訓(xùn)練的損失函數(shù)還在減小,而測試的損失函數(shù)在減小之后突然開始增大的該點上誓竿。此時我們就達到了“最佳擬合”磅网。
4.2、泛化性
訓(xùn)練好的模型在其他數(shù)據(jù)上的表現(xiàn)好壞用泛化性形容筷屡。在其他數(shù)據(jù)上表現(xiàn)越好涧偷,泛化性越高。
4.3速蕊、損失函數(shù)
用于評估“不準(zhǔn)確”的程度嫂丙,它是衡量模型估算值和真實值差距的標(biāo)準(zhǔn)。損失函數(shù)(loss)越小规哲,則模型的估算值和真實值的差距越小,通常情況下我們要把loss降到最低诽表。
4.4唉锌、香農(nóng)熵
形容信息量大小。機器學(xué)習(xí)中重要是用于衡量特征的數(shù)量多少竿奏。一個數(shù)據(jù)的特征越多袄简,說明我們可以從這個數(shù)據(jù)中獲得的信息越多,也就可以說香農(nóng)熵高泛啸。順便提一下绿语,決策樹的生成過程,就是降低香農(nóng)熵的過程候址。
4.5吕粹、標(biāo)簽
指給數(shù)據(jù)標(biāo)記的答案。標(biāo)記好答案的數(shù)據(jù)叫做“標(biāo)簽數(shù)據(jù)”岗仑。
4.6匹耕、特征值
特征(feature)的值。比如房子有特征(feature):空間荠雕、價格稳其。它的特征值:(空間)200平方米、(價格)1500萬炸卑。一般在機器學(xué)習(xí)的監(jiān)督學(xué)習(xí)中既鞠,我們需要對訓(xùn)練數(shù)據(jù)進行特征提取的處理,即標(biāo)記好每個數(shù)據(jù)有哪些特征和對應(yīng)特征值盖文。
當(dāng)特征值損失的情況:
在實際的機器學(xué)習(xí)過程中嘱蛋,有時候會發(fā)生數(shù)據(jù)缺失的問題,比如一個數(shù)據(jù)有X個特征,但是由于意外發(fā)生浑槽,我們只得到部分(小于X)特征的值蒋失,在這種情況下,為了不浪費整個樣本資源桐玻,且可以順利的繼續(xù)機器學(xué)習(xí)篙挽,我們需要有一些彌補措施:1)認(rèn)為設(shè)置某些特征的特征值(根據(jù)經(jīng)驗),然后利用镊靴;2)找到相似的另一組樣本铣卡,用另一組樣本的特征平均值代替缺失的特征值;3)用其他的機器學(xué)習(xí)模型專門針對缺失的特征值進行學(xué)習(xí)然后利用該模型找出缺失特征值偏竟;4)使用已有特征值的均值來替代未知特征值煮落;5)在機器學(xué)習(xí)過程中用一些方法,讓機器忽略已缺失特征值的數(shù)據(jù)踊谋。
4.7蝉仇、類別
物以類聚人以群分,特征相同的數(shù)據(jù)就是同一類別殖蚕。機器學(xué)習(xí)中特別重要的一個步驟就是利用算法將數(shù)據(jù)分類(學(xué)習(xí)算法里邊會提到多種實現(xiàn)數(shù)據(jù)分類的算法)轿衔,機器會盡量將所有輸入數(shù)據(jù)進行分類,分類的邏輯就是通過數(shù)據(jù)的“特征”睦疫,特征接近的數(shù)據(jù)會被機器認(rèn)為是同一類別的數(shù)據(jù)害驹。
4.8、分類&聚類
分類是目前最簡單也是效果最好的一類算法(比如KNN蛤育、決策樹ID3宛官、logistic回歸、SVM等都屬于分類算法)瓦糕。分類算法的前提條件是訓(xùn)練數(shù)據(jù)必須帶有標(biāo)簽底洗。
聚類是目前相對分類更復(fù)雜同時效果更差的一類算法(無監(jiān)督學(xué)習(xí)就是用聚類算法)。聚類算法的優(yōu)勢是可以訓(xùn)練數(shù)據(jù)不需要標(biāo)簽刻坊。表面上看來分類算法比聚類算法好用很多枷恕,那我們還要用聚類算法的理由是什么呢?其實谭胚,在實際情況下徐块,訓(xùn)練機器時,要給數(shù)據(jù)打標(biāo)簽是個人工消耗極大的工作灾而,不僅工作量大胡控,很多時候?qū)?shù)據(jù)打準(zhǔn)確的標(biāo)簽難度也大。
4.9旁趟、決策樹
根據(jù)數(shù)據(jù)的特征值對數(shù)據(jù)進行不斷分支昼激,直到不可再分支(附 決策樹形象圖)。決策樹的每一次對數(shù)據(jù)分支,就消耗一個特征值橙困。當(dāng)所有特征值消耗完后瞧掺,決策樹成形。決策樹的每一個節(jié)點凡傅,即每一次對特征分支時辟狈,通常以yes/no的判斷形式進行劃分(所以才叫“決策樹”嘛)。決策樹幫助機器對數(shù)據(jù)進行分類(根據(jù)特征夏跷,決策樹的分裂點即特征分別點)哼转,決策樹形成后,滿足一條分枝上所有分裂點條件的為同一類數(shù)據(jù)槽华。要注意的是壹蔓,有時候決策樹分枝太長,會導(dǎo)致過擬合猫态。因為決策樹很可能把訓(xùn)練數(shù)據(jù)中不太有代表性的特征放在分裂點上佣蓉,這樣形成的決策樹不適應(yīng)與訓(xùn)練數(shù)據(jù)之外的數(shù)據(jù)了。如果出現(xiàn)這種情況懂鸵,需要“剪枝”偏螺,枝越長,說明模型可能越依賴訓(xùn)練數(shù)據(jù)匆光,在枝的長短上,要做一個平衡酿联,平衡的原則請參考本文提到的“欠擬合”與“過擬合”的關(guān)鍵詞解釋终息。
我們用最簡單的決策樹二叉樹抽象示意圖來表達我們招聘產(chǎn)品經(jīng)理時的一個面試判斷過程:
有時候分裂點上有數(shù)值判斷,這些數(shù)值都叫做“閾值”贞让。在決策樹中周崭,對閾值的使用越合理,訓(xùn)練形成的決策樹效果越好喳张,用在數(shù)據(jù)上越精確续镇。請查看簡化決策樹示意圖2:
4.10、知識圖譜
知識圖譜是模擬物理世界的實物與實物之間的關(guān)系销部,知識圖譜呈現(xiàn)為無限擴散的類網(wǎng)狀結(jié)構(gòu)摸航。它的結(jié)構(gòu)組成為“實體”--“關(guān)系”--“實體”,以及“實體”--“屬性”--“值”舅桩。知識圖譜使得AI找到一個信息時酱虎,同時也獲得了更多跟跟這個信息相關(guān)的其他信息。希望大家可以具體去看知識圖譜相關(guān)書籍擂涛,該知識還是相對容易看明白的读串。
知識圖譜簡化示意圖:
其中“老狼--女朋友--斯嘉麗約翰遜”,就是實體--關(guān)系--實體,“老狼--生日--3月29”和“斯嘉麗約翰遜--罩杯--D”就是實體--屬性--值恢暖。舉一個利用知識圖譜的常見栗子:當(dāng)有人問AI:“老狼有女朋友嗎排监?”AI有自然語言處理的支撐,就可以識別到這個人在向它提問杰捂,且在詢問老狼的女朋友這件事舆床。同時有知識圖譜的支撐,AI就可以準(zhǔn)確回答:“老狼有個叫斯嘉麗約翰遜的女朋友琼娘,是個D罩杯的美女呢峭弟。”
5脱拼、基礎(chǔ)技術(shù)
5.1瞒瘸、語音識別(ASR)
一句話定義就是:將人類聲音轉(zhuǎn)化成文字的過程。
按識別范圍分類為“封閉域識別”和“開放域識別”熄浓。封閉域識別:在預(yù)先指定的字/詞集合內(nèi)進行識別情臭。如此可將聲學(xué)模型和語音模型進行剪裁,識別引擎的計算量也變低赌蔑「┰冢可以將引擎封裝于嵌入式芯片或本地化SDK,脫離云端娃惯,且不會影響識別率趾浅。開放域識別:在整個語言大集合中識別。引擎計算量大皿哨,直接封裝到嵌入式芯片或本地SDK中,耗能高且識別效果差证膨,所以一般都只以云端形式提供。(更詳細的介紹可看文末分享的腦圖)
5.2央勒、計算機視覺(CV)
一句話定義:計算機對生物視覺的模擬不见。通過采集圖片脖祈、視頻進行處理刷晋,以獲取相應(yīng)場景的三維信息。
計算機視覺的三步驟為成像席纽、早期視覺撞蚕、識別理解甥厦。其中成像原理跟相機原理相同,成像質(zhì)量受光照影響刀疙、模糊、噪聲竟纳、分辨率的影響锥累,我們需要去找到好的方法來解決光照桶略、模糊等問題删性。早期視覺又有圖像分割(將特定影像分割成“區(qū)域內(nèi)部屬性一致”而“區(qū)域間不一致”的技術(shù))焕窝、邊緣求任亍(找到圖像中的亮度變化劇烈的像素點構(gòu)成的集合溯泣,即找出輪廓)垃沦、運動及深度估計三種方法肢簿。識別理解是最后一步蜻拨,即把一張圖片對應(yīng)到一個文字或標(biāo)簽(根據(jù)機器找到的映射關(guān)系得出輸出)缎讼。
計算機視覺的三種應(yīng)用介紹:人臉識別血崭、多目標(biāo)跟蹤厘灼、光學(xué)符號識別设凹。
1)人臉識別的技術(shù)流程:人臉采集--人臉檢測--圖像預(yù)處理--特征提取--人臉匹配與識別围来。在實際流程當(dāng)中监透,每一個環(huán)節(jié)都有對應(yīng)的注意事項,詳情請看老狼在文末準(zhǔn)備的腦圖院刁。
2)多目標(biāo)追蹤的技術(shù)流程:圖像采集--圖像預(yù)處理--基于深度學(xué)習(xí)的多目標(biāo)檢測識別--多目標(biāo)跟蹤--輸出結(jié)果退腥。在實際流程當(dāng)中狡刘,每一個環(huán)節(jié)都有對應(yīng)的注意事項嗅蔬,詳情請看老狼在文末準(zhǔn)備的腦圖澜术。
3)光學(xué)符號識別的技術(shù)流程:圖像采集--圖像預(yù)處理--特征提取--文字定位--光學(xué)識別鸟废。在實際流程當(dāng)中姑荷,每一個環(huán)節(jié)都有對應(yīng)的注意事項,詳情請看老狼在文末準(zhǔn)備的腦圖撇叁。
5.3陨闹、自然語言處理(NLP)
一句話定義:自然語言處理(NLP)是指機器理解并解釋人類寫作趋厉、說話方式的能力君账。
NLP又包含NLU(自然語言理解)乡数、NLG(自然語言生成)净赴。自然語言處理中最重要的3個環(huán)節(jié)是分詞罩润、鎖定關(guān)鍵詞割以、文本相似度計算严沥。因為目前機器的語言識別其實都是基于對詞的識別消玄,任何句子進行自然語言處理時第一步都是要分詞莱找,比如:“我是產(chǎn)品經(jīng)理”奥溺,分詞后變成“我-是-產(chǎn)品-經(jīng)理”浮定。分詞之后桦卒,要找到“關(guān)鍵詞”方灾,“關(guān)鍵詞”是提供重要信息裕偿、最多信息的詞,比如在“我是產(chǎn)品經(jīng)理”句子被分詞后劲腿,機器會選擇“產(chǎn)品”焦人、“經(jīng)理”為該句子“關(guān)鍵詞”花椭。文本相似度有歐氏距離个从、曼哈頓距離等算法嗦锐,詳情看老狼的腦圖奕污。
6碳默、技術(shù)分層
從技術(shù)實現(xiàn)的效果的角度將AI技術(shù)進行分層:1)認(rèn)知嘱根,通過收集该抒、解析信息對世界和環(huán)境進行認(rèn)知凑保。包括圖片處理技術(shù)欧引、語音識別芝此、自然語言識別技術(shù)癌蓖。2)預(yù)測行為和結(jié)果租副。比如在用戶行為研究的基礎(chǔ)上根據(jù)對用戶當(dāng)前行為的識別用僧,預(yù)測用戶下一步想做什么责循,然后主動滿足用戶院仿。3)確定實現(xiàn)的方式和路徑歹垫。比如AI代替醫(yī)生給病人看病排惨,得出病癥和治病方案暮芭。
7辕宏、AI的常用語言及框架
市場上有的AI框架包括TensorFlow瑞筐、Caffe、Torch、Theano等等匈子,目前大部分工程師利用的是Tensorflow虎敦。AI編程可以利用多種計算機語言其徙,目前最常用的是C++和python唾那。
想要實操練習(xí)的小伙伴闹获,到Google官方網(wǎng)站避诽,按照官方的教程安裝TensorFlow沙庐,安裝好之后拱雏,你就可以用它提供的多個API來訓(xùn)練機器學(xué)習(xí)模型了。
8羡滑、AI的價值
互聯(lián)網(wǎng)的價值在于降低成本柒昏、提高效率职祷;而AI 可以替代人力有梆,讓成本直接為0泥耀,其蘊含的市場價值比互聯(lián)網(wǎng)技術(shù)的市場價值更高痰催。
二夸溶、AI的邊界
要理解AI的邊界缝裁,就必須從AI三要素切入啸罢。三要素分別為算法扰才、計算力衩匣、數(shù)據(jù)琅捏。我們通過對已有模型算法的理解柄延,計算力的認(rèn)知以及對可獲取數(shù)據(jù)的判斷搜吧,就可以推測出我們落地時可實現(xiàn)哪些,以及可實現(xiàn)到什么程度蜒程。
有一個宏觀判斷邊界的快捷法昭躺,叫做“1秒法則”:當(dāng)前的AI可以實現(xiàn)到處理人1秒內(nèi)可以想到答案的問題领炫。而且這個問題還得滿足以下特點:大規(guī)模驹吮、重復(fù)性碟狞、限定領(lǐng)域族沃。
三、AI的市場情況
1盖溺、AI應(yīng)用分類
關(guān)鍵性應(yīng)用:需要算法準(zhǔn)確度在99.9999%以上的應(yīng)用烘嘱。比如無人駕駛汽車蝇庭、手術(shù)機器人等哮内。
非關(guān)鍵性應(yīng)用:只需要算法準(zhǔn)確度在99%或95%以上的應(yīng)用。例如人臉識別鲫竞、廣告推送等从绘。
關(guān)鍵性應(yīng)用對算法要求極高僵井,需要特別優(yōu)秀的AI算法專家來推動實現(xiàn)农曲。非關(guān)鍵性應(yīng)用對算法要求相對低乳规,借助開源算法即可以進行落地暮的。關(guān)鍵性應(yīng)用的關(guān)鍵角色是AI算法專家(AI 科學(xué)家)、非關(guān)鍵性應(yīng)用的關(guān)鍵角色則是AI PM 恨闪。
2咙咽、AI的市場化
由于云計算解決了計算力的問題犁珠,又有開源算法以及Google等公司開放的框架可利用,很多AI產(chǎn)品的落地條件只剩下找到數(shù)據(jù)了炊昆。而一些有數(shù)據(jù)積累的互聯(lián)網(wǎng)公司在這一點上具備先發(fā)優(yōu)勢凤巨,比如百度、阿里彰檬、騰訊逢倍,都開始搶奪下一個商業(yè)風(fēng)口(AI)了较雕。百度已經(jīng)是all in AI 了扣典,目前百度的無人汽車駕駛已經(jīng)初見成效激捏,離大規(guī)模商品化不遠闰蛔。阿里利用AI為自己的服務(wù)進行各種升級序六,比如人臉識別例诀、人臉解鎖等等拱她,現(xiàn)在阿里布局的新零售線下無人超市等必不可缺AI支持秉沼。騰訊的計算機識別相關(guān)軟件已經(jīng)成熟并等待深度商業(yè)化唬复。另外一些小一點且針對領(lǐng)域相對垂直的互聯(lián)網(wǎng)公司,如喜馬拉雅休建、美團等禁熏,都開始為自己的應(yīng)用或服務(wù)AI 賦能。(此處針對非關(guān)鍵性應(yīng)用介紹)
過去多年互聯(lián)網(wǎng)的發(fā)展很好地打下了數(shù)據(jù)基礎(chǔ)邑彪,互聯(lián)網(wǎng)應(yīng)用是很好的數(shù)據(jù)采取端口瞧毙。產(chǎn)品經(jīng)理要負(fù)責(zé)AI產(chǎn)品的時候同樣需要多花心思設(shè)計應(yīng)用的數(shù)據(jù)采集體系,使得可更高效地采集數(shù)據(jù)寄症,且采集數(shù)據(jù)更便于形成優(yōu)質(zhì)樣本宙彪。
順便說下短期市場趨勢——專家系統(tǒng)有巧∈推幔“專家系統(tǒng)”也是AI模型里很重要的一部分,我們可以簡單理解為“專家系統(tǒng)”就是針對一個專業(yè)領(lǐng)域進行專業(yè)知識的訓(xùn)練而獲得的模型篮迎,“專家系統(tǒng)”其實就是機器復(fù)制行業(yè)專家的專業(yè)能力男图,并替代其完成工作。比如醫(yī)療專家系統(tǒng)AI甜橱、股票專家系統(tǒng)AI逊笆。前者是替代醫(yī)生進行診斷看病并輸出結(jié)果,后者是替代股票專家?guī)陀脩舴治龉墒屑巴扑]股票岂傲∧疡桑“專家系統(tǒng)”的訓(xùn)練要依靠行業(yè)專家或?qū)<铱偨Y(jié)的專業(yè)知識,行業(yè)專家要參與訓(xùn)練和測試效果镊掖。目前市場里某些領(lǐng)域的“專家系統(tǒng)”已經(jīng)相當(dāng)成熟了乃戈,“專家系統(tǒng)”也是最容易直接創(chuàng)造商業(yè)價值的AI。目前大公司的AI框架所開放的API已經(jīng)足夠訓(xùn)練成熟的“專家系統(tǒng)”亩进,只需要滿足條件:1)有專家知識症虑;2)有足夠多的優(yōu)質(zhì)數(shù)據(jù)。
3归薛、硬件&軟件
AI的產(chǎn)品可以分為硬件AI(包括硬軟結(jié)合AI)侦讨、軟件AI。其中硬件AI產(chǎn)品的落地成本更高苟翻、風(fēng)險更大韵卤、周期更長,所以目前市場資本對軟件AI公司更偏好一些崇猫,拿到投資的這類公司的量也多一些沈条。2018年開始后的兩三年內(nèi),亮相市場的AI產(chǎn)品應(yīng)該大量都是軟件類诅炉,甚至說大量的AI產(chǎn)品就來自于移動互聯(lián)網(wǎng)產(chǎn)品的升級(AI賦能)蜡歹。比如美團外賣app已經(jīng)加了AI機器人服務(wù)功能款咖,還有微軟識花等純AI的app...
4傲霸、AI市場的人才需求
目前人才需求是市場第一需求。人才包括新興崗位:AI算法科學(xué)家、AI工程師是整、人工智能訓(xùn)練師豌习、AI產(chǎn)品經(jīng)理尾膊、數(shù)據(jù)標(biāo)注專員斩松。涉及到關(guān)鍵性應(yīng)用時,AI算法科學(xué)家憨攒、AI工程師是最稀缺且第一需求人才世杀;涉及到非關(guān)鍵性應(yīng)用時,AI產(chǎn)品經(jīng)理為最稀缺且第一需求人才肝集。
目前市場在嘗試各行各領(lǐng)域的AI產(chǎn)品瞻坝,但由于AI產(chǎn)品經(jīng)理的匱乏,大部分進展過慢或難以開展杏瞻。市場需要更多的合格的AI產(chǎn)品經(jīng)理所刀,合格的AI產(chǎn)品經(jīng)理需要對AI認(rèn)知全面且懂得如何與實際的市場需求相聯(lián)系,同時還需要有對新的需求場景的開發(fā)捞挥、摸索(所以AI產(chǎn)品經(jīng)理還是得具備行業(yè)經(jīng)驗勉痴,對行業(yè)理解深刻)。
四树肃、AI項目中的分工
1、AI科學(xué)家
崗位職責(zé):
研究機器學(xué)習(xí)算法瀑罗、AI模型(通常只有關(guān)鍵性應(yīng)用的項目才會需要AI科學(xué)家)胸嘴。
2、AI工程師
崗位職責(zé):
利用模型進行編程斩祭,負(fù)責(zé)調(diào)整模型參數(shù)劣像,以及數(shù)據(jù)訓(xùn)練的操作。
3摧玫、AI訓(xùn)練師
崗位職責(zé):
通過分析產(chǎn)品需求及相關(guān)數(shù)據(jù)耳奕,制定數(shù)據(jù)標(biāo)注規(guī)則,提高數(shù)據(jù)標(biāo)注工作質(zhì)量和效率诬像,同時累積細分領(lǐng)域通用數(shù)據(jù)屋群。
崗位需求背景:
1)數(shù)據(jù)標(biāo)注是AI項目中最重要的環(huán)節(jié)之一。一般情況下需要由數(shù)據(jù)標(biāo)注員來完成數(shù)據(jù)標(biāo)注(即給訓(xùn)練數(shù)據(jù)打標(biāo)簽)坏挠,但是數(shù)據(jù)標(biāo)注員對數(shù)據(jù)的理解的不同會造成標(biāo)注質(zhì)量差異大芍躏,導(dǎo)致整個標(biāo)注工作的效率和效果都不好。
2)AI公司在其細分領(lǐng)域可能累積了大量數(shù)據(jù)降狠,但是由于缺少對數(shù)據(jù)的正確管理对竣,使得這些數(shù)據(jù)難以沉淀庇楞、復(fù)用,使用一次之后難以再發(fā)揮價值否纬。所以AI訓(xùn)練師成為了必要吕晌。
具體工作內(nèi)容:
1)通過聚類算法、標(biāo)注分析等方式临燃,以及憑借對行業(yè)的理解睛驳,從數(shù)據(jù)中結(jié)合行業(yè)場景提取特征。輸出表達清晰準(zhǔn)確的數(shù)據(jù)標(biāo)注規(guī)則谬俄。
2)輔助AI工程師的工作柏靶,并進行數(shù)據(jù)驗收。參與核心指標(biāo)的制定以及指標(biāo)監(jiān)督溃论。日常跟蹤數(shù)據(jù)屎蜓。(偏向于運營的工作)
3)根據(jù)細分領(lǐng)域的數(shù)據(jù)應(yīng)用需求,從已有數(shù)據(jù)中挑選符合要求的通用數(shù)據(jù)钥勋,形成數(shù)據(jù)沉淀炬转、積累。
4)提出細化的數(shù)據(jù)需求算灸,以及提出產(chǎn)品優(yōu)化建議扼劈。該工作需要和AI產(chǎn)品經(jīng)理進行大量溝通
5)分配數(shù)據(jù)標(biāo)注員的工作,對數(shù)據(jù)標(biāo)注員的工作進行培訓(xùn)菲驴、指導(dǎo)荐吵。以及驗收數(shù)據(jù)(檢查數(shù)據(jù)標(biāo)注員工作結(jié)果)。該工作需要和數(shù)據(jù)標(biāo)注員進行大量溝通赊瞬。
兩個側(cè)重方向:
AI訓(xùn)練師有兩個側(cè)重方向:一是重前期的數(shù)據(jù)挖掘工作及輔助AI工程師的工作先煎,保證產(chǎn)品落地。二是重后期的產(chǎn)品運營巧涧,提升產(chǎn)品體驗薯蝎。根據(jù)不同項目的需求而定側(cè)重方向。
能力模型:
1)數(shù)據(jù)能力——會使用科學(xué)的數(shù)據(jù)獲取方法谤绳,能利用excel之類的數(shù)據(jù)處理工具占锯。
2)行業(yè)背景——熟悉公司行業(yè)領(lǐng)域知識,以及數(shù)據(jù)特點(比如語言缩筛、圖像)消略。
3)分析能力——基于產(chǎn)品數(shù)據(jù)需求,提煉問題特征瞎抛,輸出優(yōu)化方案疑俭。
4)溝通能力——能通俗易懂的闡釋專業(yè)術(shù)語,與各崗位同事交流都能切換頻道。
5)AI技術(shù)理解力——特別是跟AI工程師交流時能厘清AI概念钞艇,并判斷技術(shù)邊界(能不能做啄寡,能做到什么程度)。
6)AI行業(yè)理解力——具備AI行業(yè)知識框架哩照。
4挺物、AI產(chǎn)品經(jīng)理
崗位職責(zé):
理解行業(yè)及用戶,收集/挖掘需求飘弧、分析需求识藤,做出產(chǎn)品戰(zhàn)略規(guī)劃,并設(shè)計產(chǎn)品解決方案次伶、分析最佳的AI解決方案(比如用什么AI技術(shù)痴昧、哪一個模型),與AI訓(xùn)練師溝通冠王、AI工程師溝通赶撰,完成產(chǎn)品demo,推動產(chǎn)品上線柱彻,跟蹤數(shù)據(jù)豪娜,做出產(chǎn)品優(yōu)化方案。
崗位需求背景:
無論在哪個領(lǐng)域哟楷,做產(chǎn)品都需要產(chǎn)品經(jīng)理瘤载。只不過在AI領(lǐng)域,需要對AI行業(yè)知識理解深刻的產(chǎn)品經(jīng)理卖擅,這樣的產(chǎn)品經(jīng)理具備邊界判斷的能力以及判斷最佳解決方案的能力鸣奔,我們把這樣的產(chǎn)品經(jīng)理叫AI產(chǎn)品經(jīng)理。
具體工作內(nèi)容:
1)調(diào)研行業(yè)惩阶,理解行業(yè)業(yè)務(wù)挎狸,收集或挖掘行業(yè)需求
2)深刻理解需求,分析目標(biāo)用戶琳猫,輸出用戶畫像
3)定位產(chǎn)品,制定產(chǎn)品戰(zhàn)略(結(jié)合對市場發(fā)展趨勢私痹、競品等的理解)
4)找出解決需求的方案脐嫂,并轉(zhuǎn)化為AI產(chǎn)品;選擇最佳AI解決方案(帶著需求和產(chǎn)品規(guī)劃與AI工程師紊遵、AI訓(xùn)練師深度溝通)账千,并判斷落地可行性及可實現(xiàn)程度;參與制定數(shù)據(jù)標(biāo)注規(guī)則暗膜。
5)設(shè)計產(chǎn)品匀奏,輸出產(chǎn)品demo及各種文檔(流程圖、PRD等)
6)向AI訓(xùn)練師收集產(chǎn)品優(yōu)化建議
7)優(yōu)化產(chǎn)品
8)評估產(chǎn)品学搜,計劃開發(fā)(UI設(shè)計及開發(fā))階段娃善、周期论衍。制定驗收標(biāo)準(zhǔn)
9)驗收產(chǎn)品,與運營對接聚磺,上線
能力模型:
1)AI技術(shù)理解力——跟AI工程師交流時能厘清AI概念坯台,判斷技術(shù)邊界(能不能做,能做到什么程度)瘫寝;能結(jié)合產(chǎn)品體驗蜒蕾,做好交互設(shè)計,使得AI部分的表現(xiàn)形式最佳焕阿;了解需要什么樣的數(shù)據(jù)咪啡,甚至設(shè)計最佳數(shù)據(jù)采集功能,使應(yīng)用可以更好的采集高質(zhì)量數(shù)據(jù)暮屡,累積以備利用撤摸。
2)AI行業(yè)理解力(加創(chuàng)造力)——具備AI行業(yè)知識框架。能結(jié)合系統(tǒng)的AI知識展開邏輯性的思維發(fā)散栽惶,考慮AI帶來的新行業(yè)的可能性愁溜。
3)傳統(tǒng)互聯(lián)網(wǎng)產(chǎn)品經(jīng)理的通用能力
5、數(shù)據(jù)標(biāo)注員
崗位職責(zé):
負(fù)責(zé)給數(shù)據(jù)打標(biāo)簽的執(zhí)行工作外厂。
崗位需求背景:
數(shù)據(jù)標(biāo)注是個工作量極大的工作冕象,且專業(yè)度要求不高。
具體工作內(nèi)容:
1)按照規(guī)則預(yù)訓(xùn)練汁蝶,評估規(guī)則及工時
2)按規(guī)則完成要求的數(shù)據(jù)標(biāo)簽
3)交付已標(biāo)注數(shù)據(jù)
PS:AI產(chǎn)品經(jīng)理和AI訓(xùn)練師具備類似的能力模型渐扮,只是工作側(cè)重點不同,AI訓(xùn)練師負(fù)責(zé)更細分的數(shù)據(jù)工作掖棉。目前市場上的AI訓(xùn)練師大部分來自產(chǎn)品經(jīng)理的轉(zhuǎn)型墓律。而AI 產(chǎn)品經(jīng)理可以直接兼顧AI訓(xùn)練師的職責(zé),即不需要AI訓(xùn)練師幔亥,只要AI產(chǎn)品經(jīng)理耻讽。
五、PM對互聯(lián)網(wǎng)產(chǎn)品AI升級
很多移動互聯(lián)網(wǎng)的產(chǎn)品都可以進行AI升級帕棉,所以建議產(chǎn)品經(jīng)理們進行AI學(xué)習(xí)针肥,可以為自己的產(chǎn)品進行AI賦能。(此處我們只針對于分關(guān)鍵性應(yīng)用進行討論香伴,即不需要AI科學(xué)家的崗位慰枕,只需要懂得利用開源框架和模型即可。)
1)用AI解決方案代替?zhèn)鹘y(tǒng)的算法解決方案
舉例:新聞app的智能推薦功能
例如即纲,以前今日頭條的智能推薦功能是基于對用戶行為路徑的研究得出的用戶模型具帮,根據(jù)用戶的過去行為產(chǎn)生的數(shù)據(jù),對用戶當(dāng)下想看的或喜歡的內(nèi)容進行預(yù)測并推送。概括講就是通過研究先找到用戶行為跟用戶喜歡之間的映射關(guān)系蜂厅,然后根據(jù)映射關(guān)系寫好算法匪凡。該解決方案的缺陷是:1、找到準(zhǔn)確的映射關(guān)系難度大葛峻,并且很可能遺漏很多規(guī)律锹雏。2、需要對用戶體驗進行優(yōu)化就需要更新算法术奖,工作量大礁遵,且優(yōu)化周期偏長。3采记、產(chǎn)品體驗跟算法工程師的技術(shù)能力直接相關(guān)佣耐,并非每一個公司都有足夠優(yōu)秀的算法工程師。
用AI方案替代:直接利用數(shù)據(jù)進行訓(xùn)練唧龄,讓模型在學(xué)習(xí)的過程中自己找到映射關(guān)系兼砖,然后接入應(yīng)用。優(yōu)點是:1既棺、可以找到人未能總結(jié)出的一些規(guī)律讽挟,效果可能出乎意料。2丸冕、AI自己時時刻刻通過數(shù)據(jù)進行自我升級耽梅。3、即使沒有算法工程師胖烛,也可以實現(xiàn)智能推送效果眼姐。
2)在原app上添加AI功能
舉例:外賣app
利用AI增加個性化界面功能——讓app調(diào)用AI模型,利用用戶數(shù)據(jù)對AI模型進行訓(xùn)練佩番,讓AI找到不同行為的用戶分別有什么點餐習(xí)慣或者說屬于什么用戶行為模型众旗。當(dāng)用戶進入app時,根據(jù)用戶之前的行為數(shù)據(jù)趟畏,展示界面定制化呈現(xiàn)贡歧。
利用AI幫助用戶更快做出更佳選擇——用戶進入外賣app時,可以直接語音提問:今天哪些店鋪活動中赋秀?有什么粵菜新店利朵?...經(jīng)過語音識別、語音合成沃琅、專家系統(tǒng)訓(xùn)練的AI會迅速得出答案并回復(fù)用戶哗咆,同時帶上鏈接蜘欲。如此用戶就可以快速完成下單益眉。(其實AI對移動互聯(lián)網(wǎng)的升級有更多方式,這個需要靠產(chǎn)品經(jīng)理對業(yè)務(wù)、用戶需求有足夠深度的理解并挖掘出來)郭脂。
六年碘、AI產(chǎn)品經(jīng)理需要參與、推動的重要流程
1)分析用戶需求展鸡,找到痛點并思考用什么樣的AI方案進行解決
2)設(shè)計產(chǎn)品的后臺數(shù)據(jù)采集功能屿衅,保證數(shù)據(jù)的采集更方便機器學(xué)習(xí)時利用(設(shè)計產(chǎn)品時,要分析出機器學(xué)習(xí)時需要的數(shù)據(jù)量莹弊、數(shù)據(jù)類型以及數(shù)據(jù)特征)
3)與AI訓(xùn)練師溝通制定數(shù)據(jù)標(biāo)注規(guī)則
4)與AI工程師進行交流涤久,告知AI工程師需要的AI模型,預(yù)期效果忍弛,以及與客戶端的數(shù)據(jù)交互需求响迂。與用戶端工程師進行交流,告知AI如何與客戶端進行數(shù)據(jù)交互
5)設(shè)計客戶端细疚,推動客戶端開發(fā)實現(xiàn)
6)數(shù)據(jù)訓(xùn)練機器
準(zhǔn)備樣本數(shù)據(jù)(訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù))--為訓(xùn)練數(shù)據(jù)打標(biāo)簽--輸入帶標(biāo)簽的訓(xùn)練數(shù)據(jù)--輸入測試數(shù)據(jù)--查看擬合度蔗彤,或調(diào)整模型參數(shù)--循環(huán)訓(xùn)練直至達到最佳擬合。
7)檢查訓(xùn)練后的AI模型是否滿足需求疯兼。若不滿足然遏,與AI工程師共同分析問題并找出解決方案
8)將成型的AI產(chǎn)品面對“用戶角色”測試,無問題后上線正式運營
好了吧彪,要轉(zhuǎn)型做一個AI產(chǎn)品經(jīng)理的快學(xué)習(xí)指南就先到這里了待侵,文末會有知識結(jié)構(gòu)的腦圖下載地址,以及參考文獻来氧、推薦閱讀書籍诫给。希望大家看完老狼的分享后,腦里可形成一個學(xué)習(xí)大綱啦扬,有了清晰的學(xué)習(xí)思路中狂。
還有一個特別重要的事!如果你看完老狼的分享扑毡,還是對AI一無所知胃榕,為了讓你沒有白花時間看這篇文章,老狼告訴你一個特別的裝13技巧瞄摊,當(dāng)大家都在各種拿AI吹水的時候勋又,你點上一支香煙,45度抬頭换帜,看著那一縷青煙楔壤,輕描淡寫地說道:其實AI很簡單,它不過是一個函數(shù)惯驼。
云盤分享:腦圖分享--AI PM學(xué)習(xí)指南大綱
推薦書籍及參考文獻:
培養(yǎng)興趣起點:《三體1,2,3》蹲嚣、《未來簡史》递瑰、《奇點臨近》、《機器人時代》隙畜、《失控》抖部、《智能時代》、《人工智能:李開復(fù)談AI如何重塑個人议惰、商業(yè)與社會的未來圖譜》慎颗、《科學(xué)的極致-漫談人工智能》、《終極算法》
數(shù)學(xué)基礎(chǔ):《大學(xué)高數(shù)》言询、《數(shù)學(xué)之美》俯萎、《7日入門微積分》、《程序員的數(shù)學(xué)》(簡單數(shù)學(xué)入門)运杭、《程序員的數(shù)學(xué)-2》(概率與統(tǒng)計)讯屈、《程序員的數(shù)學(xué)-3》(線性代數(shù))
機器學(xué)習(xí)理論:《圖解機器學(xué)習(xí)》、《機器學(xué)習(xí)-周志華》县习、《Reinforcement Learning: an Introduction》涮母、《Semi-Supervised Learning Tutorial》、《Reinforcement Learning:An Introduction》
實操:《白話深度學(xué)習(xí)與TensorFlow》躁愿、《TensorFlow實戰(zhàn)》叛本、《Python編程 從入門到實踐》
其他:《人工智能:一種現(xiàn)代的方法》《深入淺出強化學(xué)習(xí):原理入門》