簡單了解AI應(yīng)用范圍
AI的應(yīng)用領(lǐng)域非常非常廣欲逃,上圖只是大家相對熟悉的幾個(gè)鳞芙,而且每一個(gè)領(lǐng)域用到的算法都不一樣牺荠。有很多想轉(zhuǎn)型的產(chǎn)品骚灸,第一個(gè)考慮的點(diǎn)就是:不懂技術(shù)就做不了AI糟趾,我是不是學(xué)完算法才能入行?
其實(shí)不是甚牲。
大家可能知道
1义郑、不僅算法重要,很多時(shí)候數(shù)據(jù)可能更重要丈钙;有保質(zhì)保量的數(shù)據(jù)非驮,才可能有好的訓(xùn)練效果。
2雏赦、數(shù)據(jù)可分為兩種類型:“被標(biāo)記過”的數(shù)據(jù)和“未被標(biāo)記過”的數(shù)據(jù)劫笙。什么是標(biāo)記呢?意同“貼標(biāo)簽”星岗,當(dāng)你看到一個(gè)西瓜填大,你知道它是屬于水果。那么你就可以為它貼上一個(gè)水果的標(biāo)簽俏橘。算法同事用“有標(biāo)簽的數(shù)據(jù)”去訓(xùn)練模型允华,這里就有了“監(jiān)督學(xué)習(xí)”。
重點(diǎn)就是這里:只要是跟“監(jiān)督學(xué)習(xí)”沾邊的產(chǎn)品/技術(shù)寥掐,比如圖像識別靴寂、人臉識別、自然語言理解等等召耘,他們都有一個(gè)必走的流程——
一收壕、數(shù)據(jù)標(biāo)注
數(shù)據(jù)的質(zhì)量直接會影響到模型的質(zhì)量妓灌,因此數(shù)據(jù)標(biāo)注在整個(gè)流程中絕對是非要重要的一點(diǎn)。
1蜜宪、一般來說虫埂,數(shù)據(jù)標(biāo)注部分可以有三個(gè)角色
1)標(biāo)注員:標(biāo)注員負(fù)責(zé)標(biāo)記數(shù)據(jù)。
2)審核員:審核員負(fù)責(zé)審核被標(biāo)記數(shù)據(jù)的質(zhì)量圃验。
3)管理員:管理人員掉伏、發(fā)放任務(wù)、統(tǒng)計(jì)工資澳窑。
只有在數(shù)據(jù)被審核員審核通過后斧散,這批數(shù)據(jù)才能夠被算法同事利用。
2摊聋、數(shù)據(jù)標(biāo)記流程
1)任務(wù)分配:假設(shè)標(biāo)注員每次標(biāo)記的數(shù)據(jù)為一次任務(wù)鸡捐,則每次任務(wù)可由管理員分批發(fā)放記錄,也可將整個(gè)流程做成“搶單式”的麻裁,由后臺直接分發(fā)箍镜。
2)標(biāo)記程序設(shè)計(jì):需要考慮到如何提升效率,比如快捷鍵的設(shè)置煎源、邊標(biāo)記及邊存等等功能都有利于提高標(biāo)記效率色迂。
3)進(jìn)度跟蹤:程序?qū)?biāo)注員、審核員的工作分別進(jìn)行跟蹤手销,可利用“規(guī)定截止日期”的方式淘汰怠惰的人歇僧。
4)質(zhì)量跟蹤:通過計(jì)算標(biāo)注人員的標(biāo)注正確率和被審核通過率,對人員標(biāo)注質(zhì)量進(jìn)行跟蹤锋拖,可利用“末位淘汰”制提高標(biāo)注人員質(zhì)量诈悍。
二、模型訓(xùn)練
這部分基本交由算法同事跟進(jìn)兽埃,但產(chǎn)品可依據(jù)需求写隶,向算法同事提出需要注意的方面;
舉個(gè)栗子——
背景:一個(gè)識別車輛的產(chǎn)品對大眾車某系列的識別效果非常不理想讲仰,經(jīng)過跟蹤發(fā)現(xiàn)慕趴,是因?yàn)樵撥囅岛土硗庖粋€(gè)品牌的車型十分相似。那么鄙陡,為了達(dá)到某個(gè)目標(biāo)(比如冕房,將精確率提高5%),可以采用的方式包括:
1)補(bǔ)充數(shù)據(jù):針對大眾車系的數(shù)據(jù)做補(bǔ)充趁矾。值得注意的是耙册,不僅是補(bǔ)充正例(“XXX”應(yīng)該被識別為該大眾車系),還可以提供負(fù)例(“XXX”不應(yīng)該被識別為該大眾車系)毫捣,這樣可以提高差異度的識別详拙。
2)優(yōu)化數(shù)據(jù):修改大批以往的錯(cuò)誤標(biāo)注帝际。
產(chǎn)品將具體的需求給到算法工程師,能避免無目的性饶辙、無針對性蹲诀、無緊急程度的工作。
三弃揽、模型測試
測試同事(一般來說算法同事也會直接負(fù)責(zé)模型測試)將未被訓(xùn)練過的數(shù)據(jù)在新的模型下做測試脯爪。
如果沒有后臺設(shè)計(jì),測試結(jié)果只能由人工抽樣計(jì)算矿微,抽樣計(jì)算繁瑣且效率較低痕慢。因此可以考慮由后臺計(jì)算。
一般來說模型測試至少需要關(guān)注兩個(gè)指標(biāo):
1.精確率:識別為正確的樣本數(shù)/識別出來的樣本數(shù)
2.召回率:識別為正確的樣本數(shù)/所有樣本中正確的數(shù)
舉個(gè)栗子:全班一共30名男生涌矢、20名女生掖举。需要機(jī)器識別出男生的數(shù)量。本次機(jī)器一共識別出20名目標(biāo)對象娜庇,其中18名為男性塔次,2名為女性。則
精確率=18/(18+2)=0.9
召回率=18/30=0.6
再補(bǔ)充一個(gè)圖來解釋:
而且思灌,模型的效果俺叭,需要在這兩個(gè)指標(biāo)之間達(dá)到一個(gè)平衡恭取。
測試同事需要關(guān)注特定領(lǐng)域內(nèi)每個(gè)類別的指標(biāo)泰偿,比如針對識別人臉的表情,里面有喜怒哀樂等分類蜈垮,每一個(gè)分類對應(yīng)的指標(biāo)都是不一樣的耗跛。測試同事需要將測試的結(jié)果完善地反饋給算法同事,算法同事才能找準(zhǔn)模型效果欠缺的原因攒发。同時(shí)调塌,測試同事將本次模型的指標(biāo)結(jié)果反饋給產(chǎn)品,由產(chǎn)品評估是否滿足上線需求惠猿。
四羔砾、產(chǎn)品評估
“評估模型是否滿足上線需求”是產(chǎn)品必須關(guān)注的,一旦上線會影響到客戶的使用感偶妖。
因此姜凄,在模型上線之前,產(chǎn)品需反復(fù)驗(yàn)證模型效果趾访。為了用數(shù)據(jù)對比本模型和上一個(gè)模型的優(yōu)劣态秧,需要每次都記錄好指標(biāo)數(shù)據(jù)。
假設(shè)本次模型主要是為了優(yōu)化領(lǐng)域內(nèi)其中一類的指標(biāo)扼鞋,在關(guān)注目的的同時(shí)申鱼,產(chǎn)品還需同時(shí)注意檢測其他類別的效果愤诱,以免漏洞產(chǎn)生。
產(chǎn)品工作補(bǔ)充
產(chǎn)品經(jīng)理的工作捐友,不止是產(chǎn)品評估——除了流程控制淫半,質(zhì)量評估,還有針對分類問題楚殿,由產(chǎn)品經(jīng)理制定邊界撮慨;這是非常重要的,直接影響模型是否滿足市場需求脆粥。
產(chǎn)品制定分類規(guī)則:例如砌溺,目的是希望模型能夠識別紅色,那產(chǎn)品需要詳細(xì)描述“紅色”包含的顏色变隔,暗紅色算紅色嗎规伐?紫紅色算紅色嗎?紫紅色算是紅色還是紫色匣缘?這些非常細(xì)節(jié)的規(guī)則都需要產(chǎn)品設(shè)定猖闪。
如果分類細(xì),那么針對某一類的數(shù)據(jù)就會少肌厨。如果分類大培慌,那么一些有歧義的數(shù)據(jù)就會被放進(jìn)該分類,也會影響模型效果柑爸。分類問題和策略問題道理是一樣的吵护,都需要產(chǎn)品對需求了解得非常深刻。
以上內(nèi)容表鳍,都只是AI行業(yè)一個(gè)小領(lǐng)域內(nèi)可梳理的工作內(nèi)容馅而。
總之,針對剛剛?cè)胄械呐笥哑┦ィ绻麤]有算法基礎(chǔ)瓮恭、沒有工程基礎(chǔ),可考慮在流程厘熟、平臺等職責(zé)角度做過渡屯蹦;在工作內(nèi)容中不斷總結(jié)學(xué)習(xí),往自己最終的方向目標(biāo)不斷前進(jìn)绳姨!
機(jī)器學(xué)習(xí)
機(jī)器學(xué)習(xí)的本質(zhì)是模式識別登澜。 一部分可以用于預(yù)測(有監(jiān)督學(xué)習(xí),無監(jiān)督學(xué)習(xí))就缆,另一類直接用于決策(強(qiáng)化學(xué)習(xí))帖渠。相對物理微分方程代表的預(yù)測方法來說,機(jī)器學(xué)習(xí)在一定程度說是一種黑箱思想竭宰, 即先不求開始找到事物發(fā)展的精確模型空郊,而是用基本的模型框架份招,直接以數(shù)據(jù)驅(qū)動我們的預(yù)測。