今天分享一篇好的文章 research_tao/03_finding_idea.md at master · zibuyu/research_tao (github.com)
其中有一大段經(jīng)典的話：
好的研究想法從哪里來
想法好還是不好笼平，并不是非黑即白的二分問題，而是像光譜一樣呈連續(xù)分布，因時而異，因人而宜。計算機(jī)科技領(lǐng)域的發(fā)展既有積累的過程，也有躍遷的奇點(diǎn)，積累量變才會產(chǎn)生質(zhì)變蝇刀，吃第三個饅頭飽了，也是因?yàn)榍懊鎯蓚€饅頭打底徘溢。
現(xiàn)在的學(xué)術(shù)研究已經(jīng)成為高度專業(yè)化的職業(yè)熊泵，有龐大的研究者群體仰迁。”Publish or Perish“顽分，是從事學(xué)術(shù)職業(yè)（如教授徐许、研究員、研究生）的人必須做好平衡的事情卒蘸，不能要求研究者的每份工作都是“諾貝爾獎”或“圖靈獎”級的才值得發(fā)表雌隅。只要對研究領(lǐng)域的發(fā)展有所助力，就值得發(fā)表出來缸沃，幫助同行前進(jìn)恰起。魯迅說：天才并不是自生自長在深林荒野里的怪物，是由可以使天才生長的民眾產(chǎn)生趾牧，長育出來的检盼，所以沒有這種民眾，就沒有天才翘单。這個龐大研究者群體正是天才成長的群眾基礎(chǔ)吨枉。同時，學(xué)術(shù)新人也是在開展創(chuàng)新研究訓(xùn)練中哄芜，不斷磨礪尋找好想法能力貌亭，魯迅也說：即使天才，在生下來的時候的第一聲啼哭认臊，也和平常的兒童的一樣圃庭，決不會就是一首好詩。
那么失晴，好的研究想法從哪里來呢剧腻？我總結(jié)，首先要有區(qū)分研究想法好與不好的能力涂屁，這需要深入全面了解所在研究方向的歷史與現(xiàn)狀书在，具體就是對學(xué)科文獻(xiàn)的全面掌握。人是最善于學(xué)習(xí)的動物胯陋，完全可以將既有文獻(xiàn)中不同時期研究工作的想法作為學(xué)習(xí)對象，通過了解它們提出后對學(xué)科發(fā)展的影響——具體體現(xiàn)在論文引用袱箱、學(xué)術(shù)評價情況等各方面——建立對研究想法好與不好的評價模型遏乔。我們很難條分縷析完美地列出區(qū)分好與不好想法的所有特征向量，但人腦強(qiáng)大的學(xué)習(xí)能力发笔，只要給予足夠的輸入數(shù)據(jù)盟萨，就可以在神經(jīng)網(wǎng)絡(luò)中自動學(xué)習(xí)建立判別的模型，鑒古知今了讨，見微知著捻激，這也許就是常說的學(xué)術(shù)洞察力制轰。
做過一些研究的同學(xué)會有感受，僅閱讀自己研究方向的文獻(xiàn)胞谭，新想法還是不會特別多垃杖。這是因?yàn)椋x到的都是該研究問題已經(jīng)完成時的想法丈屹，它們本身無法啟發(fā)新的想法调俘。如何產(chǎn)生新的想法呢？我總結(jié)有三種可行的基本途徑：
實(shí)踐法旺垒。即在研究任務(wù)上實(shí)現(xiàn)已有最好的算法彩库，通過分析實(shí)驗(yàn)結(jié)果，例如發(fā)現(xiàn)這些算法計算復(fù)雜度特別高先蒋、訓(xùn)練收斂特別慢骇钦，或者發(fā)現(xiàn)該算法的錯誤樣例呈現(xiàn)明顯的規(guī)律，都可以啟發(fā)你改進(jìn)已有算法的思路【貉現(xiàn)在很多自然語言處理任務(wù)的Leaderboard上的最新算法眯搭，就是通過分析錯誤樣例來有針對性改進(jìn)算法的 [1]。
類比法畴蹭。即將研究問題與其他任務(wù)建立類比聯(lián)系坦仍，調(diào)研其他相似任務(wù)上最新的有效思想、算法或工具叨襟，通過合理的轉(zhuǎn)換遷移繁扎，運(yùn)用到當(dāng)前的研究問題上來。例如糊闽，當(dāng)初注意力機(jī)制在神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯中大獲成功梳玫，當(dāng)時主要是在詞級別建立注意力，后來我們課題組的林衍凱和沈世奇提出建立句子級別的注意力解決關(guān)系抽取的遠(yuǎn)程監(jiān)督訓(xùn)練數(shù)據(jù)的標(biāo)注噪音問題 [2]右犹，這就是一種類比的做法提澎。
組合法。即將新的研究問題分解為若干已被較好解決的子問題念链，通過有機(jī)地組合這些子問題上的最好做法盼忌，建立對新的研究問題的解決方案。例如掂墓，我們提出的融合知識圖譜的預(yù)訓(xùn)練語言模型谦纱，就是將BERT和TransE等已有算法融合起來建立的新模型 [3]。
正如武俠中的最高境界是無招勝有招君编，好的研究想法并不拘泥于以上的路徑跨嘉，很多時候是在研究者對研究問題深刻認(rèn)知的基礎(chǔ)上，綜合豐富的研究閱歷和聰明才智產(chǎn)生”頓悟“的結(jié)果吃嘿。這對初學(xué)者而言恐怕還很難一窺門徑祠乃，需要從基本功做起梦重，經(jīng)過大量科研實(shí)踐訓(xùn)練后，才能有登堂入室之感亮瓷。
在科研實(shí)踐過程中琴拧，除了通過大量文獻(xiàn)閱讀了解歷史，通過深入思考總結(jié)產(chǎn)生洞察力外寺庄，還有一項(xiàng)必不可少的工作艾蓝，那就是主動開放的學(xué)術(shù)交流和合作意識。不同研究領(lǐng)域思想和成果交流碰撞斗塘，既為創(chuàng)新思想提供了新的來源赢织，也為”類比“和”頓悟“提供了機(jī)會。了解一下歷史就可以知曉馍盟，人工智能的提出于置，就是數(shù)學(xué)、計算機(jī)科學(xué)贞岭、控制論八毯、信息論、腦科學(xué)等學(xué)科交叉融合的產(chǎn)物瞄桨。而當(dāng)紅的深度學(xué)習(xí)的起源话速，1980年代的Parallel Distributed Processing （PDP），也是計算機(jī)科學(xué)芯侥、腦認(rèn)知科學(xué)泊交、心理學(xué)、生物學(xué)等領(lǐng)域研究者通力合作的產(chǎn)物柱查。下面是1986年出版的名著《Parallel Distributed Processing: Explorations in the Microstructure of Cognition》第一卷的封面廓俭。
作者在前言中是這么講他們的合作過程的，在最初長達(dá)六個月的時間里唉工，它們每周見面交流兩次討論研究進(jìn)展研乒。
We expected the project to take about six months. We began in January 1982 by bringing a number of our colleagues together to form a discussion group on these topics. During the first six months we met twice weekly and laid the foundation for most of the work presented in these volumes.
而書中提供的PDP研究組的成員名單，40年后的今天仍讓我驚嘆其高度的跨機(jī)構(gòu)淋硝、跨學(xué)科的交叉特點(diǎn)雹熬。所以，特別建議同學(xué)們在科研訓(xùn)練中谣膳，在專注研究問題的前提下竿报，保持主動的學(xué)術(shù)交流意識，無論是聽講座報告参歹，參加學(xué)術(shù)會議仰楚，還是選修課程隆判，都有意識地擴(kuò)寬學(xué)術(shù)交流的廣度犬庇，不僅與小同行打成一片僧界，更有看似八竿子打不著的研究領(lǐng)域的學(xué)術(shù)伙伴。隨著研究經(jīng)歷的豐富臭挽，會越來越強(qiáng)烈地感受到捂襟，越是大跨度交叉的學(xué)術(shù)報告，越讓你受到更大的啟發(fā)欢峰，產(chǎn)生更多讓自己興奮的研究想法葬荷。
初學(xué)者應(yīng)該怎么做
與閱讀論文、撰寫論文纽帖、設(shè)計實(shí)驗(yàn)等環(huán)節(jié)相比宠漩，如何產(chǎn)生好的研究想法，是一個不太有章可循的環(huán)節(jié)懊直，很難總結(jié)出固定的范式可供遵循扒吁。像小馬過河，需要通過大量訓(xùn)練實(shí)踐室囊，來積累自己的研究經(jīng)驗(yàn)雕崩。不過，對于初學(xué)者而言融撞，仍然有幾個簡單可行的原則可以參考盼铁。
一篇論文的可發(fā)表價值，取決于它與已有最直接相關(guān)工作間的Delta尝偎。我們大部分研究工作都是站在前人工作的基礎(chǔ)上推進(jìn)的饶火。牛頓說：如果說我看得比別人更遠(yuǎn)些，那是因?yàn)槲艺驹诰奕说募绨蛏隙睢Ｔ谖铱磥沓们裕u判一篇論文研究想法的價值，就是看它站在了哪個或哪些巨人的肩膀上急前，以及在此基礎(chǔ)上又向上走了多遠(yuǎn)醒陆。反過來，在準(zhǔn)備開始一項(xiàng)研究工作之前裆针，在形成研究想法的時候刨摩，也許要首先明確準(zhǔn)備站在哪個巨人的肩膀上，以及計劃通過什么方式走得更遠(yuǎn)世吨。與已有最直接相關(guān)工作之間的Delta澡刹，決定了這個研究想法的價值有多大。
兼顧摘果子和啃骨頭耘婚。人們一般把比較容易想到的研究想法罢浇，叫做Low Hanging Fruit（低垂果實(shí)）。低垂果實(shí)容易摘，但同時摘的人也多嚷闭，選擇摘果子就容易受到想法裝車的困擾攒岛。例如，2018年以BERT為首的預(yù)訓(xùn)練語言模型取得重大突破胞锰，2019年中就出現(xiàn)大量改進(jìn)工作灾锯，其中以跨模態(tài)預(yù)訓(xùn)練模型為例，短短幾個月里arxiv.org上掛出了超過六個來自不同團(tuán)隊(duì)的圖像與文本融合的預(yù)訓(xùn)練模型 [4]嗅榕。設(shè)身處地去想顺饮，進(jìn)行跨模態(tài)預(yù)訓(xùn)練模型研究，就是一個比較容易想到的方向凌那，你一定需要有預(yù)判能力兼雄，知道世界上肯定會有很多團(tuán)隊(duì)也同時開展這方面研究，這時你如果選擇入場帽蝶，就一定要做得更深入更有特色君旦，有自己獨(dú)特的貢獻(xiàn)才行。相對而言嘲碱，那些困難的問題金砍，愿意碰的人就少，潛下心來啃硬骨頭麦锯，也是不錯的選擇恕稠，當(dāng)然同時就會面臨做不出來的風(fēng)險，或者做出來也得不到太多關(guān)注的風(fēng)險扶欣。同學(xué)需要根據(jù)自身特點(diǎn)鹅巍、經(jīng)驗(yàn)和需求，兼顧摘果子和啃骨頭兩種類型的研究想法料祠。
注意多項(xiàng)研究工作的主題連貫性骆捧。同學(xué)的研究訓(xùn)練往往持續(xù)數(shù)年，需要注意前后多項(xiàng)研究工作的主題連貫性髓绽，保證內(nèi)在邏輯統(tǒng)一敛苇。需要考慮，在個人簡歷上顺呕，在出國申請Personal Statement中枫攀，或者在各類評獎?wù)故局校軌驅(qū)⑦@些研究成果匯總在一起株茶，講出自己開展這些研究工作的總目標(biāo)来涨、總設(shè)想∑羰ⅲ客觀上講蹦掐，人工智能領(lǐng)域研究節(jié)奏很快技羔，技術(shù)更新?lián)Q代快，所以成果發(fā)表也傾向于小型化卧抗、短平快堕阔。我有商學(xué)院、社科的朋友颗味，他們一項(xiàng)研究工作往往需要持續(xù)一年甚至數(shù)年以上；高性能計算牺弹、計算機(jī)網(wǎng)絡(luò)方向的研究周期也相對較長浦马。人工智能這種小步快跑的特點(diǎn)，決定了很多同學(xué)即使本科畢業(yè)時张漂，也會有多篇論文發(fā)表晶默，更不用說碩士生、博士生航攒。在這種情況下磺陡，就格外需要在研究選題時，注意前后工作的連貫性和照應(yīng)關(guān)系漠畜。幾項(xiàng)研究工作放在一起币他，到底是互相割裂說不上話，還是在為一個統(tǒng)一的大目標(biāo)而努力憔狞，格外反映研究的大局意識和布局能力蝴悉。例如，下圖是我們課題組涂存超博士2018年畢業(yè)時博士論文《面向社會計算的網(wǎng)絡(luò)表示學(xué)習(xí)》的章節(jié)設(shè)置瘾敢，整體來看就比《社會計算的若干重要問題研究》等沒有內(nèi)在關(guān)聯(lián)的寫法要更讓人信服一些拍冠。當(dāng)然，對于初學(xué)者而言簇抵，一開始就想清楚五年的研究計劃庆杜，根本不可能。但想碟摆，還是不去想晃财，結(jié)果還是不同的。
注意總結(jié)和把握研究動態(tài)和趨勢典蜕，因時而動拓劝。2019年在知乎上有這樣一個問題：”2019年在NLP領(lǐng)域，資源有限的個人/團(tuán)隊(duì)能做哪些有價值有希望的工作嘉裤？“ 我當(dāng)時的回答如下：
我感覺郑临，產(chǎn)業(yè)界開始集團(tuán)化搞的問題，說明其中主要的開放性難題已經(jīng)被解決得差不多了屑宠，如語言識別厢洞、人臉識別等，在過去20年里面都陸續(xù)被廣泛商業(yè)應(yīng)用√煞看最近的BERT丧叽、GPT-2，我理解更多的是將深度學(xué)習(xí)對大規(guī)模數(shù)據(jù)擬合的能力發(fā)揮到極致公你，在深度學(xué)習(xí)技術(shù)路線基本成熟的前提下踊淳，大公司有強(qiáng)大計算能力支持，自然可以數(shù)據(jù)用得更多陕靠，模型做得更大迂尝，效果擬合更好。
成熟高新技術(shù)進(jìn)入商用競爭剪芥，就大致會符合摩爾定律的發(fā)展規(guī)律÷⒖現(xiàn)在BERT等訓(xùn)練看似遙不可及，但隨著計算能力等因素的發(fā)展普及税肪，說不定再過幾年溉躲，人人都能輕易訓(xùn)練BERT和GPT-2，大家又會在同一個起跑線上益兄，把目光轉(zhuǎn)移到下一個挑戰(zhàn)性難題上锻梳。
所以不如提前考慮，哪些問題是純數(shù)據(jù)驅(qū)動技術(shù)無法解決的净捅。NLP和AI中的困難任務(wù)唱蒸，如常識和知識推理，復(fù)雜語境和跨模態(tài)理解灸叼，可解釋智能神汹，都還沒有可行的解決方案，我個人也不看好數(shù)據(jù)驅(qū)動方法能夠徹底解決古今。更高層次的聯(lián)想屁魏、創(chuàng)造、頓悟等認(rèn)知能力捉腥，更是連邊還沒碰到氓拼。這些正是有遠(yuǎn)見的研究者們應(yīng)該開始關(guān)注的方向。
需要看到抵碟，不同時期的研究動態(tài)和趨勢不同桃漾。把握這些動態(tài)和趨勢，就能夠做出研究社區(qū)感興趣的成果拟逮。不然的話撬统，即使研究成果沒有變化，只是簡單早幾年或晚幾年投稿敦迄，結(jié)果也會大不相同恋追。例如凭迹，2013年word2vec發(fā)表，在2014-2016年之間開展詞表示學(xué)習(xí)研究苦囱，就相對比較容易得到ACL嗅绸、EMNLP等會議的錄用；但到了2017-2018年撕彤，ACL等會議上的詞表示學(xué)習(xí)的相關(guān)工作就比較少見了鱼鸠。
