來源 | 新智元? ID? |? AI-era
幾周前，一個名為「im-also-a-good-gpt2-chatbot」的神秘模型突然現(xiàn)身大模型競技場Chatbot Arena哮洽，排名直接超過GPT-4-Turbo填渠、Gemini 1.5 Pro、Claude 3 Opus鸟辅、Llama 3-70B等各家國際大廠的當(dāng)家基座模型氛什。
隨后OpenAI揭開了「im-also-a-good-gpt2-chatbot」神秘面紗——正是GPT-4o的測試版本。
OpenAI CEO Sam Altman也在GPT-4o發(fā)布后親自轉(zhuǎn)帖引用LMSYS Arena盲測擂臺的測試結(jié)果匪凉。
由開放研究組織LMSYS Org（Large Model Systems Organization）發(fā)布的Chatbot Arena已經(jīng)成為OpenAI枪眉、Anthropic、Google再层、Meta等國際大廠「龍爭虎斗」的當(dāng)紅擂臺贸铜，以最開放與科學(xué)的評測方法堡纬，在大模型進(jìn)入第二年之際開放群眾投票。
時隔一周萨脑，在最新更新的排名中隐轩，類「im-also-a-good-gpt2-chatbot」的黑馬故事再次上。
這次排名飛速上漲的模型正是由中國大模型公司零一萬物提交的「Yi-Large」千億參數(shù)閉源大模型渤早。
在LMSYS競技場最新排名中职车，零一萬物的最新千億參數(shù)模型Yi-Large總榜排名世界模型第7，中國大模型中第一鹊杖，已經(jīng)超過Llama 3-70B悴灵、Claude 3 Sonnet；其中文分榜更是與GPT-4o并列世界第一骂蓖。
零一萬物也由此成為了總榜上唯一一個自家模型進(jìn)入排名前十的中國大模型企業(yè)积瞒。
在總榜上，GPT系列占了前10的4個登下，以機(jī)構(gòu)排序茫孔，零一萬物01.AI僅次于OpenAI、Google被芳、Anthropic之后缰贝，以開放金標(biāo)準(zhǔn)正式進(jìn)擊國際頂級大模型企業(yè)陣營。
美國時間2024年5月20日剛刷新的LMSYS Chatboat Arena盲測結(jié)果畔濒，來自至今積累超過1170萬的全球用戶真實(shí)投票數(shù)：
值得一提的是剩晴，為了提高Chatbot Arena查詢的整體質(zhì)量，LMSYS還實(shí)施了重復(fù)數(shù)據(jù)刪除機(jī)制侵状，并出具了去除冗余查詢后的榜單赞弥。
這個新機(jī)制旨在消除過度冗余的用戶提示，如過度重復(fù)的「你好」趣兄。這類冗余提示可能會影響排行榜的準(zhǔn)確性绽左。
LMSYS公開表示，去除冗余查詢后的榜單將在后續(xù)成為默認(rèn)榜單艇潭。
在去除冗余查詢后的總榜中妇菱，Yi-Large的Elo得分更進(jìn)一步，與Claude 3 Opus暴区、GPT-4-0125-preview并列第四。
LMSYS中文榜：GPT-4o和Yi-Large并列第一
值得國人關(guān)注的是辛臊，國內(nèi)大模型廠商中仙粱，智譜GLM-4、阿里Qwen Max彻舰、Qwen 1.5伐割、零一萬物Yi-Large候味、Yi-34B-chat此次都有參與盲測。
在總榜之外隔心，LMSYS的語言類別上也新增了英語白群、中文、法文三種語言評測硬霍，開始注重全球大模型的多樣性帜慢。
其中，Yi-Large在中文語言分榜上拔得頭籌唯卖，與OpenAI剛剛官宣一周的地表最強(qiáng)GPT-4o并列第一粱玲，Qwen-Max和GLM-4在中文榜上也都表現(xiàn)不凡。
「最燒腦」公開評測：Yi-Large位居全球第二
在分類別的排行榜中拜轨，Yi-Large同樣表現(xiàn)亮眼抽减。
編程能力、長提問及最新推出的「艱難提示詞」的三個評測是LMSYS所給出的針對性榜單橄碾，以專業(yè)性與高難度著稱卵沉，可稱作大模型「最燒腦」的公開盲測。
在編程能力（Coding）排行榜上法牲，Yi-Large 的Elo分?jǐn)?shù)超過Anthropic 當(dāng)家旗艦?zāi)Ｐ?Claude 3 Opus史汗，僅低于GPT-4o，與GPT-4-Turbo皆串、GPT-4并列第二淹办。
長提問（Longer Query）榜單上，Yi-Large同樣位列全球第二恶复，與GPT-4-Turbo怜森、GPT-4、Claude 3 Opus并列谤牡。
艱難提示詞（Hard Prompts）則是LMSYS為了響應(yīng)社區(qū)要求副硅，于此次新增的排行榜類別。這一類別包含來自Arena的用戶提交的提示翅萤，這些提示則經(jīng)過專門設(shè)計恐疲，更加復(fù)雜、要求更高且更加嚴(yán)格套么。
LMSYS認(rèn)為培己，這類提示能夠測試最新語言模型面臨挑戰(zhàn)性任務(wù)時的性能。
在這一榜單上胚泌，Yi-Large處理艱難提示的能力也得到印證省咨，與GPT-4-Turbo、GPT-4玷室、Claude 3 Opus并列第二零蓉。
LMSYS Chatbot Arena：后benchmark時代的風(fēng)向標(biāo)
如何為大模型給出客觀公正的評測一直是業(yè)內(nèi)廣泛關(guān)注的話題笤受。
為了在固定題庫中取得一份亮眼的評測分?jǐn)?shù)，業(yè)內(nèi)出現(xiàn)了各式各樣的「刷榜」方法：將各種各樣的評測基準(zhǔn)訓(xùn)練集直接混入模型訓(xùn)練集中敌蜂、用未對齊的模型跟已經(jīng)對齊的模型做對比等等箩兽，對嘗試了解大模型真實(shí)能力的人，的確呈現(xiàn)「眾說紛紜」的現(xiàn)場章喉，更讓大模型的投資人摸不著北汗贫。
在經(jīng)過2023年一系列錯綜復(fù)雜、亂象叢生的大模型評測浪潮之后囊陡，業(yè)界對于評測集的專業(yè)性和客觀性給予了更高的重視芳绩。
而LMSYS Org發(fā)布的Chatbot Arena憑借其新穎的「競技場」形式、測試團(tuán)隊(duì)的嚴(yán)謹(jǐn)性撞反，成為目前全球業(yè)界公認(rèn)的基準(zhǔn)標(biāo)桿妥色，連OpenAI在GPT-4o正式發(fā)布前，都在LMSYS上匿名預(yù)發(fā)布和預(yù)測試遏片。
在海外大廠高管中嘹害，不只Sam Altman，Google DeepMind首席科學(xué)家Jeff Dean也曾引用LMSYS Chatbot Arena的排名數(shù)據(jù)吮便，來佐證Bard產(chǎn)品的性能笔呀。
OpenAI創(chuàng)始團(tuán)隊(duì)成員Andrej Karpathy甚至公開表示，Chatbot Arena is「awesome」髓需。
自身的旗艦?zāi)Ｐ桶l(fā)布后第一時間提交給LMSYS许师，這一行為本身就展現(xiàn)了海外頭部大廠對于Chatbot Arena的極大尊重。
這份尊重既來自于LMSYS作為研究組織的權(quán)威背書僚匆，也來自于其新穎的排名機(jī)制微渠。
公開資料顯示，LMSYS Org是一個開放的研究組織咧擂，由加州大學(xué)伯克利分校的學(xué)生和教師逞盆、加州大學(xué)圣地亞哥分校、卡耐基梅隆大學(xué)合作創(chuàng)立松申。
雖然主要人員出自高校云芦，但LMSYS的研究項(xiàng)目卻十分貼近產(chǎn)業(yè)，他們不僅自己開發(fā)大語言模型贸桶，還向業(yè)內(nèi)輸出多種數(shù)據(jù)集（其推出的MT-Bench已是指令遵循方向的權(quán)威評測集）舅逸、評估工具，此外還開發(fā)分布式系統(tǒng)以加速大模型訓(xùn)練和推理皇筛，提供線上live大模型打擂臺測試所需的算力堡赔。
在形式上，Chatbot Arena借鑒了搜索引擎時代的橫向?qū)Ρ仍u測思路设联。
它首先將所有上傳評測的「參賽」模型隨機(jī)兩兩配對善已，以匿名模型的形式呈現(xiàn)在用戶面前。
隨后號召真實(shí)用戶輸入自己的提示詞离例，在不知道模型型號名稱的前提下换团，由真實(shí)用戶對兩個模型產(chǎn)品的作答給出評價。
在盲測平臺上宫蛆，大模型們兩兩相比艘包，用戶自主輸入對大模型的提問，模型A耀盗、模型B兩側(cè)分別生成兩PK模型的真實(shí)結(jié)果想虎，用戶在結(jié)果下方做出投票四選一：A模型較佳、B模型較佳叛拷，兩者平手舌厨，或是兩者都不好。
提交后忿薇，可進(jìn)行下一輪PK裙椭。
通過眾籌真實(shí)用戶來進(jìn)行線上實(shí)時盲測和匿名投票，Chatbot Arena一方面減少偏見的影響署浩，另一方面也最大概率避免基于測試集進(jìn)行刷榜的可能性揉燃，以此增加最終成績的客觀性。在經(jīng)過清洗和匿名化處理后筋栋，Chatbot Arena還會公開所有用戶投票數(shù)據(jù)炊汤。
得益于「真實(shí)用戶盲測投票」這一機(jī)制，Chatbot Arena被稱為大模型業(yè)內(nèi)最有用戶體感的奧林匹克弊攘。
在收集真實(shí)用戶投票數(shù)據(jù)之后抢腐，LMSYS Chatbot Arena還使用Elo評分系統(tǒng)來量化模型的表現(xiàn)，進(jìn)一步優(yōu)化評分機(jī)制肴颊，力求公平反應(yīng)參與者的實(shí)力氓栈。
Elo評分系統(tǒng)，是一項(xiàng)基于統(tǒng)計學(xué)原理的權(quán)威性評價體系婿着，由匈牙利裔美國物理學(xué)家Arpad Elo博士創(chuàng)立授瘦，旨在量化和評估各類對弈活動的競技水平。
作為當(dāng)前國際公認(rèn)的競技水平評估標(biāo)準(zhǔn)竟宋，Elo等級分制度在國際象棋提完、圍棋、足球丘侠、籃球徒欣、電子競技等運(yùn)動中都發(fā)揮著至關(guān)重要的作用。
更通俗地來講蜗字，在Elo評分系統(tǒng)中打肝，每個參與者都會獲得基準(zhǔn)評分脂新。每場比賽結(jié)束后，參與者的評分會基于比賽結(jié)果進(jìn)行調(diào)整粗梭。系統(tǒng)會根據(jù)參與者評分來計算其贏得比賽的概率争便，一旦低分選手擊敗高分選手，那么低分選手就會獲得較多的分?jǐn)?shù)断医，反之則較少滞乙。
通過引入Elo評分系統(tǒng)，LMSYS Chatbot Arena在最大程度上保證了排名的客觀公正鉴嗤。
Chatbot Arena的評測過程涵蓋了從用戶直接參與投票到盲測斩启，再到大規(guī)模的投票和動態(tài)更新的評分機(jī)制等多個方面，這些因素共同作用醉锅，確保了評測的客觀性兔簇、權(quán)威性和專業(yè)性。
毫無疑問荣挨，這樣的評測方式能夠更準(zhǔn)確地反映出大模型在實(shí)際應(yīng)用中的表現(xiàn)男韧，為行業(yè)提供了一個可靠的參考標(biāo)準(zhǔn)。
Yi-Large以小搏大緊追國際第一陣營默垄，登頂國內(nèi)大模型盲測
此次Chatbot Arena共有44款模型參賽此虑，既包含了頂尖開源模型Llama 3-70B，也包含了各家大廠的閉源模型口锭。
以最新公布的Elo評分來看朦前，GPT-4o以1287分高居榜首，GPT-4 Turbo鹃操、Gemini 1.5 Pro韭寸、Claude 3 Opus、Yi-Large等模型則以1240左右的評分位居第二梯隊(duì)荆隘；其后的Bard（Gemini Pro）恩伺、Llama 3-70B Instruct、Claude 3 Sonnet的成績則斷崖式下滑至1200分左右椰拒。
值得一提的是晶渠，排名前6的模型分別歸屬于海外巨頭OpenAI、Google燃观、Anthropic褒脯，零一萬物位列全球第四機(jī)構(gòu)，且GPT-4缆毁、Gemini 1.5 Pro等模型均為萬億級別超大參數(shù)規(guī)模的旗艦?zāi)Ｐ头ǎ渌Ｐ鸵捕荚诖髱浊|參數(shù)級別。
Yi-Large「以小搏大」以僅僅千億參數(shù)量級緊追其后，5月13日一經(jīng)發(fā)布便沖上世界排名第七大模型颁督，與海外大廠的旗艦?zāi)Ｐ吞幱谕惶蓐?duì)践啄。
在LMSYS Chatbot Arena截至5月21日的總榜上，阿里巴巴的Qwen-Max大模型Elo分?jǐn)?shù)為1186沉御，排名第12往核；智譜AI的GLM-4大模型Elo分?jǐn)?shù)為1175，排名第15嚷节。
在當(dāng)前大模型步入商業(yè)應(yīng)用的浪潮中，模型的實(shí)際性能亟需通過具體應(yīng)用場景的嚴(yán)格考驗(yàn)虎锚，以證明其真正的價值和潛力硫痰。過去那種僅要求表面光鮮的「作秀式」評測方式已不再具有實(shí)際意義。
為了促進(jìn)整個大模型行業(yè)的健康發(fā)展窜护，整個行業(yè)必須追求一種更為客觀效斑、公正且權(quán)威的評估體系。
在這樣的背景下柱徙，一個如Chatbot Arena這樣能夠提供真實(shí)用戶反饋缓屠、采用盲測機(jī)制以避免操縱結(jié)果、并且能夠持續(xù)更新評分體系的評測平臺护侮，顯得尤為重要敌完。它不僅能夠?yàn)槟Ｐ吞峁┕脑u估，還能夠通過大規(guī)模的用戶參與羊初，確保評測結(jié)果的真實(shí)性和權(quán)威性滨溉。
無論是出于自身模型能力迭代的考慮，還是立足于長期口碑的視角长赞，大模型廠商應(yīng)當(dāng)積極參與到像Chatbot Arena這樣的權(quán)威評測平臺中晦攒，通過實(shí)際的用戶反饋和專業(yè)的評測機(jī)制來證明其產(chǎn)品的競爭力。
這不僅有助于提升廠商自身的品牌形象和市場地位得哆，也有助于推動整個行業(yè)的健康發(fā)展脯颜，促進(jìn)技術(shù)創(chuàng)新和產(chǎn)品優(yōu)化。相反贩据，那些選擇作秀式的評測方式栋操，忽視真實(shí)應(yīng)用效果的廠商，模型能力與市場需求之間的鴻溝會越發(fā)明顯乐设，最終將難以在激烈的市場競爭中立足讼庇。
參考資料：
LMSYS Chatbot Arena盲測競技場公開投票地址：
https://arena.lmsys.org/
LMSYS Chatbot Leaderboard評測排行（滾動更新）：
https://chat.lmsys.org/?leaderboard
