?微軟發(fā)布Phi-3 Mini：3.8B參數(shù)小到能塞進手機，性能媲美GPT-3.5
微軟發(fā)布了Phi-3-mini蛆橡，這是微軟Phi-3系列模型推出的首個模型。Phi-3-mini具有38億參數(shù)和3.3T tokens的龐大訓練數(shù)據(jù)量掘譬，在語言、推理屁药、編碼和數(shù)學基準測試中超越了眾多數(shù)百億參數(shù)規(guī)模的模型。該模型體積小酿箭，可以在端側(cè)部署和運行，具有不亞于GPT-3.5的性能缭嫡。Phi-3-mini的成本大幅降低，可能只有其他相似功能模型的十分之一妇蛀。該模型的設(shè)計遵循了微軟的“負責任AI標準”耕突，經(jīng)過了嚴格的安全度量和評估评架。
?英偉達收購兩家AI創(chuàng)企，要讓AI芯片變得更便宜纵诞！
英偉達宣布收購以色列AI創(chuàng)企Run:ai和Deci，旨在降低開發(fā)或運行生成式AI模型的成本，提振英偉達AI芯片的需求登刺。Run:ai是一個基于kubernetes的工作負載管理和編排軟件提供商，旨在實現(xiàn)高效GPU集群資源利用纸俭；Deci通過調(diào)整AI模型使其可以在AI芯片上更便宜地運行，并為使用英偉達CUDA軟件開發(fā)的機器學習應用提供動力揍很。這兩家創(chuàng)企的收購將有助于提高英偉達AI芯片的效率郎楼，吸引更多客戶使用NVIDIA DGX Cloud。
?地平線征程6正式發(fā)布：2024年開啟量產(chǎn)女轿，2025年交付超10款車型
地平線舉辦“征程所向箭启，向高而行”——2024智駕科技產(chǎn)品發(fā)布會，發(fā)布新一代車載智能計算方案征程?6系列以及Horizon SuperDrive?全場景智能駕駛解決方案蛉迹，加速智駕平權(quán)時代的到來傅寡。征程6系列將于2024年內(nèi)開啟首個前裝量產(chǎn)車型交付，并預計于2025年實現(xiàn)超10款車型量產(chǎn)交付北救。地平線以終為始荐操，前瞻布局了軟硬結(jié)合全棧技術(shù)，以軟件為牽引珍策、硬件為驅(qū)動托启，打造出面向全場景、全生態(tài)的軟硬結(jié)合智能駕駛系統(tǒng)攘宙，并以極致的開放打造極致的效率屯耸，抵達智駕終局。
?首批中文版Llama3模型來了蹭劈，解釋成語疗绣、答弱智吧問題
該文章介紹了Meta推出的Llama 3模型對中文的支持效果欠佳的問題，并介紹了兩個針對中文進行微調(diào)的項目：llama3-Chinese-chat和Llama3-8B-Chinese-Chat铺韧。文章詳細介紹了這兩個項目的模型效果多矮、訓練數(shù)據(jù)、推理成本以及作者整理的教程和資源哈打。此外塔逃，文章還展示了Llama3-8B-Chinese-Chat模型對弱智吧問題的回答和安全性測試的結(jié)果，以及對清華大學的介紹生成測試的結(jié)果料仗。
?AI信任危機之后湾盗，揭秘預訓練如何塑造機器的「可信靈魂」
這篇文章介紹了大語言模型（LLMs）的預訓練階段在構(gòu)建可信概念方面的重要性。作者通過研究發(fā)現(xiàn)立轧，在預訓練的早期階段淹仑，LLMs就能夠建立起有關(guān)可信概念的線性表征丙挽，并能夠區(qū)分可信與不可信的輸入肺孵。文章還介紹了LLM360開源項目提供的豐富預訓練資源匀借，并初步驗證了預訓練過程中的切片對提升LLMs的可信能力的作用。這篇文章對于理解LLMs的預訓練過程以及構(gòu)建可信AI模型具有重要意義平窘。
?硬控設(shè)計人一分鐘吓肋，加持大模型的Adobe，PS起來更香了
Adobe推出新的圖像生成模型Firefly Image 3瑰艘，旨在提高工作效率是鬼，生成更高質(zhì)量、更詳細的圖像紫新。該模型具有逼真質(zhì)量均蜜、更好的光照、定位和對細節(jié)的關(guān)注芒率。用戶可以上傳圖像來提示AI模型生成結(jié)果，以匹配樣式充择、顏色等相似元素匪蟀。Firefly Image 3還可以為圖像生成背景和增強細節(jié)，提高清晰度观挎。Adobe還為Photoshop添加了一些新的標準工具段化，以加快創(chuàng)作過程。參考材料不會用于訓練模型普气，并為生成的內(nèi)容添加水印佃延。新工具可以安全地用于商業(yè)用途。
?蘋果卷開源大模型仔沿，公開代碼尺棋、權(quán)重、數(shù)據(jù)集碾局、訓練全過程奴艾，OpenELM亮相
蘋果發(fā)布了基于開源訓練和推理框架的高效語言模型族OpenELM，共四種變體像啼。OpenELM采用逐層縮放的方式潭苞，每個Transformer層都有不同的配置此疹，實現(xiàn)了更有效的跨層參數(shù)分配。蘋果發(fā)布了完整的框架振诬，包括數(shù)據(jù)準備衍菱、訓練、微調(diào)和評估程序辫呻，以及多個預訓練的checkpoint和訓練日志放闺，以促進開源研究缕坎。OpenELM的性能優(yōu)于使用公開數(shù)據(jù)集進行預訓練的現(xiàn)有開源LLM。
?加速擴散模型匾寝，最快1步生成SOTA級圖片荷腊，字節(jié)Hyper-SD開源了
最近，字節(jié)跳動技術(shù)團隊開源了一種名為Hyper-SD的擴散模型蒸餾框架猜年，該框架結(jié)合了軌跡保持蒸餾和軌跡重構(gòu)蒸餾兩種策略的優(yōu)點，能夠在壓縮去噪步數(shù)的同時保持接近無損的性能床三。與現(xiàn)有的擴散模型加速算法相比袁稽，該方法取得了卓越的加速效果。經(jīng)過實驗和用戶評測的驗證，Hyper-SD在SDXL和SD1.5兩種架構(gòu)上都能在1到8步生成中實現(xiàn)SOTA級別的圖像生成性能歹撒。
?MiniMax不聲不響出了款讓人驚喜的生產(chǎn)力產(chǎn)品：「海螺AI」大測評
該文章介紹了MiniMax推出的萬億MoE模型abab 6.5以及基于該模型開發(fā)的生產(chǎn)力產(chǎn)品“海螺AI”诊胞。abab 6.5在各類核心能力測試中接近世界領(lǐng)先的大語言模型，而“海螺AI”則提供了聽說讀寫迈着、智能搜索裕菠、免費查數(shù)據(jù)闭专、識圖、創(chuàng)作文案等功能画髓，支持語音交互平委，適用于學生、職場人士和內(nèi)容創(chuàng)作者肉微。該產(chǎn)品還具備處理長文本的能力浪册，能夠快速提煉關(guān)鍵信息和總結(jié)文章要點岗照。
?8B文字多模態(tài)大模型指標逼近GPT4V笆环，字節(jié)躁劣、華師、華科聯(lián)合提出TextSquare
該文章介紹了一種新的策略账忘，即從閉源多模態(tài)大模型中獲取高質(zhì)量的以文本為中心的VQA數(shù)據(jù)熙宇，并構(gòu)建了一個千萬級的指令微調(diào)數(shù)據(jù)集。通過自問蒋荚、自答馆蠕、自我推理和評估等步驟生成VQA數(shù)據(jù)，并利用這個數(shù)據(jù)集訓練了以文本理解為中心的多模態(tài)大模型TextSquare-8B播赁。實驗證明吼渡，TextSquare-8B在多個benchmark上的表現(xiàn)超過了GPT4V和Gemini等開源模型。該研究揭示了指令微調(diào)數(shù)據(jù)規(guī)模舟奠、訓練收斂損失和模型性能之間的關(guān)系房维，并證明了推理數(shù)據(jù)對VQA任務的積極影響。
?顏水成掛帥耿戚，奠定「通用視覺多模態(tài)大模型」終極形態(tài)膜蛔！一統(tǒng)理解/生成/分割/編輯
顏水成團隊聯(lián)合新加坡國立、南洋理工大學開源了Vitron模型皂股，為下一代通用視覺大模型的終極形態(tài)奠定了基礎(chǔ)命黔，標志著大模型邁向通用人工智能（AGI）的又一大步就斤。Vitron是一款通用視覺多模態(tài)大模型蘑辑，支持從視覺理解到視覺生成、從低層次到高層次的一系列視覺任務绷旗，解決了圖像/視頻模型割裂問題副砍，為下一代通用視覺大模型的發(fā)展提供了新的方向。該模型具有綜合性膀懈、技術(shù)創(chuàng)新、人機交互和應用潛力等優(yōu)勢硼控，展示了通向更統(tǒng)一的視覺多模態(tài)通用模型的巨大潛力。
?僅需Llama3 1/17的訓練成本牢撼，Snowflake開源128x3B MoE模型
Snowflake發(fā)布了一款專注于企業(yè)級應用的頂級大型語言模型（LLM）——Snowflake Arctic熏版。Arctic具備高效智能和開源開放的優(yōu)勢，為經(jīng)濟高效的訓練設(shè)定了新的基線再膳，使Snowflake客戶能夠以低成本為其企業(yè)需求創(chuàng)建高質(zhì)量的定制模型曲横。Arctic在企業(yè)智能方面表現(xiàn)出色，訓練計算成本較低灾杰，與其他使用類似計算成本訓練的開源模型相比能力更強艳吠。
