2025-01-24 簡(jiǎn)訊 : DeepSeek如何改進(jìn)了Transformer架構(gòu)


頭條


DeepSeek如何改進(jìn)了Transformer架構(gòu)

https://epoch.ai/gradient-updates/how-has-deepseek-improved-the-transformer-architecture

DeepSeek是僅有的在生成模型底層架構(gòu)上穩(wěn)健創(chuàng)新的開源模型供應(yīng)商之一采转。具體而言,其研究進(jìn)展并非靠蠻力取得,而是源自那些清楚了解Transformer原理并基于此開展工作的團(tuán)隊(duì) 兼贡。

Mistral 的首次公開募股計(jì)劃

https://finance.yahoo.com/news/buzzy-french-ai-startup-mistral-133915078.html

法國(guó)人工智能初創(chuàng)公司米斯特拉爾(Mistral)計(jì)劃進(jìn)行首次公開募股,而非被收購(gòu)。它已籌集大量資金衣洁,完全有能力繼續(xù)在全球提供服務(wù)虱肄,尤其是面向歐洲公司致板。

英偉達(dá)的 STEREO

https://nvlabs.github.io/FoundationStereo/

英偉達(dá)提出一種新方法,將基礎(chǔ)模型與立體匹配技術(shù)相結(jié)合咏窿,以增強(qiáng)機(jī)器人和自動(dòng)駕駛汽車的3D感知能力斟或。


研究


地標(biāo)定位工具包

https://arxiv.org/abs/2501.10098v1

這篇論文介紹了“l(fā)andmarker”,它是一個(gè)基于PyTorch構(gòu)建的Python軟件包集嵌,為開發(fā)和評(píng)估地標(biāo)定位算法提供了靈活的工具集萝挤。

具身基礎(chǔ)模型

https://2toinf.github.io/UniAct/

UniAct是一種全新的具身基礎(chǔ)建模框架根欧,可在通用動(dòng)作空間中運(yùn)行平斩。

海豚3.0(Hugging Face平臺(tái))

https://huggingface.co/cognitivecomputations/Dolphin3.0-Llama3.1-8B

基于Llama 3.1 8B構(gòu)建的新Dolphin模型,經(jīng)過訓(xùn)練可通過系統(tǒng)提示接收指令咽块。這意味著它在各種角色塑造和角色扮演方面表現(xiàn)出色,同時(shí)還保留了基礎(chǔ)Llama模型本身的諸多能力欺税。


工程


外科基礎(chǔ)模型(GitHub 倉(cāng)庫(kù))

https://github.com/timjaspers0801/surgenet

SurgeNet是一種新型手術(shù)基礎(chǔ)模型侈沪,為手術(shù)計(jì)算機(jī)視覺設(shè)定了新標(biāo)桿。

個(gè)人人工智能訓(xùn)練師(GitHub代碼庫(kù))

https://github.com/riccardoriccio/fitness-ai-trainer-with-automatic-exercise-recognition-and-counting

這個(gè)項(xiàng)目提供直觀的網(wǎng)頁(yè)界面晚凿,讓鍛煉記錄更輕松亭罪、更有效。

參數(shù)高效微調(diào)框架(GitHub 倉(cāng)庫(kù))

https://github.com/jiaqihuang01/DETRIS

DETRIS在采用密集互連和文本適配器的多模態(tài)任務(wù)中歼秽,為未對(duì)齊的編碼器增強(qiáng)視覺特征傳播应役。


其他


企業(yè)為何需要人工智能查詢引擎來推動(dòng)智能代理式人工智能

https://blogs.nvidia.com/blog/ai-query-engines-agentic-ai/

人工智能查詢引擎能讓企業(yè)有效利用大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),彌合原始數(shù)據(jù)與人工智能應(yīng)用之間的差距燥筷。它們具備多種數(shù)據(jù)處理箩祥、可擴(kuò)展性、精準(zhǔn)檢索和持續(xù)學(xué)習(xí)等先進(jìn)特性肆氓,提升了人工智能智能體的能力袍祖。像DataStax這樣的公司已在借助這些引擎,為客戶服務(wù)谢揪、視頻搜索和軟件分析等領(lǐng)域的應(yīng)用提供支持 蕉陋。

OpenAI #10:思考

https://thezvi.substack.com/p/openai-10-reflections

山姆·奧特曼談及他意外被OpenAI董事會(huì)解雇一事,并反思其對(duì)公司治理和自身領(lǐng)導(dǎo)的影響拨扶。他回應(yīng)了對(duì)OpenAI戰(zhàn)略的批評(píng)凳鬓,強(qiáng)調(diào)公司目標(biāo)是安全地逐步實(shí)現(xiàn)通用人工智能(AGI),同時(shí)承認(rèn)有高層離職患民。奧特曼分享了對(duì)AGI潛在風(fēng)險(xiǎn)的看法缩举,并暗示到2025年實(shí)現(xiàn)人工智能與勞動(dòng)力的融合,堅(jiān)稱OpenAI仍專注于打造超級(jí)智能系統(tǒng)以推動(dòng)未來繁榮。

谷歌研究人員僅通過兩小時(shí)訪談就能打造出思維與你極為相似的人工智能

https://gizmodo.com/google-researchers-can-create-an-ai-that-thinks-a-lot-like-you-after-just-a-two-hour-interview-2000547704

斯坦福大學(xué)的研究人員創(chuàng)建了人工智能代理蚁孔,通過專門設(shè)計(jì)的界面采訪1052人奶赔,能以85%的準(zhǔn)確率復(fù)制人類行為。這項(xiàng)與谷歌DeepMind合作的研究表明杠氢,這些代理可以通過模擬對(duì)政策和產(chǎn)品發(fā)布的反應(yīng)站刑,幫助決策者了解公眾意見。雖然人工智能代理在性格測(cè)試中表現(xiàn)出色鼻百,但在經(jīng)濟(jì)游戲中復(fù)制人類決策時(shí)卻遇到了困難绞旅。

準(zhǔn)備好迎接能與Twitch主播聊天并控制其直播的虛擬人工智能搭檔吧

https://www.theverge.com/2025/1/6/24335356/virtual-ai-intelligent-streaming-assistant-inworld-streamlabs-nvidia

Inworld AI、Streamlabs和英偉達(dá)將為直播主播推出一款人工智能助手温艇,提供實(shí)時(shí)技術(shù)支持因悲,并擔(dān)任懂游戲的聯(lián)合主持人。

微軟在Hugging Face上把強(qiáng)大的Phi-4模型完全開源了

https://links.tldrnewsletter.com/V3b9dN

微軟已在Hugging Face上開源其Phi-4模型勺爱,該模型因在推理任務(wù)中的高效性和高性能而受到稱贊晃琳。

人工智能利用喉嚨振動(dòng)來弄清楚人們想說什么

https://www.newscientist.com/article/2458385-ai-uses-throat-vibrations-to-work-out-what-someone-is-trying-to-say/

人工智能可通過解讀喉部振動(dòng),幫助中風(fēng)和帕金森病患者進(jìn)行交流琐鲁。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末卫旱,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子围段,更是在濱河造成了極大的恐慌顾翼,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,590評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件奈泪,死亡現(xiàn)場(chǎng)離奇詭異适贸,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)涝桅,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,157評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門拜姿,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人苹支,你說我怎么就攤上這事砾隅。” “怎么了债蜜?”我有些...
    開封第一講書人閱讀 169,301評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵晴埂,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我寻定,道長(zhǎng)儒洛,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,078評(píng)論 1 300
  • 正文 為了忘掉前任狼速,我火速辦了婚禮琅锻,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己恼蓬,他們只是感情好惊完,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,082評(píng)論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著处硬,像睡著了一般小槐。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上荷辕,一...
    開封第一講書人閱讀 52,682評(píng)論 1 312
  • 那天凿跳,我揣著相機(jī)與錄音,去河邊找鬼疮方。 笑死控嗜,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的骡显。 我是一名探鬼主播疆栏,決...
    沈念sama閱讀 41,155評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼惫谤!你這毒婦竟也來了承边?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,098評(píng)論 0 277
  • 序言:老撾萬榮一對(duì)情侶失蹤石挂,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后险污,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體痹愚,經(jīng)...
    沈念sama閱讀 46,638評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,701評(píng)論 3 342
  • 正文 我和宋清朗相戀三年蛔糯,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了拯腮。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,852評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡蚁飒,死狀恐怖动壤,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情淮逻,我是刑警寧澤琼懊,帶...
    沈念sama閱讀 36,520評(píng)論 5 351
  • 正文 年R本政府宣布,位于F島的核電站爬早,受9級(jí)特大地震影響哼丈,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜筛严,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,181評(píng)論 3 335
  • 文/蒙蒙 一醉旦、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦车胡、人聲如沸檬输。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,674評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)丧慈。三九已至,卻和暖如春羹饰,著一層夾襖步出監(jiān)牢的瞬間伊滋,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,788評(píng)論 1 274
  • 我被黑心中介騙來泰國(guó)打工队秩, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留笑旺,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 49,279評(píng)論 3 379
  • 正文 我出身青樓馍资,卻偏偏與公主長(zhǎng)得像筒主,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子鸟蟹,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,851評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容