頭條
Anthropic 宣布推出模型上下文協(xié)議
https://www.anthropic.com/news/model-context-protocol
模型上下文協(xié)議 (MCP) 是一種新的開(kāi)放標(biāo)準(zhǔn)畜埋，旨在將 AI 系統(tǒng)直接連接到業(yè)務(wù)工具和內(nèi)容存儲(chǔ)庫(kù)等數(shù)據(jù)源。它通過(guò)用通用協(xié)議取代零散的自定義集成，簡(jiǎn)化了讓 AI 訪問(wèn)所需數(shù)據(jù)的過(guò)程，使系統(tǒng)更具可擴(kuò)展性和有效性趟章。
OpenAI 分享紅隊(duì)演練染厅，讓 AI 更安全
https://openai.com/index/advancing-red-teaming-with-people-and-ai/
OpenAI 發(fā)布了兩篇論文辩越，擴(kuò)大了紅隊(duì)演練范圍：一篇詳細(xì)介紹了外部專(zhuān)家如何參與紅隊(duì)演練矾利，另一篇介紹了一種新的自動(dòng)化測(cè)試方法姑裂。
Nvidia CEO在 AI Lab 改進(jìn) AI 模型, 同時(shí)捍衛(wèi)自己的護(hù)城河
隨著 AI 模型的發(fā)展馋袜，“測(cè)試時(shí)間擴(kuò)展”變得越來(lái)越重要男旗。Nvidia 已為這一轉(zhuǎn)變做好準(zhǔn)備。這種方法通過(guò)提高計(jì)算能力來(lái)增強(qiáng) AI 推理欣鳖，隨著初創(chuàng)公司開(kāi)發(fā)快速 AI 推理芯片察皇，它帶來(lái)了競(jìng)爭(zhēng)挑戰(zhàn)。盡管人們擔(dān)心收益遞減泽台，但 Nvidia 仍專(zhuān)注于利用其在預(yù)訓(xùn)練方面的主導(dǎo)平臺(tái)優(yōu)勢(shì)什荣，但預(yù)計(jì) AI 推理將有所增長(zhǎng)。
研究
Coalescence：使 LLM 推理速度提高 5 倍
https://blog.dottxt.co/coalescence.html
“Coalescence” 是一個(gè)框架怀酷，在生成 JSON 等結(jié)構(gòu)化輸出時(shí)稻爬，可使 LLM 推理速度提高 5 倍。該技術(shù)的工作原理是將結(jié)構(gòu)化格式轉(zhuǎn)換為有限狀態(tài)機(jī)蜕依，并識(shí)別導(dǎo)致相同輸出的冗余路徑桅锄，從而使它們跳過(guò)不必要的 LLM 調(diào)用。雖然它顯著提高了速度样眠，但重要的是要保持輸出質(zhì)量友瘤，確保優(yōu)化不會(huì)阻止生成更可能的序列。
WildLMa：野外長(zhǎng)視野局部操控
https://arxiv.org/abs/2411.15131
WildLMa 是一個(gè)框架檐束，使四足機(jī)器人能夠在現(xiàn)實(shí)環(huán)境中執(zhí)行復(fù)雜的操控任務(wù)辫秧。該系統(tǒng)結(jié)合了三個(gè)關(guān)鍵組件：用于 VR 遠(yuǎn)程操作的全身控制器、通過(guò)模仿學(xué)習(xí) (WildLMa-Skill) 學(xué)習(xí)到的可泛化技能庫(kù)被丧，以及協(xié)調(diào)這些技能以完成長(zhǎng)期任務(wù)的基于語(yǔ)言模型的規(guī)劃器 (WildLMa-Planner)盟戏。在本文中绪妹，研究人員展示了如何將其用于清理走廊垃圾和重新排列書(shū)架上的物品等任務(wù)。該框架在不同環(huán)境和對(duì)象配置中保持有效性柿究。
多模態(tài)模型評(píng)估
https://mmgenbench.alsoai.com/
MMGenBench 是一種針對(duì)大型多模態(tài)模型的新評(píng)估流程喂急，重點(diǎn)關(guān)注其生成和解釋圖像的能力。使用此方法笛求，模型可以從輸入圖像生成描述廊移，然后使用這些描述創(chuàng)建新圖像進(jìn)行比較。
工程
Marco-o1：面向開(kāi)放式解決方案的開(kāi)放式推理模型
https://github.com/AIDC-AI/Marco-o1
Marco-o1 是一門(mén) LLM探入，旨在處理標(biāo)準(zhǔn)問(wèn)題（如數(shù)學(xué)和編碼）和沒(méi)有明確正確答案的開(kāi)放式任務(wù)狡孔。該模型結(jié)合了思想鏈微調(diào)、蒙特卡洛樹(shù)搜索蜂嗽、反射機(jī)制和新穎的推理策略來(lái)解決復(fù)雜的現(xiàn)實(shí)問(wèn)題苗膝，而傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法可能會(huì)因?yàn)椴幻鞔_的獎(jiǎng)勵(lì)信號(hào)和成功指標(biāo)而陷入困境。
Moondream Python 客戶(hù)端
https://github.com/vikhyat/moondream/tree/main/clients/python
Moondream 的 Python 客戶(hù)端庫(kù)包含用于圖像分析和查詢(xún)的工具植旧。它提供針對(duì) CPU 優(yōu)化的推理辱揭，但目前不推薦用于 GPU 或 Mac M1/M2/M3 用戶(hù)。用戶(hù)可以通過(guò) pip 安裝它病附。模型權(quán)重可以以不同的格式下載（int8问窃、fp16 或 int4）。
SANA：使用線性擴(kuò)散變換器進(jìn)行高效的高分辨率圖像合成
https://github.com/NVlabs/Sana
Sana 是一種高效的圖像生成模型完沪，可以在不到一秒的時(shí)間內(nèi)用筆記本電腦 GPU 創(chuàng)建高質(zhì)量的 1024x1024 圖像域庇。其關(guān)鍵創(chuàng)新包括 32 倍圖像壓縮自動(dòng)編碼器 (DC-AE)、用線性注意力取代 DiT 中的 vanilla 注意力覆积、僅用于文本編碼的解碼器 LLM听皿，以及優(yōu)化的訓(xùn)練和采樣方法。0.6B 參數(shù)模型與 Flux-12B 等更大的模型相當(dāng)或優(yōu)于它們宽档，同時(shí)體積小 20 倍尉姨，速度快 100 倍。 Sana-0.6B 僅需要 9GB VRAM 即可進(jìn)行推理吗冤，因此適用于消費(fèi)級(jí)硬件又厉。該存儲(chǔ)庫(kù)包含用于訓(xùn)練、推理和評(píng)估的代碼欣孤，并提供 0.6B 和 1.6B 模型變體馋没。
雜七雜八
LLM 和國(guó)際象棋發(fā)生了一些奇怪的事情
https://dynomight.substack.com/p/chess
本文探討了不同的 LLM 在下國(guó)際象棋時(shí)的表現(xiàn)。大多數(shù)模型在幾步之后都會(huì)遇到困難降传，但 GPT-3.5-turbo-instruct 除外篷朵，它的表現(xiàn)非常好。這表明指令調(diào)整可能會(huì)阻礙國(guó)際象棋能力，或者 GPT-3.5-turbo-instruct 可能在更多的國(guó)際象棋數(shù)據(jù)上進(jìn)行了訓(xùn)練声旺。標(biāo)記器處理可能存在問(wèn)題笔链，從而影響模型性能。
超級(jí)智能時(shí)代的人類(lèi)價(jià)值評(píng)估：HumaneRank
https://roadtoartificia.com/p/valuing-humans-in-the-age-of-superintelligence-humanerank
人工智能可能超越人類(lèi)的智力產(chǎn)出腮猖，從而導(dǎo)致經(jīng)濟(jì)取代鉴扫。擬議的 Humanerank 系統(tǒng)通過(guò)允許個(gè)人分發(fā)認(rèn)可、反映社會(huì)價(jià)值和確定資源分配來(lái)調(diào)整這一點(diǎn)澈缺。這既維護(hù)了市場(chǎng)機(jī)制和人類(lèi)自由坪创，又為在人工智能主導(dǎo)的世界中評(píng)估人類(lèi)貢獻(xiàn)提供了一個(gè)新的框架。
流模型
https://drscotthawley.github.io/blog/posts/FlowModels.html
基于流的建模的精彩介紹姐赡，這是對(duì)擴(kuò)散的理論改進(jìn)莱预。
Juna.ai 希望使用 AI 代理使工廠更節(jié)能
AI 代理正在獲得關(guān)注，Salesforce 和 Google 等大公司投入巨資项滑，德國(guó) Juna.ai 等初創(chuàng)公司也進(jìn)入市場(chǎng)依沮。
創(chuàng)建 AI 驅(qū)動(dòng)的游戲課程
https://www.deeplearning.ai/short-courses/building-an-ai-powered-game/
這是由 Andrew Ng、Latitude 和 Together AI 開(kāi)設(shè)的課程枪狂，介紹如何制作 AI 驅(qū)動(dòng)的游戲危喉。
更清晰的紅外圖像
https://github.com/hey-it-s-me/corple
該項(xiàng)目提高了紅外圖像的圖像超分辨率，解決了傳統(tǒng)方法扭曲光譜保真度的問(wèn)題州疾。
