頭條
AMD 的新語(yǔ)言模型
AMD 使用 OLMO 代碼庫(kù)來(lái)訓(xùn)練和發(fā)布在其加速器上訓(xùn)練的語(yǔ)言模型。
Etched & Decart 的 Oasis
https://www.etched.com/blog-posts/oasis
Etched 和 Decart 的 Oasis 是一種 AI 模型温亲，可根據(jù)用戶輸入逐幀生成開放世界游戲，展現(xiàn)出先進(jìn)的物理理解和實(shí)時(shí)交互能力。Oasis 采用針對(duì)即將推出的搜狐芯片優(yōu)化的 Diffusion Transformer 架構(gòu)，可實(shí)現(xiàn)大規(guī)模秩铆、低延遲的 4K 視頻模型。該模型集成了定制硬件灯变，可大規(guī)模提高性能，代表著向交互式 AI 生成內(nèi)容的轉(zhuǎn)變添祸。
OpenAI 將開始使用 AMD 芯片，并可能在 2026 年制造自己的 AI 硬件
https://www.theverge.com/2024/10/29/24282843/openai-custom-hardware-amd-nvidia-ai-chips
OpenAI 正在與 Broadcom 和 TSMC 合作開發(fā)定制 AI 芯片刃泌，預(yù)計(jì)將于 2026 年開始生產(chǎn)凡壤。與此同時(shí)，OpenAI 正在將 AMD 的 MI300 芯片集成到其 Microsoft Azure 基礎(chǔ)設(shè)施中耙替。盡管在定制芯片戰(zhàn)略上與其他科技巨頭保持一致亚侠，但 OpenAI 在硬件開發(fā)方面仍落后于谷歌俗扇、微軟和亞馬遜。
研究
無(wú)相機(jī)姿勢(shì)的 3D 場(chǎng)景重建
NoPoSplat 是一種前饋模型铜幽，可以從稀疏的多視圖圖像重建 3D 場(chǎng)景，而無(wú)需精確的相機(jī)姿勢(shì)爹凹。
改進(jìn)語(yǔ)言模型的推理
https://arxiv.org/abs/2410.23856v1
這項(xiàng)研究解決了 LLM 中的一個(gè)獨(dú)特挑戰(zhàn)：它們?nèi)绾翁幚戆幌嚓P(guān)或不正確的理由片段的推理提示镶殷。
語(yǔ)言模型中的長(zhǎng)上下文評(píng)估
https://arxiv.org/abs/2410.23771v1
這項(xiàng)研究確定了使用困惑度 (PPL) 評(píng)估 LLM 的長(zhǎng)上下文能力的一個(gè)關(guān)鍵缺陷 - PPL 對(duì)所有標(biāo)記進(jìn)行平均，并忽略了理解擴(kuò)展輸入所需的關(guān)鍵標(biāo)記绘趋。為了改進(jìn)這一點(diǎn)颗管，作者引入了 LongPPL陷遮，這是一種突出顯示這些基本標(biāo)記的指標(biāo)垦江，可以更清楚地衡量長(zhǎng)上下文性能。
工程
語(yǔ)言模型中的快速思維與慢速思維
https://github.com/mingliiii/layer_gradient
該項(xiàng)目探索了不同的“思維”方法——快速（簡(jiǎn)潔）與慢速（詳細(xì)绽族，如思維鏈推理）——如何影響 LLM 中的分層梯度和穩(wěn)定性姨涡。
僅使用 2D 圖像進(jìn)行 3D 物體檢測(cè)
https://github.com/yangtiming/imov3d
ImOV3D 是一個(gè)框架吧慢，它利用 2D 圖像來(lái)克服 3D 注釋的稀缺性，從而推進(jìn)開放詞匯 3D 物體檢測(cè) (OV-3Det)匈仗。
文本到視頻生成中的真實(shí)運(yùn)動(dòng)
https://pr-ryan.github.io/DEMO-project/
DEMO 是一個(gè)將文本和條件分為內(nèi)容和運(yùn)動(dòng)組件的框架逢慌。通過(guò)對(duì)靜態(tài)內(nèi)容和動(dòng)態(tài)運(yùn)動(dòng)使用不同的編碼器和條件，DEMO 可以更好地從文本提示中解釋和生成運(yùn)動(dòng)攻泼。
雜七雜八
Project Sid
https://threadreaderapp.com/thread/1852397383939960926.html
Project Sid 展示了文明進(jìn)步、專業(yè)化坠韩、治理以及模因和宗教的發(fā)明和傳播。這些都得益于 Altera 的新認(rèn)知架構(gòu)：PIANO只搁。
我們正在分叉 Flutter, 原因如下
https://flutterfoundation.dev/blog/posts/we-are-forking-flutter-this-is-why/
Google 將公司重點(diǎn)轉(zhuǎn)向人工智能，降低了 Flutter 桌面平臺(tái)的優(yōu)先級(jí)洞翩，導(dǎo)致這個(gè)曾經(jīng)迅速擴(kuò)張的 UI 工具包出現(xiàn)勞動(dòng)力短缺焰望。作為回應(yīng)骚亿，一個(gè)名為 Flock 的分支正在開發(fā)中，其中包含 Flutter 團(tuán)隊(duì)無(wú)法解決的重要錯(cuò)誤修復(fù)和功能来屠，旨在通過(guò)社區(qū)參與加速 Flutter 的發(fā)展震鹉。Flock 計(jì)劃改進(jìn)貢獻(xiàn)流程并簡(jiǎn)化 PR 審核，彌補(bǔ) Flutter 主團(tuán)隊(duì)在支持和開發(fā)速度方面留下的差距传趾。
使用強(qiáng)化學(xué)習(xí)和 4.80 美元的 GPU 時(shí)間找到有史以來(lái)最好的 HN 帖子
https://openpipe.ai/blog/hacker-news-rlhf-part-1
本文討論了使用強(qiáng)化學(xué)習(xí)從人類反饋 (RLHF) 開發(fā)一個(gè)獎(jiǎng)勵(lì)模型，該模型可以預(yù)測(cè) Hacker News 故事的點(diǎn)贊數(shù)浆兰。利用全面的數(shù)據(jù)集和 4.80 美元的 GPU 時(shí)間珊豹，對(duì)獎(jiǎng)勵(lì)模型進(jìn)行了標(biāo)題、作者和內(nèi)容等特征的訓(xùn)練平夜，以優(yōu)化帖子質(zhì)量卸亮，最終目標(biāo)是利用 RLHF 技術(shù)來(lái)增強(qiáng)高價(jià)值內(nèi)容的創(chuàng)作。由此產(chǎn)生的模型雖然并不完美兼贸，但可以成功識(shí)別未被重視的故事并預(yù)測(cè)潛在的頭版點(diǎn)擊量。
Google 的 AI 搜索摘要正在推廣到 100 多個(gè)國(guó)家
https://www.theverge.com/2024/10/28/24281860/google-ai-search-summaries-expand-more-countries
Google 的 AI 概覽正在擴(kuò)展到 100 多個(gè)國(guó)家溶诞，提供多種語(yǔ)言的 AI 生成的搜索摘要。
埃隆·馬斯克終于承認(rèn)特斯拉的 HW3 可能不支持完全自動(dòng)駕駛
埃隆·馬斯克承認(rèn)特斯拉的 HW3 可能不支持完全自動(dòng)駕駛螺垢，而 HW4 的功能要強(qiáng)大得多。
NVIDIA 以太網(wǎng)網(wǎng)絡(luò)加速由 xAI 打造的全球最大 AI 超級(jí)計(jì)算機(jī)
https://nvidianews.nvidia.com/news/spectrum-x-ethernet-networking-xai-colossus
xAI 的 Colossus 由 NVIDIA 的 Spectrum-X 以太網(wǎng)網(wǎng)絡(luò)平臺(tái)提供支持功茴。
