頭條
Google 發(fā)布 Bard
它在這里!谷歌期待已久的語言模型服務(wù)游戲。 Bard 是 Lambda 的輕量級版本愁溜,Lambda 是幾年前訓(xùn)練的 70B 參數(shù)的模型。他們花了很多努力使模型安全,并且避免胡說八道郭蕉,我們將看到人們何時開始被添加到 wait list,如果這次 Google 能兌現(xiàn)承諾的話喂江。
OpenAI 停止 Codex
自 2021 年以來一直處于免費(fèi)測試階段的 4 種流行編碼模型集現(xiàn)已停產(chǎn)召锈,取而代之的是 turbo 和 gpt-4 模型。雖然這些模型非常擅長編碼获询。但研究界擔(dān)心涨岁,淘汰這些模型將大大降低重現(xiàn)基于它們的先前研究的能力。
Adobe 的生成模型
Player 2 已經(jīng)發(fā)布吉嚣。 Adobe 為其 Firefly 模型集推出了私人測試版梢薪。在強(qiáng)大的視覺團(tuán)隊和重要數(shù)據(jù)的支持下,這家藝術(shù)巨頭現(xiàn)在準(zhǔn)備提供他們自己的生成圖像模型尝哆。越來越多的人認(rèn)為技術(shù)不那么重要秉撇,渠道仍然是王道,當(dāng)兩者結(jié)合時秋泄,我們將拭目以待琐馆!
研究
Google 提出SVDiff, 一種個性化的文本到圖像擴(kuò)散模型
谷歌的研究人員提出了一種稱為 SVDiff 的新方法,以解決現(xiàn)有文本到圖像擴(kuò)散模型在個性化方面的局限性印衔,包括過度擬合和低效的參數(shù)存儲啡捶。 SVDiff 涉及對權(quán)重矩陣的奇異值進(jìn)行微調(diào),從而產(chǎn)生緊湊且高效的參數(shù)空間奸焙,從而降低過度擬合瞎暑、語言漂移的風(fēng)險,并具有明顯更小的模型大小与帆,使其在實(shí)際應(yīng)用中更加實(shí)用了赌。
Zero-1-to-3:Zero-shot 圖像到 3D Object
Zero-1-to-3 是一個框架,用于從單個 RGB 圖像更改對象的相機(jī)視點(diǎn)玄糟,使用條件擴(kuò)散模型從合成數(shù)據(jù)集中學(xué)習(xí)相對相機(jī)視點(diǎn)的控制勿她。這種方法對分布外數(shù)據(jù)集和野外圖像(包括印象派繪畫)顯示出強(qiáng)大的零樣本泛化能力,并且可用于從單個圖像進(jìn)行 3D 重建阵翎,優(yōu)于最先進(jìn)的模型利用互聯(lián)網(wǎng)規(guī)模的預(yù)訓(xùn)練逢并。
工程
我需要多少個 GPU 來訓(xùn)練我的模型之剧?
簡而言之,訓(xùn)練一個模型至少需要16*N(十億參數(shù))GB的集群內(nèi)存砍聊。較大的集群可以加快收斂速度和訓(xùn)練時間背稼,本文的方法是一種估量自己訓(xùn)練模型成本與性能的好方法。
GPTNeox 2.0 (GitHub Repo)
最好的玻蝌、開放的蟹肘、可用的模型并行訓(xùn)練庫之一現(xiàn)在是最新的 deepspeed 版本。讓這兩個項目保持同步一直是一個挑戰(zhàn)俯树,現(xiàn)在將得到更多的關(guān)注帘腹。如果您想從頭開始訓(xùn)練具有數(shù)十億個參數(shù)的模型,那么這可能是適合您的存儲庫许饿。
CLIP goes 3D (GitHub Repo)
CG3D 提出了一種框架阳欲,通過使用點(diǎn)云、渲染的 2D 圖像和文本訓(xùn)練 3D 編碼器米辐,實(shí)現(xiàn)了零樣本 3D 幾何特征提取胸完。對比損失(Contrastive loss)將特征對齊到多模態(tài)嵌入空間,并且可訓(xùn)練輸入?yún)?shù)的提示微調(diào)(prompt tuning)克服了分布偏移問題翘贮。CG3D 展示了令人印象深刻的零樣本赊窥、開放場景理解和檢索能力,并作為下游 3D 識別任務(wù)的強(qiáng)起始權(quán)重(starting weight)狸页。
雜七雜八
Nvidia H 系列芯片獲得內(nèi)存提升
大多數(shù)大型語言模型受限于芯片上的內(nèi)存锨能。這個新系列的芯片提供了188GB的芯片內(nèi)存,令人驚嘆芍耘。同時址遇,這個芯片還擁有990 TFLOPS的計算能力,預(yù)計會更頻繁地被用于訓(xùn)練和推理需要大量計算的模型斋竞。
人工智能與旅游行業(yè)的機(jī)遇
在這篇文章中倔约,a16z 認(rèn)為,旅游行業(yè)在從計劃旅行到預(yù)訂機(jī)票坝初,再到旅途中的各個方面浸剩,都可以通過人工智能實(shí)現(xiàn)顛覆性的變革。生成式人工智能可以利用公共和私人旅行偏好鳄袍、位置绢要、交通和活動等方面的數(shù)據(jù),提供洞察和建議拗小。初創(chuàng)公司可以利用人工智能為旅行者提供靈感重罪、行程規(guī)劃、預(yù)訂和旅途協(xié)助,創(chuàng)造更具有對話性和定制化的旅行體驗(yàn)剿配。
減緩人工智能發(fā)展的理由
本文主張搅幅,我們在人工智能上的發(fā)展速度過快,也許減緩速度呼胚、更好地理解風(fēng)險盏筐,才是人類最好的選擇。
Bing 開放使用 DALL-E 創(chuàng)建圖像
微軟的 Bing 聊天機(jī)器人現(xiàn)在在搜索引擎中內(nèi)置了一個由人工智能驅(qū)動的圖像創(chuàng)建器砸讳。
AI Commits (GitHub Repo)
AI Commits 是一個 CLI 工具,它使用人工智能為你編寫 Git 提交信息界牡。
Awesome-Totally-Open-ChatGPT (GitHub Repo)
一個開源的 ChatGPT 替代品列表簿寂。
CanceledGPT (Product)
CanceledGPT是一個使用AI搜索和修改舊的攻擊性推文的網(wǎng)站。