數(shù)據(jù)科學(xué)簡訊 2023-03-23


頭條


Google 發(fā)布 Bard

它在這里!谷歌期待已久的語言模型服務(wù)游戲。 Bard 是 Lambda 的輕量級版本愁溜,Lambda 是幾年前訓(xùn)練的 70B 參數(shù)的模型。他們花了很多努力使模型安全,并且避免胡說八道郭蕉,我們將看到人們何時開始被添加到 wait list,如果這次 Google 能兌現(xiàn)承諾的話喂江。

OpenAI 停止 Codex

自 2021 年以來一直處于免費(fèi)測試階段的 4 種流行編碼模型集現(xiàn)已停產(chǎn)召锈,取而代之的是 turbo 和 gpt-4 模型。雖然這些模型非常擅長編碼获询。但研究界擔(dān)心涨岁,淘汰這些模型將大大降低重現(xiàn)基于它們的先前研究的能力。

Adobe 的生成模型

Player 2 已經(jīng)發(fā)布吉嚣。 Adobe 為其 Firefly 模型集推出了私人測試版梢薪。在強(qiáng)大的視覺團(tuán)隊和重要數(shù)據(jù)的支持下,這家藝術(shù)巨頭現(xiàn)在準(zhǔn)備提供他們自己的生成圖像模型尝哆。越來越多的人認(rèn)為技術(shù)不那么重要秉撇,渠道仍然是王道,當(dāng)兩者結(jié)合時秋泄,我們將拭目以待琐馆!


研究


Google 提出SVDiff, 一種個性化的文本到圖像擴(kuò)散模型

谷歌的研究人員提出了一種稱為 SVDiff 的新方法,以解決現(xiàn)有文本到圖像擴(kuò)散模型在個性化方面的局限性印衔,包括過度擬合和低效的參數(shù)存儲啡捶。 SVDiff 涉及對權(quán)重矩陣的奇異值進(jìn)行微調(diào),從而產(chǎn)生緊湊且高效的參數(shù)空間奸焙,從而降低過度擬合瞎暑、語言漂移的風(fēng)險,并具有明顯更小的模型大小与帆,使其在實(shí)際應(yīng)用中更加實(shí)用了赌。

Zero-1-to-3:Zero-shot 圖像到 3D Object

Zero-1-to-3 是一個框架,用于從單個 RGB 圖像更改對象的相機(jī)視點(diǎn)玄糟,使用條件擴(kuò)散模型從合成數(shù)據(jù)集中學(xué)習(xí)相對相機(jī)視點(diǎn)的控制勿她。這種方法對分布外數(shù)據(jù)集和野外圖像(包括印象派繪畫)顯示出強(qiáng)大的零樣本泛化能力,并且可用于從單個圖像進(jìn)行 3D 重建阵翎,優(yōu)于最先進(jìn)的模型利用互聯(lián)網(wǎng)規(guī)模的預(yù)訓(xùn)練逢并。


工程


我需要多少個 GPU 來訓(xùn)練我的模型之剧?

簡而言之,訓(xùn)練一個模型至少需要16*N(十億參數(shù))GB的集群內(nèi)存砍聊。較大的集群可以加快收斂速度和訓(xùn)練時間背稼,本文的方法是一種估量自己訓(xùn)練模型成本與性能的好方法。

GPTNeox 2.0 (GitHub Repo)

最好的玻蝌、開放的蟹肘、可用的模型并行訓(xùn)練庫之一現(xiàn)在是最新的 deepspeed 版本。讓這兩個項目保持同步一直是一個挑戰(zhàn)俯树,現(xiàn)在將得到更多的關(guān)注帘腹。如果您想從頭開始訓(xùn)練具有數(shù)十億個參數(shù)的模型,那么這可能是適合您的存儲庫许饿。

CLIP goes 3D (GitHub Repo)

CG3D 提出了一種框架阳欲,通過使用點(diǎn)云、渲染的 2D 圖像和文本訓(xùn)練 3D 編碼器米辐,實(shí)現(xiàn)了零樣本 3D 幾何特征提取胸完。對比損失(Contrastive loss)將特征對齊到多模態(tài)嵌入空間,并且可訓(xùn)練輸入?yún)?shù)的提示微調(diào)(prompt tuning)克服了分布偏移問題翘贮。CG3D 展示了令人印象深刻的零樣本赊窥、開放場景理解和檢索能力,并作為下游 3D 識別任務(wù)的強(qiáng)起始權(quán)重(starting weight)狸页。


雜七雜八


Nvidia H 系列芯片獲得內(nèi)存提升

大多數(shù)大型語言模型受限于芯片上的內(nèi)存锨能。這個新系列的芯片提供了188GB的芯片內(nèi)存,令人驚嘆芍耘。同時址遇,這個芯片還擁有990 TFLOPS的計算能力,預(yù)計會更頻繁地被用于訓(xùn)練和推理需要大量計算的模型斋竞。

人工智能與旅游行業(yè)的機(jī)遇

在這篇文章中倔约,a16z 認(rèn)為,旅游行業(yè)在從計劃旅行到預(yù)訂機(jī)票坝初,再到旅途中的各個方面浸剩,都可以通過人工智能實(shí)現(xiàn)顛覆性的變革。生成式人工智能可以利用公共和私人旅行偏好鳄袍、位置绢要、交通和活動等方面的數(shù)據(jù),提供洞察和建議拗小。初創(chuàng)公司可以利用人工智能為旅行者提供靈感重罪、行程規(guī)劃、預(yù)訂和旅途協(xié)助,創(chuàng)造更具有對話性和定制化的旅行體驗(yàn)剿配。

減緩人工智能發(fā)展的理由

本文主張搅幅,我們在人工智能上的發(fā)展速度過快,也許減緩速度呼胚、更好地理解風(fēng)險盏筐,才是人類最好的選擇。

Bing 開放使用 DALL-E 創(chuàng)建圖像

微軟的 Bing 聊天機(jī)器人現(xiàn)在在搜索引擎中內(nèi)置了一個由人工智能驅(qū)動的圖像創(chuàng)建器砸讳。

AI Commits (GitHub Repo)

AI Commits 是一個 CLI 工具,它使用人工智能為你編寫 Git 提交信息界牡。

Awesome-Totally-Open-ChatGPT (GitHub Repo)

一個開源的 ChatGPT 替代品列表簿寂。

CanceledGPT (Product)

CanceledGPT是一個使用AI搜索和修改舊的攻擊性推文的網(wǎng)站。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末宿亡,一起剝皮案震驚了整個濱河市常遂,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌挽荠,老刑警劉巖克胳,帶你破解...
    沈念sama閱讀 210,914評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異圈匆,居然都是意外死亡漠另,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,935評論 2 383
  • 文/潘曉璐 我一進(jìn)店門跃赚,熙熙樓的掌柜王于貴愁眉苦臉地迎上來笆搓,“玉大人,你說我怎么就攤上這事纬傲÷埽” “怎么了?”我有些...
    開封第一講書人閱讀 156,531評論 0 345
  • 文/不壞的土叔 我叫張陵叹括,是天一觀的道長算墨。 經(jīng)常有香客問我,道長汁雷,這世上最難降的妖魔是什么净嘀? 我笑而不...
    開封第一講書人閱讀 56,309評論 1 282
  • 正文 為了忘掉前任,我火速辦了婚禮摔竿,結(jié)果婚禮上面粮,老公的妹妹穿的比我還像新娘。我一直安慰自己继低,他們只是感情好熬苍,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,381評論 5 384
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般柴底。 火紅的嫁衣襯著肌膚如雪婿脸。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,730評論 1 289
  • 那天柄驻,我揣著相機(jī)與錄音狐树,去河邊找鬼。 笑死鸿脓,一個胖子當(dāng)著我的面吹牛抑钟,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播野哭,決...
    沈念sama閱讀 38,882評論 3 404
  • 文/蒼蘭香墨 我猛地睜開眼在塔,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了拨黔?” 一聲冷哼從身側(cè)響起蛔溃,我...
    開封第一講書人閱讀 37,643評論 0 266
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎篱蝇,沒想到半個月后贺待,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,095評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡零截,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,448評論 2 325
  • 正文 我和宋清朗相戀三年麸塞,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片瞻润。...
    茶點(diǎn)故事閱讀 38,566評論 1 339
  • 序言:一個原本活蹦亂跳的男人離奇死亡喘垂,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出绍撞,到底是詐尸還是另有隱情正勒,我是刑警寧澤,帶...
    沈念sama閱讀 34,253評論 4 328
  • 正文 年R本政府宣布傻铣,位于F島的核電站章贞,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏非洲。R本人自食惡果不足惜鸭限,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,829評論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望两踏。 院中可真熱鬧败京,春花似錦、人聲如沸梦染。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,715評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至泛粹,卻和暖如春遂铡,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背晶姊。 一陣腳步聲響...
    開封第一講書人閱讀 31,945評論 1 264
  • 我被黑心中介騙來泰國打工扒接, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人们衙。 一個月前我還...
    沈念sama閱讀 46,248評論 2 360
  • 正文 我出身青樓钾怔,卻偏偏與公主長得像,于是被迫代替她去往敵國和親蒙挑。 傳聞我的和親對象是個殘疾皇子蒂教,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,440評論 2 348

推薦閱讀更多精彩內(nèi)容