2024-08-28 簡訊 : Salesforce 推出文本轉視頻生成


頭條


Anthropic 為 Claude 添加系統(tǒng)提示

https://docs.anthropic.com/en/release-notes/system-prompts

Anthropic 為所有模型添加了系統(tǒng)提示并更新了日期笙各。

Salesforce 推出文本轉視頻生成

https://www.arxiv.org/abs/2408.12590

Salesforce 推出了 xGen-VideoSyn-1,這是一種文本轉視頻 (T2V) 模型,可根據(jù)文本描述生成逼真的場景。該模型使用視頻變分自動編碼器 (VidVAE) 來壓縮視頻數(shù)據(jù)汹忠,從而降低計算需求,并使用擴散變換器 (DiT) 來提高時間一致性和泛化能力。


研究


無限數(shù)據(jù)集中心

https://huggingface.co/spaces/infinite-dataset-hub/infinite-dataset-hub
由 phi-3-mini 提供支持飞蛹,該空間使用稀有提示來生成有關任何主題的數(shù)據(jù)漾肮。它不是最準確的厂抖,但它令人著迷且功能強大。

Neural 資產

https://neural-assets-paper.github.io/

神經網絡可以通過調節(jié)每個對象的表示來表示和操縱 2D 場景中的 3D 對象克懊。這項工作很可能是 3D 對象解開的圣杯忱辅。

文本引導的 3D 動畫

https://arxiv.org/abs/2408.12885v1

研究人員引入了一種名為 T3M 的新方法,用于創(chuàng)建由文本輸入引導的 3D 動畫谭溉。與以前僅依賴語音的技術不同墙懂,T3M 可以實現(xiàn)更準確、可定制的動畫扮念,使其成為虛擬現(xiàn)實损搬、游戲和電影制作的寶貴工具。


工程


BiRefNet

https://github.com/ZhengPeng7/BiRefNet

使用雙參考分割去除背景的最新技術柜与。

RB 調制

https://github.com/google/RB-Modulation/

Google 有一種非常新穎的方法來個性化擴散模型巧勤,其性能優(yōu)于許多常用方法。它可用于 PyTorch弄匕,經過一些輕微的修改即可與 Flux 配合使用颅悉。

使用視覺語言模型進行圖像編輯

https://github.com/a-new-b/flex_edit

FlexEdit 是一種圖像編輯方法,它將視覺大型語言模型 (VLLM) 與自由形狀蒙版相結合迁匠,以便根據(jù)語言指令進行更精確的編輯剩瓶。


雜七雜八


AI 公司正從創(chuàng)造神轉向制造產品

https://www.aisnakeoil.com/p/ai-companies-are-pivoting-from-creating
AI 公司正在努力尋找適合 LLM 的產品市場,這導致了大量投資城丧,但商業(yè)成功卻有限延曙。阻礙 AI 產品可行性的五個主要挑戰(zhàn)是成本、可靠性亡哄、隱私問題枝缔、安全和保障問題以及用戶界面限制』瞧剑克服這些社會技術問題對于 AI 在消費產品中的有效集成和廣泛采用至關重要魂仍。

D-ID 推出了一款包括語音克隆和唇形同步的 AI 視頻翻譯工具

https://techcrunch.com/2024/08/21/d-id-launches-an-ai-video-translation-tool-that-includes-voice-cloning-and-lip-sync

D-ID 推出了一項 AI 視頻翻譯功能,可以克隆說話者的聲音并同步翻譯視頻中的唇形動作拣挪。它支持 30 種語言擦酌,旨在降低全球活動的本地化成本。它可供訂閱者使用菠劝,計劃起價為每年 56 美元赊舶。該技術與 YouTube 和 Vimeo 等公司提供的類似產品以及眾多 AI 語音克隆工具競爭。

我的朋友 Claude

https://trevorklee.substack.com/p/my-friend-claude

由于工作需求增加,作者依靠 Anthropic 的LLM Claude 進行技術寫作笼平,這凸顯了LLM 在專業(yè)環(huán)境中日益增長的實用性园骆。盡管需要專家驗證,但 Claude 的幫助已被證明具有成本效益寓调,并強調了面對人工智能驅動的自動化的細分專家的快速變化的前景锌唾。隨著 Claude 等人工智能工具越來越多地融入日常任務,作者反思了知識工作的潛在轉變夺英。

ShellMate AI

https://www.producthunt.com/posts/shellmate-ai

由 OpenAI 提供支持的 Mac 終端生產力工具晌涕。

Phi 3.5 的快速微調

https://colab.research.google.com/drive/1lN6hPQveB_mHSnTOYifygFcrO8C1bxq4

使用 Unsloth 快速微調新 Microsoft 模型的腳本。

Vyond 推動 AI 視頻的企業(yè)時代

https://www.vyond.com/blog/vyond-new-all-in-one-2024-release/

Vyond 是一個針對企業(yè)用例的 AI 視頻創(chuàng)建平臺痛悯。

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末余黎,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子载萌,更是在濱河造成了極大的恐慌惧财,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,013評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件扭仁,死亡現(xiàn)場離奇詭異垮衷,居然都是意外死亡,警方通過查閱死者的電腦和手機乖坠,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,205評論 2 382
  • 文/潘曉璐 我一進店門帘靡,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人瓤帚,你說我怎么就攤上這事∩” “怎么了戈次?”我有些...
    開封第一講書人閱讀 152,370評論 0 342
  • 文/不壞的土叔 我叫張陵,是天一觀的道長筒扒。 經常有香客問我怯邪,道長,這世上最難降的妖魔是什么花墩? 我笑而不...
    開封第一講書人閱讀 55,168評論 1 278
  • 正文 為了忘掉前任悬秉,我火速辦了婚禮,結果婚禮上冰蘑,老公的妹妹穿的比我還像新娘和泌。我一直安慰自己,他們只是感情好祠肥,可當我...
    茶點故事閱讀 64,153評論 5 371
  • 文/花漫 我一把揭開白布武氓。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪县恕。 梳的紋絲不亂的頭發(fā)上东羹,一...
    開封第一講書人閱讀 48,954評論 1 283
  • 那天,我揣著相機與錄音忠烛,去河邊找鬼属提。 笑死,一個胖子當著我的面吹牛美尸,可吹牛的內容都是我干的冤议。 我是一名探鬼主播,決...
    沈念sama閱讀 38,271評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼火惊,長吁一口氣:“原來是場噩夢啊……” “哼求类!你這毒婦竟也來了?” 一聲冷哼從身側響起屹耐,我...
    開封第一講書人閱讀 36,916評論 0 259
  • 序言:老撾萬榮一對情侶失蹤尸疆,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后惶岭,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體寿弱,經...
    沈念sama閱讀 43,382評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 35,877評論 2 323
  • 正文 我和宋清朗相戀三年按灶,在試婚紗的時候發(fā)現(xiàn)自己被綠了症革。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 37,989評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡鸯旁,死狀恐怖噪矛,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情铺罢,我是刑警寧澤艇挨,帶...
    沈念sama閱讀 33,624評論 4 322
  • 正文 年R本政府宣布,位于F島的核電站韭赘,受9級特大地震影響缩滨,放射性物質發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,209評論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望房官。 院中可真熱鬧,春花似錦侧巨、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,199評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽巧娱。三九已至,卻和暖如春烘贴,著一層夾襖步出監(jiān)牢的瞬間禁添,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,418評論 1 260
  • 我被黑心中介騙來泰國打工桨踪, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留老翘,地道東北人。 一個月前我還...
    沈念sama閱讀 45,401評論 2 352
  • 正文 我出身青樓锻离,卻偏偏與公主長得像铺峭,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子汽纠,可洞房花燭夜當晚...
    茶點故事閱讀 42,700評論 2 345

推薦閱讀更多精彩內容