頭條

訓(xùn)練一個價值85,000美元的ChatGPT競爭者象泵，并在瀏覽器上運(yùn)行

根據(jù) Llama 論文的計算跪妥，您可能會在 A100 GPU 上用 82,000 GPU 小時在純公共數(shù)據(jù)集上訓(xùn)練你自己的 70 億參數(shù)語言模型亡鼠。然后通過使用自我指導(dǎo)進(jìn)一步調(diào)整模型爪瓜，您可以擁有一個與最先進(jìn)模型競爭的開放語言模型瞧栗。

Zapier 推出自然語言 Action

Zapier 推出了一個通用的尝蠕、人工智能驅(qū)動的 API列肢，稱為自然語言動作 (NLA)，以將 Zapier 動作集成到任何應(yīng)用程序中官册。 NLA 針對基于自然語言的產(chǎn)品進(jìn)行了優(yōu)化生兆，例如聊天機(jī)器人或使用 LLM 構(gòu)建的產(chǎn)品，但任何開發(fā)人員都可以使用攀隔。將 Zapier 的 5K+ 應(yīng)用程序和 20K+ 操作放入您的產(chǎn)品中皂贩，并使用簡單的自然語言在應(yīng)用程序之間移動信息。

Midjourney v5 !

Midjourney 宣布了其商業(yè) AI 圖像合成服務(wù)的第 5 版昆汹，該服務(wù)可以生成逼真的圖像明刷，其質(zhì)量水平被一些 AI 藝術(shù)愛好者稱為令人毛骨悚然且“過于完美”。 Midjourney v5 提供了更廣泛的風(fēng)格范圍满粗、更高的靈敏度辈末、更少的不需要的文本以及 2 倍的圖像分辨率增強(qiáng)。 Midjourney v5 現(xiàn)在作為 alpha 測試提供給訂閱 Midjourney 服務(wù)的客戶，該服務(wù)可通過 Discord 獲得挤聘。

研究

綜合prompt工程

提示工程是引導(dǎo)語言模型執(zhí)行任務(wù)的過程轰枝。有許多不同的方法可以做到這一點(diǎn)，從零鏡頭到少數(shù)鏡頭和思維鏈组去。這篇博文包含極其全面的引用和對未來工作的有趣想法鞍陨。

Transformer 中的殘差連接有特權(quán)基礎(chǔ)

Transformer 架構(gòu)中的 skip connection 提高了穩(wěn)定性和可訓(xùn)練性。我們的理論理解表明从隆，殘差連接中的任何維度都不應(yīng)包含比其他維度更多的信息诚撵。然而，在實(shí)踐中键闺，事實(shí)證明寿烟，對于具有顯著更大的激活值的某些維度，情況并非如此辛燥。這篇文章探討了潛在的原因筛武，并得出結(jié)論，Adam 中的每個參數(shù)內(nèi)存可能會導(dǎo)致此問題挎塌。

COLT5：具有條件計算的長輸入Transformer 模型

文章介紹了 COLT5徘六，這是一種新的長輸入 Transformer 模型，它使用條件計算將更多資源分配給重要的標(biāo)記榴都，在長輸入 SCROLLS 基準(zhǔn)測試中以更快的訓(xùn)練和推理以及有效處理極長的輸入硕噩。

工程

Alpaca Lora (GitHub Repo)

Low Rank Adaptation 是一種通過僅更新一小部分參數(shù)來微調(diào)語言模型的方法。由于 Lora 的計算要求降低缭贡，此 repo 包含的代碼可通過消費(fèi)類硬件上的指令調(diào)整來幫助調(diào)整流行的 Llama 模型。

ML Commands

來自 HuggingFace 研究科學(xué)家的 ML 研究的極其有用的命令列表辉懒。它包括分布式訓(xùn)練阳惹、環(huán)境設(shè)置和配置任務(wù)等內(nèi)容。對任何從業(yè)者都有用的參考眶俩。

GlueGen：使用 GlueNet 高效升級文本到圖像模型

本文提出了 GlueGen莹汤，一種使用 GlueNet 模型和新訓(xùn)練目標(biāo)將來自不同編碼器的特征與現(xiàn)有文本到圖像 (T2I) 模型的潛在空間對齊的方法。這允許將新功能（例如多語言語言模型和多模態(tài)編碼器）有效地集成到現(xiàn)有的 T2I 模型中颠印，從而實(shí)現(xiàn)聲音到圖像的生成并升級當(dāng)前的文本編碼器以應(yīng)對具有挑戰(zhàn)性的案例生成纲岭。

雜七雜八

可汗學(xué)院和 OpenAI

可汗學(xué)院是一家非營利組織，為所有年齡段的學(xué)生提供數(shù)以千計的數(shù)學(xué)线罕、科學(xué)和人文課程止潮。可汗學(xué)院宣布將使用 GPT-4 為 Khanmigo 提供支持钞楼，Khanmigo 是一種人工智能助手喇闸，既可以作為學(xué)生的虛擬導(dǎo)師，也可以作為教師的課堂助手。這家非營利組織于 2022 年開始測試最新版本的 OpenAI 語言模型燃乍，最初將向有限數(shù)量的參與者開放 Khanmigo 試點(diǎn)項(xiàng)目唆樊，但仍邀請公眾加入候補(bǔ)名單。

數(shù)據(jù)科學(xué)簡訊 2023-03-21