頭條
埃隆·馬斯克 (Elon Musk) 正在Twitter上推進一個AIGC項目
盡管最近支持暫停人工智能培訓(xùn)，埃隆·馬斯克似乎正在 Twitter 上醞釀一個人工智能項目还蹲。他購買了大約 10,000 個 GPU男公，并且一直在聘請 AI 專家，同時探索與 ChatGPT 競爭的可能性耘斩。 Twitter 的這種生成式 AI 的確切用途尚不清楚沼填，但它有可能用于增強搜索功能或廣告。
免費的 Dolly括授，商業(yè)上可行的指令調(diào)整模型
在發(fā)布 Dolly 1.0 兩周后坞笙，Databricks 發(fā)布了他們模型的下一個版本： Dolly 2 岩饼。該模型是基于 EleutherAI Pythia 模型的開放式指令調(diào)優(yōu)模型。它已經(jīng)在一個新的商業(yè)上可行的數(shù)據(jù)集上進行了指令調(diào)整薛夜。目前尚不清楚它與基于 llama 的模型或 GPT 3.5 turbo 相比如何籍茧，但比以前更開放的工作總是會令人感興趣。
研究
Agents for science
語言模型充當(dāng)工具（可能是其他語言模型）規(guī)劃器的想法在社區(qū)中越來越受歡迎梯澜。本質(zhì)就是讓一個中央的寞冯、強大的語言模型（例如 GPT-4）可以訪問一組工具。這些工具可以是網(wǎng)絡(luò)搜索晚伙、文檔吮龄、python 引擎。在這些額外功能的支持下咆疗，LLM 模型能夠合成化學(xué)物質(zhì)漓帚、推理反應(yīng)，甚至拒絕合成海洛因—午磁。
資源高效型 CLIP
RECLIP 為 CLIP 預(yù)訓(xùn)練引入了一種資源高效的方法胰默，該方法利用小圖像進行大規(guī)模語言監(jiān)督并使用高分辨率數(shù)據(jù)進行微調(diào)。該方法實現(xiàn)了具有競爭力的零樣本分類和圖像文本檢索精度漓踢，同時使用比基線少 6-8 倍的計算資源和 7-9 倍的 FLOP牵署，使其更容易為更廣泛的研究社區(qū)所用。
Multilingual ChatGPT
本研究評估了 ChatGPT 在 7 項任務(wù)和 37 種語言中的有效性喧半，以更好地了解其多語言功能奴迅。盡管在英語方面取得了成功，但 ChatGPT 在各種 NLP 任務(wù)和語言方面的表現(xiàn)都比以前的模型差挺据，這突出表明需要進一步研究開發(fā)更有效的多語言學(xué)習(xí)模型取具。
工程
Deepspeed Chat (GitHub Repo)
Deepspeed 是最好的分布式訓(xùn)練開源框架之一。他們整合了研究論文中的許多最佳方法扁耐。他們發(fā)布了一個名為 DeepSpeed Chat 的新工具——它執(zhí)行獲得完全 RLHF 模型所需的 3 步過程暇检。這 3 個步驟是：監(jiān)督微調(diào)、獎勵模型訓(xùn)練和 RL 步驟婉称。由于底層工具的強大功能块仆，DeepSpeed Chat 比其他框架快 15 倍，并且可以擴展到具有數(shù)十億參數(shù)的模型王暗。
Wombat：從 RLHF 到 RRHF悔据，以“正確”的方式調(diào)整人類偏好 (GitHub Repo)
新穎的 RRHF 學(xué)習(xí)范式有效地將語言模型輸出與人類偏好對齊，需要更少的模型并提供更簡單的 PPO 替代方案俗壹。在 LLaMA 和 Alpaca 數(shù)據(jù)集上進行評估科汗，RRHF 展示了與 PPO 相當(dāng)?shù)男阅埽瑫r在訓(xùn)練中簡化了對齊過程绷雏。
Engshell (GitHub Repo)
Engshell 是適用于任何操作系統(tǒng)的英語 shell头滔，由 LLM 提供支持怖亭。
ChatGPT Concierge Bot (GitHub Repo)
這是一個使用 ChatGPT 和 Whisper AI 的 Telegram 機器人。
雜七雜八
日本讀心術(shù)人工智能研究引發(fā)倫理爭論
本文介紹了日本在 AI 研究方面的一項突破坤检，它提出了讀心技術(shù)的可能性兴猩，引發(fā)了關(guān)于潛在倫理問題以及對隱私、監(jiān)視和個人自主權(quán)的影響的辯論缀蹄。
Open-Source Leak 如何導(dǎo)致開源 ChatGPT 爆炸式增長
本文介紹了“駱駝效應(yīng)”峭跳，這是 AI 研究中的一個意外發(fā)現(xiàn)，它導(dǎo)致機器學(xué)習(xí)模型和算法取得重大進展缺前，最終徹底改變了該領(lǐng)域蛀醉，并為 AI 應(yīng)用帶來了新的可能性。
我希望 GPT4 從未發(fā)生過
本文以非常人性化的視角審視了 GPT4 的經(jīng)濟影響
流媒體服務(wù)商敦促取締AI音樂
環(huán)球音樂集團已告知包括 Spotify 和蘋果在內(nèi)的流媒體平臺衅码，阻止人工智能服務(wù)從其受版權(quán)保護的歌曲中抓取旋律和歌詞拯刁。
分割網(wǎng)絡(luò)上的任何內(nèi)容
Web AI 使用 JavaScript 和 onyx 運行時在瀏覽器中運行 ML 模型。這是在瀏覽器中運行的流行段任何模型的示例逝段。
一致性模型 (GitHub Repo)
這個 repo 包含 OpenAI 發(fā)布的最新一致性模型的代碼庫垛玻。
