頭條
Discord 正在測試基于 ChatGPT 的 Clyde 聊天機器人和其他人工智能功能
Discord 現(xiàn)在正在使用 OpenAI 的 ChatGPT 技術將其現(xiàn)有的 Clyde 機器人轉變?yōu)榻≌劦牧奶鞕C器人璧诵。 Clyde 將在下周進行升級路捧，以回答問題并與用戶進行對話痛倚，就像 OpenAI 的 ChatGPT 或微軟的 Bing 聊天功能一樣台猴。這是在 Discord 中更廣泛推動 AI 的一部分褂删，其中還包括 AI 生成的對話摘要以及 Discord 管理員利用 AI 技術調節(jié)服務器的能力泞莉。
開源 ChatGPT 復制訓練有 4300 萬條指令
chatGPT 如此強大的原因之一是指令調整過程牧氮。通過提供格式化為指令的模型數(shù)據(jù)去团，它變得更有可能遵循用戶給出的指令文搂。 Openchatkit 是一個 200 億參數(shù)指令調整的 Transformer 和其他有用的工具适刀，用于對功能強大且流行的聊天機器人進行開源復制。
微軟德國稱 GPT-4 將于下周推出
微軟德國首席技術官 Andreas Braun 表示：“我們將在下周推出 GPT-4煤蹭，在那里我們將擁有多模式模型笔喉，將提供完全不同的可能性——例如視頻，”Braun 說硝皂。 CTO 稱 LLM 為“游戲規(guī)則改變者”常挚，因為他們教機器理解自然語言，然后機器以統(tǒng)計方式理解以前只能由人類閱讀和理解的內容稽物。
研究
僅有30分鐘交互數(shù)據(jù)的櫻桃采摘機器人
數(shù)據(jù)效率是許多強化學習算法面臨的挑戰(zhàn)之一奄毡。在代理開始學習之前，通常需要數(shù)百萬次環(huán)境交互贝或。這對于現(xiàn)實世界的機器人系統(tǒng)來說通常是不可行的吼过。這項工作是數(shù)據(jù)效率更高的系統(tǒng)的一個例子。
PixMIM：一種簡單有效的蒙版圖像建模方法
該論文提出了 PixMIM咪奖，這是一種簡單有效的蒙版圖像建模 (MIM) 方法盗忱，解決了兩個以前被忽視的瓶頸。 PixMIM 從重建目標中過濾掉高頻成分羊赵，并采用保守的數(shù)據(jù)變換策略來緩解 MIM 訓練中丟失前景的問題趟佃。該方法可以輕松集成到大多數(shù)現(xiàn)有的基于像素的 MIM 方法中，無需額外計算即可在各種下游任務中一致地改進三種 MIM 方法。 PixMIM 可以作為自我監(jiān)督學習的強大基線闲昭，并為 MIM 框架的未來改進提供見解罐寨。
工程
在筆記本電腦上運行最先進的語言模型 (GitHub Repo)
通過利用新的 Apple 神經計算系統(tǒng)，您可以在 m1 和 m2 計算機上運行 llama 模型汤纸。對于最小的模型，您甚至可以每秒獲得許多令牌芹血。這指向了在消費級硬件上運行的個性化 AI 的激動人心的未來贮泞。
運行語言模型的簡單方法
在上述代碼的支持下，這個項目很好地打包了東西幔烛，并允許您使用熟悉的網(wǎng)絡工具（如 npx）安裝和運行 llama 模型啃擦。
Text-Generation-Webui (GitHub Repo)
這個 GitHub Repo 是一個 gradio web UI，用于運行 GPT-J 6B饿悬、OPT令蛉、GALACTICA、LLaMA 和 Pygmalion 等大型語言模型狡恬。
雜七雜八
將 PEFT 與 RLHF 相結合
參數(shù)有效微調 (PEFT) 是一種僅更新模型權重的一小部分的方法珠叔。從人類反饋中強化學習 (RLHF) 是與指令調整類似的步驟，可提高模型生成質量和模型對齊弟劲。通過結合兩者祷安，您可以在具有 24GB 片上內存的相對較小的 GPU 上調整多達 200 億個參數(shù)的大型模型。此過程通常需要多個 A100兔乞。
ChatGPT 的 API 使大多數(shù)文本生成 AI 過時
ChatGPT 的 API 非常好汇鞭，而且非常便宜，以至于它讓大多數(shù)其他文本生成 AI 模型都過時了庸追。 3 月 1 日霍骄，OpenAI 將 ChatGPT API 的價格設置為 GPT-3 API 的 1/10，即 0.002 美元/1,000 個代幣淡溯。將此與模型的可定制性與及時工程相結合读整，您將擁有一項將顛覆許多行業(yè)的技術。
ChatGPT 現(xiàn)在可在 Azure OpenAI 服務中使用
隨著微軟將 ChatGPT API 服務集成到微軟的云計算平臺 Azure咱娶，OpenAI 與微軟的合作關系不斷加深绘沉。
大型語言模型正處于穩(wěn)定的擴散時刻
本文深入探討了大型語言模型如何在創(chuàng)新和流行方面呈爆炸式增長，類似于 2022 年 8 月發(fā)布穩(wěn)定擴散后生成式人工智能的爆炸式增長豺总。
Toolbox (GitHub Repo)
這個 GitHub Repo 是機器學習指南和工具的組合车伞。
用 ML 開發(fā)的 Pan-Variant COVID 疫苗
在機器學習的幫助下，已經開發(fā)出一種新的全變體 COVID 疫苗喻喳，可以結束對加強劑和季節(jié)性變體疫苗的需求另玖。
