頭條
GPT-4 知識(shí)更新至 2023 年 12 月
https://platform.openai.com/docs/models/overview
根據(jù) OpenAI 平臺(tái)上的新文檔昏名，GPT-4 模型的訓(xùn)練數(shù)據(jù)已更新，包含截至 2023 年 12 月的信息。
軟銀創(chuàng)始人孫正義計(jì)劃為新芯片企業(yè)籌集 1000 億美元
https://www.msn.com/en-us/money/companies/softbank-founder-masayoshi-son-aims-to-raise-100-billion-for-new-chip-venture-izanagi/ar-BB1iq42h
孫正義的軟銀集團(tuán)公司正在推出 Izanagi，這是一家價(jià)值 1000 億美元的芯片企業(yè)惊奇，旨在與 Nvidia 競(jìng)爭(zhēng)并專注于人工智能應(yīng)用牲芋。
Scribe B 輪融資 2500 萬美元
https://scribehow.com/library/series-b-announcement
Scribe 已籌集了由 Redpoint Ventures 領(lǐng)投的 B 輪融資耍共，以加速其人工智能驅(qū)動(dòng)平臺(tái)的發(fā)展乃沙，該平臺(tái)可自動(dòng)創(chuàng)建可視化分步指南并促進(jìn)組織內(nèi)的知識(shí)共享。 超過 100 萬個(gè)團(tuán)隊(duì)使用 Scribe唉锌，其中包括財(cái)富 100 強(qiáng)企業(yè)中 97% 的團(tuán)隊(duì)隅肥。該公司正在擴(kuò)展其 AI 功能，以使工作場(chǎng)所信息更易于訪問袄简。
研究
生成表征指令調(diào)優(yōu)
https://arxiv.org/abs/2402.09906
Contextual 團(tuán)隊(duì)訓(xùn)練并發(fā)布了一個(gè)可以生成文本和嵌入的模型腥放。 它的性能顯著優(yōu)于單一專業(yè)模型。 該模型是對(duì)多模態(tài)趨勢(shì)的有趣詮釋绿语，其中輸出模態(tài)是嵌入秃症。
深度剖析：曼巴的艱難之路
https://srush.github.io/annotated-mamba/hard.html
Sasha Rush 發(fā)布了一個(gè)帶注釋的教程，用于使用自定義 Triton 內(nèi)核加速 Mamba吕粹。 由于 Triton 編譯器中的錯(cuò)誤种柑，它還無法擴(kuò)展，但它是該技術(shù)的極端例證匹耕，對(duì)于那些希望深入研究狀態(tài)空間 Transformer 替代世界的人來說非常有用聚请。
使用 LoRA+ 增強(qiáng)微調(diào).
https://arxiv.org/abs/2402.12354v1
本文提出了 LoRA+驶赏，它是對(duì)現(xiàn)有低秩適應(yīng) (LoRA) 方法的改進(jìn)炸卑，用于微調(diào)大型模型母市。 LoRA+ 通過對(duì)過程中的關(guān)鍵組件使用不同的學(xué)習(xí)率矾兜，在不增加計(jì)算需求的情況下實(shí)現(xiàn)了更好的性能和更快的微調(diào)。
工程
只需 4 張圖片即可生成 3D 對(duì)象 (GitHub Repo)
https://github.com/GaussianObject/GaussianObject
該存儲(chǔ)庫允許您拍攝四張圖像患久，并使用高斯濺射將它們轉(zhuǎn)換為高質(zhì)量的 3D 表示。
生成任意分辨率的圖像 (GitHub Repo)
https://github.com/whlzy/fit
靈活視覺轉(zhuǎn)換器 (FiT) 是一種新穎的架構(gòu)浑槽，旨在創(chuàng)建任何分辨率和縱橫比的圖像蒋失。 與傳統(tǒng)模型不同，F(xiàn)iT 將圖像視為可變大小的標(biāo)記序列桐玻，使其能夠在訓(xùn)練和推理過程中更有效地適應(yīng)不同的圖像大小篙挽。
增強(qiáng)人工智能對(duì)對(duì)抗性攻擊的防御 (GitHub Repo)
https://github.com/chs20/robustvlm
該項(xiàng)目引入了一種新方法來增強(qiáng) OpenFlamingo 和 LLaVA 等多模態(tài)模型抵御視覺對(duì)抗攻擊的能力。 通過以無監(jiān)督的方式微調(diào) CLIP 視覺編碼器镊靴，作者有效地保護(hù)了這些模型免受操縱圖像攻擊铣卡，從而增強(qiáng)了它們?cè)趯?shí)際應(yīng)用中的可靠性和安全性，而無需重新訓(xùn)練整個(gè)模型偏竟。
雜七雜八
新的LLM基準(zhǔn)
https://nicholas.carlini.com/writing/2024/my-benchmark-for-large-language-models.html
杰出研究員 Nicholas Carlini 發(fā)布了他用于評(píng)估大型語言模型性能的基準(zhǔn)煮落。 有趣的是，它的 GPT-4 比大多數(shù)其他基準(zhǔn)測(cè)試更領(lǐng)先踊谋。
加速未來的戰(zhàn)略
https://www.oneusefulthing.org/p/strategies-for-an-accelerating-future
AI 領(lǐng)域的最新進(jìn)展蝉仇，特別是 Google 的 Gemini 提供了超過 100 萬個(gè)Token的上下文窗口，以及 Groq 的硬件實(shí)現(xiàn)了 GPT-3.5 模型幾乎即時(shí)的響應(yīng)殖蚕，這標(biāo)志著實(shí)際 AI 應(yīng)用的重大飛躍轿衔，并強(qiáng)調(diào)了領(lǐng)導(dǎo)者理解和理解的緊迫性。
如何在生成人工智能中失敗
https://medium.com/@sanguit/how-to-lose-at-generative-ai-2e6e6c20fecf
生成式人工智能雖然被大肆宣傳睦疫，但可能會(huì)讓大多數(shù)初創(chuàng)公司感到失望害驹，因?yàn)樗欣趽碛袛?shù)據(jù)優(yōu)勢(shì)、現(xiàn)有工作流程以及無需大修即可將人工智能集成到現(xiàn)有業(yè)務(wù)中的企業(yè)蛤育。 盡管風(fēng)險(xiǎn)資本流入 GenAI 領(lǐng)域宛官，但專注于工作流程層的快速工程和用戶體驗(yàn)改進(jìn)的初創(chuàng)公司本質(zhì)上是在為現(xiàn)有企業(yè)做嫁衣，這些企業(yè)可以輕松采用人工智能創(chuàng)新并將其集成到其主導(dǎo)平臺(tái)中缨伊，這表明對(duì)于旨在實(shí)現(xiàn)這一目標(biāo)的初創(chuàng)企業(yè)來說摘刑，未來的道路充滿挑戰(zhàn)。
BoCoEL (GitHub Repo)
https://github.com/rentruewang/bocoel
使用貝葉斯優(yōu)化準(zhǔn)確評(píng)估LLM刻坊。
亞馬遜 AGI 團(tuán)隊(duì)稱他們的人工智能正在展現(xiàn)“新興能力”
https://futurism.com/the-byte/amazon-researchers-ai-emergent
Amazon AGI 研究人員開發(fā)了一種名為“具有緊急能力的大自適應(yīng)流式 TTS”(BASE TTS) 的語言模型枷恕，該模型在對(duì)話文本中顯示“最先進(jìn)的自然度”，展示了未經(jīng)專門訓(xùn)練的語言技能谭胚。
AdGen AI
https://www.producthunt.com/posts/adgen-ai
AdGen AI 直面?zhèn)鹘y(tǒng)廣告制作的混亂局面徐块，提供了簡(jiǎn)化的未玻、人工智能驅(qū)動(dòng)的解決方案。 在幾分鐘內(nèi)從單個(gè)網(wǎng)址生成 100 多個(gè)廣告變體胡控。
