頭條
Meta 推出 Code Llama
https://ai.meta.com/blog/code-llama-large-language-model-coding/
Meta 發(fā)布了 Code Llama，這是一種基于 Llama 2 的大型編碼語言模型。 7B、13B 和 34B 參數(shù)模型現(xiàn)已推出。他們?cè)?HumanEval (53.7) 和 MBPP (56.2) 上表現(xiàn)強(qiáng)勁欲险。 Code Llama 模型可以生成和調(diào)試代碼，經(jīng)過指令調(diào)整，并且具有極長的上下文 - 多達(dá) 100k 個(gè) Token言蛇。
Hushing Face 融資 2.35 億美元
https://techcrunch.com/2023/08/24/hugging-face-raises-235m-from-investors-including-salesforce-and-nvidia/
Hugging Face 在 D 輪融資中籌集了 2.35 億美元，參與方包括谷歌宵距、亞馬遜腊尚、Nvidia、英特爾满哪、AMD婿斥、高通、IBM哨鸭、Salesforce 和 Sound Ventures民宿。該初創(chuàng)公司目前估值為 45 億美元。
白宮的“人工智能網(wǎng)絡(luò)挑戰(zhàn)”旨在眾包國家安全解決方案
https://www.engadget.com/the-white-houses-ai-cyber-challenge-aims-to-crowdsource-national-security-solutions-170003434.html
白宮與谷歌和 OpenAI 等科技巨頭合作像鸡，發(fā)起了“人工智能網(wǎng)絡(luò)挑戰(zhàn)”活鹰，以開發(fā)能夠發(fā)現(xiàn)和修復(fù)軟件漏洞的人工智能。該競賽提供2000萬美元的獎(jiǎng)金。將鼓勵(lì)獲勝團(tuán)隊(duì)開源他們的解決方案志群。
研究
法律推理基準(zhǔn)
https://hazyresearch.stanford.edu/legalbench/
為了構(gòu)建衡量語言模型在法律框架中推理能力的基準(zhǔn)着绷，需要付出相當(dāng)大的協(xié)作努力。注意已訓(xùn)練模型中的污染赖舟。
視頻生成基準(zhǔn)
https://arxiv.org/abs/2308.11606
通過自動(dòng)視頻生成講故事是一個(gè)新興的研究領(lǐng)域蓬戚。故事延續(xù)、故事混音等任務(wù)是很難衡量的宾抓。希望這個(gè)偉大的新 Google 基準(zhǔn)測(cè)試能夠幫助該領(lǐng)域取得進(jìn)展子漩。
使用 LiDAR 點(diǎn)跟蹤 3D 對(duì)象的新方法
https://arxiv.org/abs/2308.11875v1
由于注意力分散或沒有注意到長期運(yùn)動(dòng)，大多數(shù)計(jì)算機(jī)視覺工具在使用 LiDAR 點(diǎn)跟蹤 3D 物體時(shí)遇到困難石洗。 MTM-Tracker混合了兩種方法并分兩個(gè)階段工作來解決這些問題幢泼。
工程
低精度訓(xùn)練的單位縮放
https://graphcore-research.github.io/unit-scaling/user_guide.html
Graphcore 發(fā)布了一個(gè)優(yōu)秀的 Pytorch 庫，使 fp8 的訓(xùn)練變得超級(jí)簡單和穩(wěn)定讲衫。人們只需要一個(gè)模型包裝器和火炬編譯即可缕棵。
使用簡單指令制作更智能、更小型模型的酷方法 (GitHub Repo)
https://github.com/neulab/prompt2model
Prompt2Model 不使用大型且占用大量資源的 AI 模型涉兽，而是讓人們用簡單的語言描述想要的內(nèi)容招驴，然后為該任務(wù)創(chuàng)建一個(gè)更小、更高效的 AI 模型枷畏。它可以使模型比一些流行的大模型工作得更好别厘。
Cheetah：用于視覺語言任務(wù)的突破性多模式LLM (GitHub Repo)
https://github.com/dcdmllm/cheetah
由于理解混合圖像文本上下文的限制，最近的模型經(jīng)常難以處理復(fù)雜的視覺語言任務(wù)拥诡。 I4 基準(zhǔn)測(cè)試的引入是為了評(píng)估這些任務(wù)触趴。結(jié)果顯示視覺提示生成器的注意力存在缺陷。為了解決這個(gè)問題渴肉，研究人員開發(fā)了 Cheetah冗懦，這是一種具有獨(dú)特模塊和訓(xùn)練策略的模型，擅長理解復(fù)雜的交錯(cuò)指令仇祭。 Cheetah 在 I4 基準(zhǔn)測(cè)試中取得了頂級(jí)性能披蕉。
雜七雜八
Llama 2 上的 DPO
https://huggingface.co/blog/dpo-trl
人類反饋是提高語言模型一致性和整體性能的關(guān)鍵。然而乌奇，近端策略優(yōu)化的訓(xùn)練過程存在一些挑戰(zhàn)嚣艇。最近的工作表明，人們可以直接針對(duì)人類偏好進(jìn)行優(yōu)化并繞過獎(jiǎng)勵(lì)模型华弓。通過基于文本的強(qiáng)化學(xué)習(xí)，人們可以在最先進(jìn)的開放模型上做到這一點(diǎn)困乒。
邁向 AGI——缺少什么寂屏？
https://mark-riedl.medium.com/toward-agi-what-is-missing-c2f0d878471a
探索為什么當(dāng)前的LLM 不太可能導(dǎo)致通用人工智能，以及為什么物理學(xué)本身會(huì)阻止我們從現(xiàn)在到通用人工智能的突然飛躍。
人工智能還不夠好
https://skventures.substack.com/p/ai-isnt-good-enough
雖然人工智能非常好迁霎，但還不足以提供經(jīng)濟(jì)所需的自動(dòng)化吱抚。
從命令行一鍵微調(diào)
https://jxnl.github.io/instructor/finetune/
一個(gè)很酷的工具，可以使用磁盤中的本地文件自動(dòng)執(zhí)行新的 gpt-3.5-turbo 調(diào)整過程考廉。
AutoML Web 應(yīng)用程序 (GitHub Repo)
https://github.com/mljar/automl-app
用于使用 MLJAR AutoML 訓(xùn)練機(jī)器學(xué)習(xí)管道的 Web 應(yīng)用程序秘豹。
Bloc (Product)
https://www.askbloc.ai/
Bloc 是一款人工智能聊天機(jī)器人，可幫助人們進(jìn)行銷售昌粤、客戶支持和瀏覽長內(nèi)容既绕。
