頭條
Mistral 和 Nvidia 的新模型
https://mistral.ai/news/mistral-nemo/
Mistral Nemo 12B 是一個使用新標(biāo)記器訓(xùn)練的多語言模型去枷，具有強大的多語言和英語性能。它也支持 128k 上下文。
GPT-4o Mini
https://www.theverge.com/2024/7/18/24200714/openai-new-cheaper-smarter-model-gpt-4o-mini
GPT-4o Mini 是 OpenAI 推出的一款新型小型模型，旨在取代 GPT-3.5。它在 MMLU 上的得分為 82串慰，對于廉價模型來說，這個分?jǐn)?shù)是合理的。
Cohere 和富士通戰(zhàn)略合作伙伴關(guān)系
https://cohere.com/blog/fujitsu-partnership
Cohere 和富士通宣布建立戰(zhàn)略合作伙伴關(guān)系菜职，以開發(fā)和提供具有業(yè)界領(lǐng)先日語能力的企業(yè) AI 服務(wù)。這些服務(wù)將以安全和數(shù)據(jù)隱私為核心旗闽，提供私有云部署酬核，為金融機構(gòu)蜜另、公共部門和研發(fā)部門等高度監(jiān)管行業(yè)的組織提供服務(wù)。
研究
使用語言映射超越傳統(tǒng)的基于向量的 RAG
https://x.com/mutableai/status/1813815706783490055
檢索是構(gòu)建數(shù)據(jù)聊天應(yīng)用程序的重要組成部分嫡意。但是举瑰，系統(tǒng)通常對檢索內(nèi)容的格式很敏感。構(gòu)建內(nèi)容的語言映射（例如蔬螟，維基百科樣式條目）并將其用于檢索可顯著提高基于聊天的性能此迅。Mutable AI 將此用于代碼庫問答。
補丁級訓(xùn)練技術(shù)提高 LLM 的效率
https://arxiv.org/abs/2407.12665v1
研究人員提出對大型語言模型進(jìn)行補丁級訓(xùn)練旧巾，以提高訓(xùn)練效率耸序。
從傳播模型中刪除不適當(dāng)?shù)膬?nèi)容
https://arxiv.org/abs/2407.12383v1
可靠高效的概念擦除 (RECE) 是一種新穎的方法，只需 3 秒即可從傳播模型中刪除不適當(dāng)?shù)膬?nèi)容鲁猩，而無需額外的微調(diào)坎怪。
工程
LLM2sh
https://github.com/randombk/llm2sh
LLM2sh 是一個命令行實用程序，它利用 LLM 將純語言請求轉(zhuǎn)換為 shell 命令廓握。
使用圖形神經(jīng)網(wǎng)絡(luò)的符號音樂任務(wù)
https://github.com/manoskary/graphmuse
GraphMuse 是一個新框架搅窿，旨在增強圖形神經(jīng)網(wǎng)絡(luò) (GNN) 在符號音樂任務(wù)中的使用。
使用 LLM 的通用多模態(tài)嵌入
https://github.com/kongds/e5-v
E5-V 是一個新框架隙券，它采用多模態(tài)大型語言模型 (MLLM) 來創(chuàng)建通用多模態(tài)嵌入男应。它使用提示彌合了不同輸入類型之間的差距，無需微調(diào)即可在多模態(tài)任務(wù)中實現(xiàn)令人印象深刻的性能娱仔。
雜七雜八
為機器學(xué)習(xí)面試制定準(zhǔn)備策略
https://mlengineerinsights.substack.com/p/strategizing-your-preparation-for
機器學(xué)習(xí)面試可能具有挑戰(zhàn)性殉了。了解機器學(xué)習(xí)角色的范圍并根據(jù)具體工作職責(zé)和專業(yè)化量身定制準(zhǔn)備工作可以顯著提高成功率。專注于掌握基礎(chǔ)知識拟枚、研究公司特定的技術(shù)薪铜，并持續(xù)跟蹤進(jìn)度，以自信地應(yīng)對面試恩溅。
使用 Abliteration 解除任何 LLM 的審查
https://research.google/blog/smart-paste-for-context-aware-adjustments-to-pasted-code/
Llama 模型出于安全考慮受到嚴(yán)格審查隔箍，限制了靈活性〗畔纾“abliteration”技術(shù)通過識別和刪除拒絕機制來解除審查蜒滩，允許模型無需重新訓(xùn)練即可響應(yīng)所有提示。
科學(xué)論文問答
https://arxiv.org/abs/2407.09413v1
SPIQA 是一個 QA 數(shù)據(jù)集奶稠，旨在幫助讀者通過解釋復(fù)雜的圖形和表格來快速找到科研文章中的答案俯艰。
OpenAI 和 Broadcom 就生產(chǎn) AI 芯片進(jìn)行了討論
Broadcom 已與 OpenAI 討論構(gòu)建新的人工智能服務(wù)器芯片。
克服當(dāng)前 LLM 的局限性
https://seanpedersen.github.io/posts/overcoming-llm-limits
大型語言模型面臨著幻覺锌订、缺乏信心估計和缺乏引用等挑戰(zhàn)竹握。
Flow Studio
https://www.producthunt.com/posts/flow-studio
Flow Studio 可制作完整、電影品質(zhì)的 3 分鐘長視頻辆飘，具有引人入勝的情節(jié)啦辐、一致的角色以及自動匹配的背景音樂和音效谓传。
