隨著大模型的普及竿痰，GPU 算力成為稀缺資源兼都，單一數(shù)據(jù)中心或云區(qū)域的 GPU 資源常常難以滿足用戶的全面需求损同。同時浪腐，跨地域團隊的協(xié)作需求也推動了企業(yè)在不同云平臺之間調(diào)度數(shù)據(jù)和計...
發(fā)簡信
IP屬地：浙江
-
多云架構(gòu)俐银，JuiceFS 如何實現(xiàn)一致性與低延遲的數(shù)據(jù)分發(fā) -
JuiceFS 2024：開源與商業(yè)并進(jìn)窃肠，邁向 AI 原生時代即將過去的 2024 年，是 JuiceFS 開源版本推出的第 4 年私股，企業(yè)版的第 8 個年頭摹察。回顧過去這一年倡鲸，JuiceFS 社區(qū)版依舊保持著快速成長的勢頭供嚎，GitHub ...
-
緩存管理自動化：JuiceFS 企業(yè)版 Cache Group Operator 新特性發(fā)布近期，JuiceFS 企業(yè)版推出了 Cache Group Operator峭状，用于自動化創(chuàng)建和管理緩存組集群克滴。Operator 是一種簡化 Kubernetes 應(yīng)用管理的工...
-
從 CephFS 到 JuiceFS：同程旅行億級文件存儲平臺構(gòu)建之路隨著公司業(yè)務(wù)的快速發(fā)展，同程旅行的非結(jié)構(gòu)化的數(shù)據(jù)突破 10 億优床，在 2022 年劝赔，同程首先完成了對象存儲服務(wù)的建設(shè)。當(dāng)時胆敞，分布式文件系統(tǒng)方面着帽，同程使用的是 CephFS，隨著...
-
Conda + JuiceFS ：增強 AI 開發(fā)環(huán)境共享能力Conda 是當(dāng)前 AI 應(yīng)用開發(fā)領(lǐng)域中非常流行的環(huán)境和包管理系統(tǒng)移层，因其能夠簡單便捷地創(chuàng)建與系統(tǒng)資源相隔離的虛擬環(huán)境廣受歡迎仍翰。 Conda 支持在不同的操作系統(tǒng)上重建相同的工...
-
使用 JuiceFS 快照功能實現(xiàn)數(shù)據(jù)庫發(fā)布與端到端測試今天的博客來自 JuiceFS 云服務(wù)用戶 Jerry，他們通過使用 JuiceFS snapshot 功能观话，創(chuàng)新性地實現(xiàn)了數(shù)據(jù)的版本控制予借。Jerry，是一家位于北美的科技公...
-
海柔仿真系統(tǒng)存儲實踐：混合云架構(gòu)下實現(xiàn)高可用與極簡運維海柔創(chuàng)新是一家專注于箱式倉儲機器人系統(tǒng)的研發(fā)和設(shè)計的科技公司匪燕，其仿真平臺通過數(shù)字模擬技術(shù)蕾羊，再現(xiàn)實際倉庫環(huán)境和設(shè)備喧笔，利用導(dǎo)入的地圖帽驯、訂單、庫存及策略配置等數(shù)據(jù)來驗證和優(yōu)化倉儲解...
-
好未來：多云環(huán)境下基于 JuiceFS 建設(shè)低運維模型倉庫好未來书闸，前身學(xué)而思尼变，于 2010 年在美國紐約證券交易所上市。公司積極將大模型研究應(yīng)用于教學(xué)產(chǎn)品中，近期推出了數(shù)學(xué)領(lǐng)域的千億級大模型嫌术。 在大模型的背景下哀澈，存儲系統(tǒng)需處理巨量數(shù)...
-
JuiceFS CSI：Mount Pod 的平滑升級及其實現(xiàn)原理當(dāng)集群中需要升級 Mount Pod 時，目前推薦的方式是更新配置后重新掛載應(yīng)用 Pod 進(jìn)行滾動升級度气，但這種升級方式的問題在于需要業(yè)務(wù)重啟割按。 如果對業(yè)務(wù)的使用模式很清楚時，...
-
vivo 軒轅文件系統(tǒng)：AI 計算平臺存儲性能優(yōu)化實踐在早期階段磷籍，vivo AI 計算平臺使用 GlusterFS 作為底層存儲基座适荣。隨著數(shù)據(jù)規(guī)模的擴大和多種業(yè)務(wù)場景的接入，開始出現(xiàn)性能院领、維護等問題弛矛。為此，vivo 轉(zhuǎn)而采用了自...
-
詳解 JuiceFS 在多云架構(gòu)下的數(shù)據(jù)同步與一致性隨著大模型流行比然，GPU 算力資源正變得日益稀缺丈氓，傳統(tǒng)的“算力跟著存儲跑”的策略需要轉(zhuǎn)變?yōu)椤按鎯Ω懔ε堋薄榱舜_保數(shù)據(jù)一致性和管理的便捷性强法，企業(yè)通常在特定地區(qū)的公有云上選擇...
-
全新 JuiceFS Python SDK 快速上手
越來越多的用戶會選擇在容器化的云算力上進(jìn)行 AI 模型訓(xùn)練万俗，而這類環(huán)境往往沒有訪問 FUSE 模塊的特權(quán)，這就導(dǎo)致無法在容器內(nèi)掛載 JuiceFS饮怯。 JuiceFS 5.1 ...
-
大模型存儲選型 & JuiceFS 在關(guān)鍵環(huán)節(jié)性能詳解從去年開始该编，LLM大語言模型領(lǐng)域發(fā)展迅速、如 LLaMA硕淑、ChatGLM课竣、Baichuan、Qwen 和 yi-model 等基礎(chǔ)模型（Foundation Models）的...
-
Hugging Face + JuiceFS：多用戶多節(jié)點環(huán)境下提升模型加載效率
Hugging Face 的 Transformers 是一個功能強大的機器學(xué)習(xí)框架置媳，提供了一系列 API 和工具于樟，用于預(yù)訓(xùn)練模型的下載和訓(xùn)練。為了避免重復(fù)下載拇囊，提高訓(xùn)練效率...
-
大模型訓(xùn)練：K8s 環(huán)境中數(shù)千節(jié)點存儲最佳實踐今天這篇博客來自全棧工程師朱唯唯迂曲，她在前不久舉辦的 KubeCon 中國大會上進(jìn)行了該主題分享。 Kubernetes 已經(jīng)成為事實的應(yīng)用編排標(biāo)準(zhǔn)寥袭，越來越多的應(yīng)用在不斷的向云...
-
Ollama + JuiceFS：一次拉取路捧，到處運行今天這篇博客轉(zhuǎn)載自我們的全棧工程師朱唯唯。在使用 Ollma 進(jìn)行大模型加載時传黄，她嘗試使用了 JuiceFS 進(jìn)行模型共享杰扫，JuiceFS 的數(shù)據(jù)預(yù)熱和分布式緩存功能顯著提升...
-
性能、成本與 POSIX 兼容性比較： JuiceFS vs EFS vs FSx for Lustre
JuiceFS 是一款為云環(huán)境設(shè)計的分布式高性能文件系統(tǒng)膘掰。Amazon EFS[https://aws.amazon.com/efs/] 易于使用且可伸縮章姓，適用于多種應(yīng)用。A...
-
MiniMax：如何基于 JuiceFS 構(gòu)建高性能、低成本的大模型 AI 平臺
MiniMax 成立于 2021 年 12 月凡伊，是領(lǐng)先的通用人工智能科技公司零渐，致力于與用戶共創(chuàng)智能。MiniMax 自主研發(fā)了不同模態(tài)的通用大模型系忙，其中包括萬億參數(shù)的 MoE...
-
Clobotics 計算機視覺場景存儲實踐：多云架構(gòu)诵盼、 POSIX 全兼容、低運維的統(tǒng)一存儲Clobotics 是一家將計算機視覺和機器學(xué)習(xí)技術(shù)應(yīng)用于風(fēng)電以及零售行業(yè)的企業(yè)银还。在風(fēng)電行業(yè)拦耐，Clobotics 利用無人機對風(fēng)力發(fā)電機葉片進(jìn)行檢查，顯著降低了對人工作業(yè)的依...