ZONE_DEVICE and the future of struct pag原文
作者： Jonathan Corbet 于2017年3月21日
2017年的Linux存儲(chǔ)玉吁，文件系統(tǒng)和內(nèi)存管理峰會(huì)的開(kāi)幕會(huì)議涵蓋了一個(gè)大家熟悉的主題 ：如何將（可能是大規(guī)模的）持久性內(nèi)存陣列（persistent-memory arrays）表示到內(nèi)核的各個(gè)子系統(tǒng)。 本次會(huì)議由Dan Williams主持，特別關(guān)注對(duì)ZONE_DEVICE的抽象哼凯，討論內(nèi)核是否應(yīng)該使用struct page結(jié)構(gòu)來(lái)表示持久性內(nèi)存（persistent memory）阻问。
ZONE_DEVICE被綁定到內(nèi)存分配器的區(qū)域系統(tǒng)（zone system）中（它根據(jù)諸如NUMA節(jié)點(diǎn)或DMA可達(dá)性之類的屬性來(lái)隔離內(nèi)存）考榨，但是以特殊的方式瓤帚。它是為滿足在持久性內(nèi)存（persistent memory）上執(zhí)行DMA操作的需要而創(chuàng)建的; 這些操作需要struct page結(jié)構(gòu)來(lái)設(shè)置映射垛耳。 他說(shuō)，ZONE_DEVICE基本上是內(nèi)存熱插拔機(jī)制（memory hotplug mechanism）的上半部分; 它執(zhí)行內(nèi)存設(shè)置啸箫，但實(shí)際上并不將頁(yè)面聯(lián)機(jī)（put the pages online）以供一般的使用耸彪。 因此，位于ZONE_DEVICE中的內(nèi)存不能以正常方式分配忘苛，頁(yè)面也不能遷移到該空間中蝉娜，等等。但是可以在該Zone中獲取內(nèi)存的struct page結(jié)構(gòu)扎唾。
在過(guò)去幾年中召川，隨著大型持久性內(nèi)存（persistent memory）陣列對(duì)開(kāi)發(fā)團(tuán)體的影響，開(kāi)發(fā)人員開(kāi)始關(guān)注使用struct page結(jié)構(gòu)的成本 - 每個(gè)4KB內(nèi)存頁(yè)面需要64字節(jié)胸遇。這種用法似乎是浪費(fèi)的荧呐，所以已經(jīng)有人做出一些重要的努力，嘗試完全避免使用struct page結(jié)構(gòu); 相反纸镊，據(jù)認(rèn)為坛增，持久性內(nèi)存（persistent memory）的管理可以完全用頁(yè)框號(hào)（PFN）完成。pfn_t類型以及一大堆支持結(jié)構(gòu)被添加到該目標(biāo)薄腻，開(kāi)發(fā)人員試圖將整個(gè)DMA API轉(zhuǎn)換為使用PFN收捣。但是，他們遇到了SPARC64架構(gòu)庵楷，它不能在不使用struct page結(jié)構(gòu)的情況下創(chuàng)建DMA映射罢艾。威廉姆斯說(shuō)，pfn_t的努力在那里死亡尽纽。
現(xiàn)在他說(shuō)咐蚯，也許現(xiàn)在是停止嘗試避免struct page的時(shí)候了 。 如果我們讓驅(qū)動(dòng)程序假設(shè)struct page結(jié)構(gòu)可用弄贿，那么我們將在具有TB級(jí)持久內(nèi)存的系統(tǒng)中支付一些內(nèi)存使用成本春锋，但是我們將可以避免處理大量不一致行為的自定義驅(qū)動(dòng)程序代碼。 這將解決DMA問(wèn)題差凹，但這可能是這方面最簡(jiǎn)單的問(wèn)題; struct page往往會(huì)出現(xiàn)在很多地方。
Matthew Wilcox觀察到呐萌，事實(shí)上，很少有驅(qū)動(dòng)真正關(guān)心struct page本身; 它只是作為一個(gè)方便的手段來(lái)引用物理內(nèi)存小渊。 他建議回顧一下，看看為什么SPARC不得不使用struct page結(jié)構(gòu)梆惯， 威廉姆斯說(shuō)，它與緩存混疊狀態(tài)的管理（management of cache aliasing state）有關(guān)怯屉。 James Bottomley建議可能還有其他方法來(lái)解決這個(gè)問(wèn)題，比如使用單獨(dú)的數(shù)組來(lái)保存別名信息。 這只是說(shuō)服SPARC維護(hù)者戴夫·米勒（Dave Miller）的問(wèn)題。
如果可以實(shí)現(xiàn)這種說(shuō)服虏冻，那么pfn_t幾乎可以在任何地方使用，而不需要擔(dān)心struct page結(jié)構(gòu)的可用性蛮穿。剩下的問(wèn)題可能是解決那些需要直接到達(dá)DMA緩沖區(qū)的驅(qū)動(dòng)程序的問(wèn)題祝蝠，但是Wilcox表示细溅，他們應(yīng)該只使用ioremap()來(lái)獲取可用的地址來(lái)處理。
避免使用持久性內(nèi)存（persistent memory）陣列的struct page的一個(gè)大動(dòng)機(jī)就是這些結(jié)構(gòu)可能最終填滿系統(tǒng)普通內(nèi)存的大部分。 避免這種情況的方法當(dāng)然是在持久記憶本身中分配結(jié)構(gòu); Wilcox表示窜骄，只要將新內(nèi)存添加到系統(tǒng)中虐骑，其關(guān)聯(lián)的struct page結(jié)構(gòu)應(yīng)始終位于該新內(nèi)存中糊饱。 問(wèn)題是struct page可能是一個(gè)使用量很大的結(jié)構(gòu)，所以有能力控制它的位置是很有用的颠黎。
內(nèi)存使用問(wèn)題的一個(gè)可能的解決方案是允許struct page結(jié)構(gòu)引用較大的頁(yè)面 - 例如2MB的大頁(yè)面另锋。這里的問(wèn)題是，使大小可變（making the size variable）會(huì)增加內(nèi)核中一些最熱的代碼路徑的開(kāi)銷盏缤。 在某些方面將節(jié)省CPU時(shí)間砰蠢，因?yàn)橐芾淼膕truct page結(jié)構(gòu)數(shù)量將大大減少，但是有人懷疑節(jié)省的開(kāi)銷會(huì)增加頁(yè)面分配器等的成本唉铜。
威廉姆斯說(shuō)台舱，另一個(gè)選擇是在需要時(shí)動(dòng)態(tài)分配struct page結(jié)構(gòu)。 持久性內(nèi)存（persistent memory）陣列的大小可以是TB級(jí)別潭流，但是可能只需要struct page結(jié)構(gòu)的一小部分竞惋。如果struct page結(jié)構(gòu)的分配代價(jià)可以降低，那么只在需要時(shí)使它們存在是有意義的灰嫉。
這個(gè)談話以徘徊的方式傷痕累累（wound down in a wandering manner）拆宛。 Bottomley建議使用基數(shù)樹(shù)（radix trees）跟蹤內(nèi)存的范圍。 Kirill Shutemov指出讼撒，不同頁(yè)面尺寸需要不同類型的信息; 在透明大頁(yè)面（transparent huge pages）的情況下浑厚，可能需要將4KB頁(yè)面稱為單頁(yè)面（single page）和巨大頁(yè)面的組件（component of a huge page）股耽。 Rik van Riel表示， struct page結(jié)構(gòu)只是動(dòng)態(tài)RAM的一個(gè)問(wèn)題; 它們可以被用于持久性內(nèi)存（persistent memory）钳幅，因?yàn)楫?dāng)不再使用文件系統(tǒng)時(shí)物蝙，可以將文件系統(tǒng)計(jì)數(shù)為可用內(nèi)存。 Bottomley回答說(shuō)這種方法是可行的敢艰，但是迄今為止沒(méi)有人愿意實(shí)施這一方法诬乞，這導(dǎo)致威廉姆斯觀察到，該社團(tuán)將在明年再次談?wù)撏瑯拥膯?wèn)題钠导。
