1. NFS中文件相關(guān)操作的rountine
const struct nfs_rpc_ops nfs_v4_clientops = {
.version = 4, /* protocol version */
.dentry_ops = &nfs4_dentry_operations,//dentry操作穆趴，如nfs_dentry_delete
.dir_inode_ops = &nfs4_dir_inode_operations,//dir的元數(shù)據(jù)操作仅政，如nfs_create昔馋，nfs_lookup
.file_inode_ops = &nfs4_file_inode_operations,//file的元數(shù)據(jù)操作，如nfs_getattr区匣，nfs_setattr
.file_ops = &nfs4_file_operations,//file非元數(shù)據(jù)操作烦磁，如nfs_file_read岗喉，nfs_file_write
1. 1 Read 準備工作
nfs4_do_open間接調(diào)用nfs_fhget驾孔，在其中設(shè)置
//設(shè)置page cache相關(guān)函數(shù)
inode->i_data.a_ops = &nfs_file_aops; //for regular file
inode->i_data.a_ops = &nfs_dir_aops; //for dir
generic_file_read_iter()會調(diào)用a_ops中的函數(shù)芍秆，如readpage()等
2. Read操作
read() => sys_read() => file->f_op->read_iter(...) => nfs_file_read() => generic_file_read_iter() => nfs_readpages()
下面分析函數(shù)nfs_file_read()
- 如果有O_DIRECT參數(shù)，不管page cache是否失效翠勉，跳過緩存直接讀妖啥。
- 調(diào)用
nfs_revalidate_mapping_protected，做了如下事情:- 如果inode信息過期失效眉菱，則更新inode迹栓。
- 如果inode的
cache_validity被標記NFS_INO_INVALID_DATA,調(diào)用nfs_invalidate_mapping將page cache標記為失效掉分。
- 調(diào)用
generic_file_read_iter俭缓。如果page cache被標記失效，則調(diào)用readpage相應(yīng)函數(shù)酥郭。對于NFS來說华坦，它是nfs_readpages
3. inode信息包括兩個:
- nfs_inode上的一些值，如cache_validity等不从。
- NFS attribte惜姐，具體有哪些由server->attr_bitmask決定。
3.1 如何判斷inode過期失效
static bool nfs_mapping_need_revalidate_inode(struct inode *inode)
{
if (nfs_have_delegated_attributes(inode))
return false;
return (NFS_I(inode)->cache_validity & NFS_INO_REVAL_PAGECACHE)
|| nfs_attribute_timeout(inode)
|| NFS_STALE(inode);
}
3.2 如何更新inode
由__nfs_revalidate_inode實現(xiàn)。
- 發(fā)送GETATTR給server, 由
nfs4_proc_getattr實現(xiàn)歹袁。 - 調(diào)用
nfs_refresh_inode
下面是kernel log坷衍，其中2428是inode number
[183914.358438] NFS: nfs_update_inode(0:43/2428 fh_crc=0x104e0ee0 ct=1 info=0x427e7f)
3.3 NFS_INO_INVALID_DATA何時被設(shè)置
- nfs_zap_caches_locked
- nfs_zap_mapping
- nfs_update_inode中，inode->i_version和fattr->change_attr不相等情況下条舔，或者文件大小變化時枫耳。
- update_changeattr，并強制更新dir->i_version
4. Attribute的Mask
- 發(fā)送SERVER_CAPS孟抗，由
nfs4_server_capabilities實現(xiàn)迁杨。可以得到bitmask,被存在server->attr_bitmask凄硼。nfs4_server_capabilities是在mount時候被調(diào)用的铅协。 - 以后每次發(fā)送GETATTR給server，都會發(fā)送這個mask摊沉。
5. change attribute
NFS的這個attribute狐史，存儲在inode->i_version。如果這個值變化坯钦，NFS協(xié)議認為所有attribute全部失效预皇，同時page cache也失效。
6. NFS數(shù)據(jù)一致性的討論
參看man nfs(5)的DATA AND METADATA COHERENCE部分
總結(jié)一下有幾點：
- Close-to-open cache consistency:close操作時候確保任何修改寫進服務(wù)器婉刀。
- Attribute caching: 60s的timeout吟温。在這之間，GETATTR直接返回突颊，超過這個時間鲁豪，發(fā)起IO獲得所需的attribte÷赏海可以指定
noacmount選項爬橡，表示timeout為0。 - Active/Active NFS提供的是弱一致性(Weak cache consistency)棒动。對于NFS4來說糙申，每次讀之前發(fā)送GETATTR查詢
change屬性。change一般是個時間船惨，如果發(fā)現(xiàn)這次獲得的change和上次不同柜裸，說明文件被修改，Client會發(fā)送READ請求粱锐。否則Client直接從本地cache獲取疙挺。如果打開文件時指定O_DIRECT參數(shù)，則每次都向Server發(fā)送READ請求怜浅，不走本地cache铐然。 - Delegation分為讀和寫蔬崩。
小實驗:用nfs-ganesha搭建一個nfs server
- 先通過nfs read讀取一個文件。
- 本地修改這個文件搀暑。
- 再發(fā)送nfs read讀取這個文件沥阳，發(fā)現(xiàn)這個文件沒有變化。這是因為change attribute沒有失效自点，page cache也沒有失效沪袭。
7. 其他
7.1 inode => nfs_inode
struct nfs_inode *nfsi = NFS_I(inode);
static inline struct nfs_inode *NFS_I(const struct inode *inode)
{
return container_of(inode, struct nfs_inode, vfs_inode);
}
inode => nfs_server
struct nfs_server = NFS_SERVER(inode);
static inline struct nfs_server *NFS_SB(const struct super_block *s)
{
return (struct nfs_server *)(s->s_fs_info);
}
static inline struct nfs_server *NFS_SERVER(const struct inode *inode)
{
return NFS_SB(inode->i_sb);
}
7.2 對inode進行某項操作
NFS_PROTO(inode)->getattr(...);
static inline const struct nfs_rpc_ops *NFS_PROTO(const struct inode *inode)
{
return NFS_SERVER(inode)->nfs_client->rpc_ops;
}
