什么是 front matter
front matter
的中文意思是前言,幾乎每本書都會(huì)有前言凌停,用來說明寫書目的或者內(nèi)容總結(jié)。
而 markdown 文件中的front matter
指的是以yaml
格式在文件開頭增加的元數(shù)據(jù)差牛,示例如下:
---
title: "為 obsidian 中的文件批量添加 front matter"
date: 2021-10-17 15:56
tags:
- obsidian
- frontmatter
---
front matter
需要用---
包裹
筆記軟件或博客軟件會(huì)拿到這些元數(shù)據(jù)做相應(yīng)處理,比如上面這個(gè)front matter
中 title
字段用來作為文章題目怖侦,date
作為發(fā)布日期与倡,tags
作為文章的標(biāo)簽列表
什么是obsidian
這里是指一款用于知識(shí)管理的筆記軟件虫给,支持雙鏈、本地存儲(chǔ)辫封、插件硝枉、vim 模式、關(guān)系視圖等倦微,具體介紹見官網(wǎng)
什么是dataview
是obsidian
上一款優(yōu)秀的插件妻味,可用類似于SQL
一樣的語句去查詢obsidian
中的文檔,從而實(shí)現(xiàn)統(tǒng)計(jì)分析欣福。
為什么要添加 front matter
我使用 obsidian 軟件已近一年责球,積累了不少筆記,在使用dataview
插件做統(tǒng)計(jì)時(shí)發(fā)現(xiàn)一個(gè)問題:文件的創(chuàng)建時(shí)間不準(zhǔn)拓劝。比如上圖中這些文件很早就創(chuàng)建了雏逾,顯示創(chuàng)建時(shí)間卻是最近,而且這幾個(gè)文件創(chuàng)建時(shí)間竟然一致郑临,肯定有問題栖博。
去查看文件實(shí)際創(chuàng)建時(shí)間才發(fā)現(xiàn),和獲取的是一樣的厢洞,并無問題仇让。
那到底是哪里出問題了呢?
因?yàn)槲沂腔?git 做同步的躺翻,比如在公司新建了幾個(gè)文件丧叽,但是回家后并沒有立即打開 obsidian 做同步,過了幾天再拉下最新的文件公你,文件創(chuàng)建時(shí)間肯定變成當(dāng)天了蠢正,而且是同時(shí)拉下來的,創(chuàng)建時(shí)間肯定一致了省店。
問題發(fā)現(xiàn)了嚣崭,怎么解決呢?front matter
就能解決這個(gè)問題懦傍。
可以在文件開頭增加如下內(nèi)容:
---
create_date: 2021-09-17 17:31
---
相當(dāng)于給每個(gè)文件寫死了創(chuàng)建時(shí)間雹舀,統(tǒng)計(jì)時(shí)基于front matter
中這個(gè)create_date
字段即可。
于是粗俱,最近創(chuàng)建的十篇文檔的dataview
統(tǒng)計(jì)語句便由
```dataview
table WITHOUT ID
file.link AS "title",
file.ctime as "time"
sort file.ctime desc
limit 10
```
變成了
```dataview
table WITHOUT ID
file.link AS "title",
create_date as "time"
sort create_date desc
limit 10
```
那么問題又來了说榆?統(tǒng)計(jì)問題是解決了,如何去添加front matter
呢?不會(huì)是手動(dòng)吧签财。
當(dāng)然不是串慰。
具體實(shí)現(xiàn)
增量文檔
使用Templater
插件制作front matter
模板
---
create_date: <% tp.file.creation_date() %>
---
配置新建文件時(shí)基于該模板創(chuàng)建,那么每次都會(huì)自動(dòng)給文件添加帶create_date
的front matter
了
存量文檔
Templater
當(dāng)然也支持給存量文檔添加front matter
唱蒸,但是存量文檔有六百多篇邦鲫,用手動(dòng)的方式實(shí)在太累了,于是我寫了一個(gè) Python 腳本神汹,實(shí)現(xiàn)批量在front matter
中添加create_date
與tags
字段庆捺。
下載python-frontmatter
pip install python-frontmatter
模塊使用見使用文檔
編寫腳本
# coding: utf-8
import os
import re
import time
import frontmatter
# 更新md文件的front matter:1.增加創(chuàng)建時(shí)間;2.提取tag
def update_front_matter(file):
with open(file, 'r', encoding='utf-8') as f:
post = frontmatter.loads(f.read())
is_write = False
if not post.metadata.get('create_date', None):
timeArray = time.localtime((os.path.getctime(file)))
post['create_date'] = time.strftime("%Y-%m-%d %H:%M", timeArray)
if not is_write:
is_write = True
# 將代碼塊內(nèi)容去掉
temp_content = re.sub(r'```([\s\S]*?)```[\s]?','',post.content)
# 獲取tag列表
tags = re.findall(r'\s#[\u4e00-\u9fa5a-zA-Z]+', temp_content, re.M|re.I)
ret_tags = list(set(map(lambda x: x.strip(), tags)))
print('tags in content: ', ret_tags)
print('tags in front matter: ', post.get("tags", []))
if len(ret_tags) == 0:
pass
elif post.get("tags", []) != set(ret_tags):
post['tags'] = ret_tags
if not is_write:
is_write = True
if is_write:
with open(file, 'w', encoding='utf-8') as f:
f.write(frontmatter.dumps(post))
# 遞歸獲取提供目錄下所有文件
def list_all_files(root_path, ignore_dirs=[]):
files = []
default_dirs = [".git", ".obsidian", ".config"]
ignore_dirs.extend(default_dirs)
for parent, dirs, filenames in os.walk(root_path):
dirs[:] = [d for d in dirs if not d in ignore_dirs]
filenames = [f for f in filenames if not f[0] == '.']
for file in filenames:
if file.endswith(".md"):
files.append(os.path.join(parent, file))
return files
if __name__ == "__main__":
# file_path = './xwlearn/test.md'
# update_front_matter(file_path)
ignore_dirs = ["Resource", "Write"]
files = list_all_files('./xwlearn/', ignore_dirs=ignore_dirs)
print("current dir: ", os.path.dirname(os.path.abspath(__file__)))
for file in files:
print("---------------------------------------------------------------")
print('current file: ', file)
update_front_matter(file)
time.sleep(1)
{{< admonition tip "如何匹配 tag">}}
使用正則表達(dá)式屁魏,凡是#+字符
均設(shè)為tag滔以,但是有一個(gè)問題,代碼塊中有不少注釋信息也會(huì)被匹配到氓拼,這就需要我們先忽略代碼塊中內(nèi)容
temp_content = re.sub(r'```([\s\S]*?)```[\s]?','',post.content)
匹配tag 的正則(空格#中文字符與英文字符
)
re.findall(r'\s#[\u4e00-\u9fa5a-zA-Z]+', temp_content, re.M|re.I)
{{< /admonition >}}
{{< admonition tip "如何遞歸文件及忽略目錄">}}
使用os.walk
遍歷文件你画,并不是每個(gè)文件都需要添加front_matter
,如果需要忽略某目錄桃漾,就給list_all_files
函數(shù)第二個(gè)參數(shù)傳遞相應(yīng)的目錄名撬即,如上述腳本第 59 行,我 忽略了Resource
與Write
目錄
def list_all_files(root_path, ignore_dirs=[]):
files = []
default_dirs = [".git", ".obsidian", ".config"]
ignore_dirs.extend(default_dirs)
for parent, dirs, filenames in os.walk(root_path):
dirs[:] = [d for d in dirs if not d in ignore_dirs]
filenames = [f for f in filenames if not f[0] == '.']
for file in filenames:
if file.endswith(".md"):
files.append(os.path.join(parent, file))
return files
{{< /admonition >}}