(一)
看這個(gè)【開題報(bào)告模板】中的 Benchmark Model 和 Evaluation Metrics
https://github.com/nd009/capstone/blob/master/capstone_proposal_template.md
以及完整的【項(xiàng)目報(bào)告模板】
https://github.com/nd009/capstone/blob/master/capstone_report_template.md
(二)
然后對比這個(gè)范例報(bào)告(文本分類)男摧,搜索 Metrics 和 Benchmark 即可
http://cn-static.udacity.com/mlnd/Capstone_Poject_Sample01.pdf
如果我沒理解錯(cuò)译打,這份報(bào)告中:
- metrics 選擇的是「精確度」和「時(shí)間」
- benchmark 選擇的是斯坦福的結(jié)果,在此基礎(chǔ)上限定了「偏差」和「方差」
再看這個(gè)范例報(bào)告(圖像識別):看 1.3評價(jià)指標(biāo) 和 2.3基準(zhǔn)指標(biāo)
https://github.com/nd009/capstone/blob/master/report-example-1.pdf
如果我沒理解錯(cuò)乔询,這份報(bào)告中:
- metrics 是給了指標(biāo)
- benchmark 則給出了幾個(gè)歷史實(shí)現(xiàn)及對應(yīng)的 metrics 結(jié)果
(三)
所以 benchmark 和 metrics 到底分別是要寫什么韵洋,究竟是(1)還是(2)還是(3):
(1)
- 這兩部分的內(nèi)容都分別指定了幾個(gè)指標(biāo),而 Metrics 僅指定了幾個(gè)恰當(dāng)?shù)闹笜?biāo)们妥,并不再考慮更多勉吻;
- Benchmark 除了指定部分指標(biāo)外,更重要的是找到其數(shù)據(jù)集齿桃、實(shí)現(xiàn)、評估方法等與我項(xiàng)目中的對應(yīng)項(xiàng)具備可比性的模型(或模型計(jì)算結(jié)果带污?)
- 若兩部分中都要選定一些指標(biāo)香到,那么把哪些指標(biāo)放在 Benchmark 中,哪些放在 Metrics 中千绪?
(2)
- 僅僅由 metrics 點(diǎn)出指標(biāo)
- Benchmark 只要說明有哪些可比較的歷史實(shí)現(xiàn)以及歷史實(shí)現(xiàn)的結(jié)果
(3)
上述兩個(gè)想法都不對……