Abstract
- 考慮優(yōu)化問(wèn)題,目標(biāo)函數(shù)是期望的形式
- 問(wèn)題:高維積分很難準(zhǔn)確地計(jì)算
- 比較兩種基于Monte Carlo采樣的方法稠诲,SA(stochastic approximation)和SAA(sample average approximation)
- 一般認(rèn)為秃症,SAA能夠有效地利用求解問(wèn)題的特定結(jié)構(gòu)(比如linear)候址;但是SA是一種粗粒度的梯度方法吕粹,在實(shí)際中性能較差
- 本文證明种柑,對(duì)于一類凸的隨機(jī)問(wèn)題,經(jīng)過(guò)適當(dāng)改變的SA方法能夠達(dá)到和SAA近似的性能
Conclusion
- SA的robust版本在理論上和SAA有相似的計(jì)算復(fù)雜度(需要的sample size)
- 適當(dāng)實(shí)現(xiàn)的mirror descent SA算法能夠產(chǎn)生和SAA近似的準(zhǔn)確率(相同的sample size)
- SA的實(shí)現(xiàn)時(shí)間和計(jì)算時(shí)間比SAA短的多(30-40倍)
- 理論和實(shí)驗(yàn)證明匹耕,robust mirror descent SA是SAA方法很好的替代者