??上節(jié)我們研究了線性共軛梯度法，線性共軛梯度法的研究對象是二次函數(shù)脱拼，且采取的線搜索為精確線搜索瞒瘸。為此可以產(chǎn)生共軛向量組，具有二次終止性熄浓。所謂的二次終止性情臭，并不是迭代兩次就終止，而是對于二次函數(shù)且采取精確線搜索能夠有限步終止「┰冢基于二次函數(shù)的良好性質(zhì)丁侄，我們將推廣到一般函數(shù)，采用一般線搜索朝巫。實(shí)際計(jì)算中，發(fā)現(xiàn)方法是有效的石景。便有了非線性共軛梯度法劈猿，在不引起混淆的情況下，非線性共軛梯度法也被稱為線性共軛梯度法潮孽。
??對共軛梯度法的研究主要集中在參數(shù)的選擇揪荣，混合共軛梯度法，多項(xiàng)共軛梯度法和譜共軛梯度法等方面往史。
1仗颈、前言
??共軛梯度法是無約束優(yōu)化方法，主要解決如下問題
解決問題 (1)椎例，我們采用是線搜索的迭代方法挨决，即
其中是搜索方向，
是搜索步長订歪，無論是混合共軛梯度法脖祈，譜共軛梯度法或者是多項(xiàng)共軛梯度法，只是方向
不同刷晋。
2盖高、經(jīng)典共軛參數(shù)
的選擇
??一般地，共軛梯度法的搜索方向?yàn)?br>
1952 年眼虱，Hestenes 和 stiefel在線性共軛梯度法中提出
1964 年喻奥，F(xiàn)letcher 和 Reeves首次提出了非線性共軛梯度法
1969 年，Polak , Ribiere 和 Polyak
提出
1987 年捏悬，F(xiàn)letcher 提出
1991 年撞蚕，Liu 和 Storey 提出
1998 年，戴彧虹 和 袁亞湘 提出
2001年邮破，戴彧虹 和 Liao 提出
其中诈豌，
.
2005 年，Hager 和 Zhang 提出
其中
??以上是八種經(jīng)典的共軛梯度法抒和，其收斂性會在后面詳細(xì)介紹矫渔。
3、混合共軛梯度法
??為了利用各種基本共軛梯度法的不同優(yōu)點(diǎn)摧莽，許多學(xué)者采用了不同共軛梯度法的巧妙組合庙洼。
Gilbert 和 Nocedal為保證算法的收斂性和具有較好的數(shù)值表現(xiàn)，取
戴雨虹 和 袁亞湘 提出了混合 DY 和 CD 共軛梯度法
焦寶聰，陳蘭平 和 潘翠英 提出混合 DY 和 FR 共軛梯度法
??以上只是列出幾種混合梯度法而已油够，具體他們有什么性質(zhì)蚁袭，收斂性的證明，后面會有更加全面的介紹石咬。
4揩悄、多項(xiàng)項(xiàng)共軛梯度法
?? 基本的共軛梯度法是負(fù)梯度方向與前一搜索方向的組合，許多學(xué)者在此基礎(chǔ)上鬼悠，研究了負(fù)梯度删性、前一搜索方向或位移、梯度差的各種形式焕窝，得到了多項(xiàng)共軛梯度法蹬挺。多項(xiàng)共軛梯度法中最主要的形式還是三項(xiàng)共軛梯度法。
2006 年它掂，張麗巴帮，周偉軍，李董輝提出了改進(jìn)的 PRP 共軛梯度法虐秋，得到了如下的三項(xiàng)共軛梯度法
2011 年榕茧，Narushima，Yabe 和 Ford得到了一般的三項(xiàng)共軛梯度法
其中為任意向量
同年雪猪，Andrei 將 PRP 公式改進(jìn)為
其中.
5、譜共軛梯度法
??譜共軛梯度法是由譜梯度法和共軛梯度法發(fā)展而來起愈。譜梯度法又稱 BB 算法前域，最早是由 Barzilai 和 Borwein 于 1988 年為求解無約束優(yōu)化問題 (1) 提出來的镜粤。BB 方法的主要思想是在最小二乘意義下搀矫，生成能夠逼近目標(biāo)函數(shù) Hesse 矩陣的逆矩陣刑峡，其迭代具有以下形式
其中
BB 方法可以看成是最速下降法的改進(jìn)，優(yōu)點(diǎn)是它的數(shù)值表現(xiàn)遠(yuǎn)遠(yuǎn)好于最速下降法阐污。
??2001 年休涤，Birgin 和 Martinez 將譜梯度和共軛梯度相結(jié)合，提出了譜共軛梯度法笛辟，其搜索方向如下
其中
我們把 (1) 的方法稱為譜共軛梯度法功氨，但是上式的譜共軛梯度法不能保證是下降算法。
??張麗, 周偉軍提出一種譜共軛梯度法
6手幢、結(jié)束語
，
7围来、參考文獻(xiàn)
[1] Hestenes M R, Stiefel E. Method of conjugate geadient for linear equations[J]. Research of the National Bureau of Standards, 1952, 49(6): 409-436
[2] Flecher R, Reeves C. Fuction minimization by conjugate gradient gradients[J]. Computer Journal, 1964 7(2): 149-154.
[3] Polak E, Ribiere G. Note surla convergence de directions conjugate[J]. Rev Fr Inform Rech Oper, 1969, 16(3): 35-43.
[4] Polyak B T. The conjugate gradient method in extreme problems. USSR Comput Math Phys, 1969, 9(1): 94-112.
[5] Fletcher R. Practical methods of optimization, vol I: unconstrained optimization[M]. New York: John Wiley and Sons, 1987.
[6] Liu Y, Storey C. Efficient generalized conjugate gradient algorithms, I. Theory[J]. J Optim Theorey Appl, 1991, 69(1): 129-137.
[7] Dai Y H, Yuan Y X. A nonlinear conjugate gradient method with a strong global convergence property. SIAM J Optim, 1999, 10(1): 177-182.
[8] Dai Y H, Liao L Z. New conjugacy conditions and related nonlinear conjugate gradient methods[J]. Applied Mathematics and Optimization, 2001, 43 : 87-101.
[9] Hager W W, Zhang H C. A new conjugate gradient method with guaranteed descent and an efficient line search, SIAM Journal on Optimization, 2005, 1(16) : 170-192.
[10] Gilbert J C, Nocedal J. Global convergence proerties of conjugate gradient methods for optimization[J]. SIAM Journal on Optimization, 1992, 2, 21-42.
[11] Dai Y H, Yuan Y X. Some properties of a new conjugate gradient methods[J]. Advances in Nonlinear Programming. 1998, 12, 251-262.
[12] 焦寶聰跺涤，陳蘭平匈睁，潘翠英. Goldstein 線搜索下混合共軛梯度法的全局收斂性[J]. 計(jì)算數(shù)學(xué), 2007,2(29): 137-146.
[13] Zhang L, Zhou W J, LI D H. A descent modified Polak_Ribiere-Polak gradient method and its global convergence[J]. IMA Journal of Numerical Analysis, 2006, 26: 629-640.
[14] Yasushi N, Hiroshi Y, John A F. A three-term conjugate gradient method with sufficient descent property for unconstrined optimization[J]. 2011,
[15] Andrei N. Amodified Polak-Ribiere-Polyak conjugate gradient algorithm for unconstrained optimization. Optimization, 60(12), 1457-1471.
[16] Barzilai J, Borwein M J. Two-point step size gradient methods[J]. IMA Journal of Numerical Analysis. 1988, 1(8): 141-148.
[17] Birgin E G, Martinez J M. A spectural conjugate gradeint method for unconstrained optimization[J]. 2001, 2(42): 117-128.
[18] Zhang L, Zhou W J. Two descent hybrid conjugate gradient methods for optimization[J]. Journal of Computation and Applied Mathematics, 2008, 251-264.
