多情劍客無(wú)情劍yu

??本文將在 DL 共軛梯度法的基礎(chǔ)上渠鸽，介紹 HZ 共軛梯度法。這是由 Hanger-Zhang 于 2005 年提出的一種非常經(jīng)典的共軛梯度法读虏。我們所創(chuàng)新的共軛梯度法都會(huì)于...

多情劍客無(wú)情劍yu

??共軛梯度法是一類(lèi)重要的方法袁滥，特別是當(dāng)維數(shù)很大時(shí)盖桥。本文將提出一種新的共軛條件，考慮其非精確線(xiàn)搜索题翻。依據(jù)新的共軛條件揩徊，兩種非線(xiàn)性共軛梯度法將會(huì)被提出，同時(shí)給出其收斂性分析嵌赠。 ...

多情劍客無(wú)情劍yu

??本節(jié)我們將介紹共軛梯度法，只是簡(jiǎn)單的介紹一下姜挺，其收斂性的證明和共軛梯度法類(lèi)似齿税。 1、簡(jiǎn)介 ??LS 共軛梯度法是由 Liu 和 Storey 提出在 1991 年提出的一...

多情劍客無(wú)情劍yu

??本節(jié)凌箕，我們將提出兩種類(lèi)型的線(xiàn)搜索，他們都是依據(jù)標(biāo)準(zhǔn)線(xiàn)搜索词渤。本文的第一種線(xiàn)搜索且要求能夠保證在每一步產(chǎn)生一個(gè)下降方向牵舱，在這種線(xiàn)搜索下，掖肋，和方法且非負(fù)都能夠建立全局收斂性仆葡。然...

多情劍客無(wú)情劍yu

本節(jié)我們將介紹另外一種經(jīng)典的共軛梯度法志笼，即是共軛梯度法。 1把篓、引言 ??HS 共軛梯度法是由 和于1952 年在求解線(xiàn)性共軛梯度法中提出纫溃，后來(lái)被用于求解非線(xiàn)性無(wú)約束優(yōu)化問(wèn)題。...

多情劍客無(wú)情劍yu

??上節(jié)我們證明了方法在一種型線(xiàn)搜索下的全局收斂性紊浩。本節(jié)將證明取常數(shù)步長(zhǎng)因子的方法的收斂性。 1疗锐、引言 ??PRP 共軛梯度法是由 Polak 和 Ribiere 和 Pol...

多情劍客無(wú)情劍yu

??在節(jié)，我們證明了方法的收斂性滑臊。然而口芍，即使是一致凸函數(shù)，參數(shù)也可能非負(fù)雇卷。在節(jié)鬓椭，我們知道采取精確線(xiàn)搜索的方法對(duì)于一致凸函數(shù)的全局收斂性颠猴。于是，和致力于尋找這樣的一種線(xiàn)搜索小染，以...

多情劍客無(wú)情劍yu

??如果使用非精確線(xiàn)搜索如強(qiáng) Wolfe 線(xiàn)搜索，戴彧虹在文獻(xiàn) 中舉出例子表明裤翩，即使為一致凸函數(shù)资盅，而且參數(shù)充分小，PRP 方法都可能產(chǎn)生一個(gè)上升搜索方向踊赠。如果每一個(gè)搜索方向都...

多情劍客無(wú)情劍yu

??本文將介紹 PRP 共軛梯度法，我們又進(jìn)入嶄新的一頁(yè)臼疫。方法的全局收斂性證明會(huì)有點(diǎn)難择份，所以在 1969 年提出 PRP 共軛梯度法，卻在 1992 年才證明其全局收斂性烫堤。 ...

多情劍客無(wú)情劍yu

??在之前的第九篇文章，我們分析了采取強(qiáng)線(xiàn)搜索的一般共軛梯度法鸽斟，并在沒(méi)有充分下降條件的情況下給出了方法全局收斂的一般性定理拔创。這一節(jié)將分析采取線(xiàn)搜索的一般共軛梯度法。值得注意的...

多情劍客無(wú)情劍yu

本文與之前的 FR 共軛梯度法的一般性理論相類(lèi)似剩燥，旨在建立 DY 共軛梯度法的一般性理論。這些工作也是由 戴彧虹 和 袁亞湘 完成立倍。 1灭红、簡(jiǎn)介 ?? 對(duì)于無(wú)約束優(yōu)化問(wèn)題其中...

多情劍客無(wú)情劍yu

這篇文章同樣出于戴彧虹 和 袁亞湘 老師之手口注，我個(gè)人感覺(jué)證明很巧妙变擒。本文主要進(jìn)一步分析 DY 共軛梯度法，在不特別給定線(xiàn)搜索和函數(shù)凸性的情況下寝志，給出了 DY 共軛梯度法的內(nèi)在...

多情劍客無(wú)情劍yu

這篇文章很早就在 CSCD 上面發(fā)表過(guò)，所以我就直接復(fù)制過(guò)來(lái)了材部。DY 共軛梯度法是由中國(guó)學(xué)者 戴彧虹 和 袁亞湘 提出來(lái)的毫缆，可以說(shuō)是我們這個(gè)方向非常經(jīng)典的文章，這兩位大師在國(guó)...

多情劍客無(wú)情劍yu

??本文給出在強(qiáng)線(xiàn)搜索下一般性收斂性定理苦丁，由 戴彧虹，韓繼業(yè)兽叮，劉光輝芬骄，孫德峰猾愿，陰紅霞 和 袁亞湘提出，這些人都是運(yùn)籌學(xué)領(lǐng)域的大家账阻。而且這個(gè)定理本身也非常有用蒂秘，是對(duì)充分下降條件...

多情劍客無(wú)情劍yu

??前面介紹了 FR 共軛梯度法淘太，給出了其他不同線(xiàn)搜素下的全局收斂性姻僧。本節(jié)將講述 CD 共軛梯度法，與 FR 的性質(zhì)相類(lèi)似蒲牧，有了前面的基礎(chǔ)撇贺，所以收斂性的證明很簡(jiǎn)單。?? 19...

多情劍客無(wú)情劍yu

??前面給出了 FR 共軛梯度法在強(qiáng) Wolfe 線(xiàn)搜索松嘶、推廣 Wolfe 線(xiàn)搜素和廣義線(xiàn)搜素下的收斂性，本節(jié)將給出關(guān)于 FR 共軛梯度法的一般性理論挎扰，即與其他共軛梯度法的關(guān)...

多情劍客無(wú)情劍yu

??在前面，我們介紹了 FR 共軛梯度法在精確線(xiàn)搜索遵倦，強(qiáng) Wolfe 線(xiàn)搜索和推廣的 Wolfe 線(xiàn)搜索下的收斂性尽超。本節(jié)，將介紹 FR 共軛梯度法在廣義 Wolfe 線(xiàn)搜索 ...

多情劍客無(wú)情劍yu

??今天似谁，應(yīng)該是正式研究共軛梯度法的開(kāi)始。如果只是運(yùn)用共軛梯度法掠哥，而不去了解其算法的內(nèi)在含義巩踏，這也不是我在《簡(jiǎn)書(shū)》上面寫(xiě)作的意義。所以從現(xiàn)在開(kāi)始我們探討 FR 共軛梯度法续搀。 ...

多情劍客無(wú)情劍yu

??上節(jié)我們研究了線(xiàn)性共軛梯度法，線(xiàn)性共軛梯度法的研究對(duì)象是二次函數(shù)目代，且采取的線(xiàn)搜索為精確線(xiàn)搜索。為此可以產(chǎn)生共軛向量組嗤练，具有二次終止性榛了。所謂的二次終止性，并不是迭代兩次就終...