Laravel Eloquent chunk () 與 chunkyById () 的區(qū)別

Laravel

轉(zhuǎn)載自 Laravel 論壇:https://learnku.com/laravel/t/46881

隨著應(yīng)用程序的擴展棒搜,使用Laravel Eloquent處理大量數(shù)據(jù)庫記錄可能變得越來越困難指煎。 導(dǎo)致內(nèi)存不足異常并總體上降低應(yīng)用程序速度。 這是為什么白粉?

從數(shù)據(jù)庫中獲取結(jié)果時掩缓,您又將數(shù)據(jù)拉到內(nèi)存中雪情。 以這個代碼片段為例

Post::all()->each(function ($post) {
    // ...
});

這將導(dǎo)致以下查詢遵岩,將posts表中的所有記錄加載到內(nèi)存中

select * from posts;

通常對于具有少量記錄的表你辣,這是絕對可以接受的。 但是尘执,隨著成千上萬的帖子的積累舍哄,您最終將開始遇到Web服務(wù)器的內(nèi)存資源限制。

分塊

Laravel中常見的方法是使用Eloquent的 (通過 BuildsQuery) chunk() 一種方法誊锭,該方法獲取固定數(shù)量的記錄表悬,將較大的集合分解為更多的可消耗塊。

Post::chunk(1000, function ($post) {
    // ...
});

盡管這看起來不錯丧靡,但有很多改進和要注意的地方蟆沫。

首先,設(shè)想以下情形:您正在從數(shù)據(jù)庫中獲取Post記錄以更新也在where子句中使用的屬性

Post::where('published_at', '<', now())->chunk(1000, function ($post) {
    $post->update('published_at', now());
});

盡管是人為的温治,但它例證了一個非撤古樱現(xiàn)實的問題,其中這樣的查詢將導(dǎo)致無限循環(huán)熬荆,因為在下一次執(zhí)行查詢時舟山,published_at屬性將始終小于now()(假設(shè)精度為秒 使用MySQL的timestamp列類型或類似名稱)。

其次,存在查詢性能及其對數(shù)據(jù)庫服務(wù)器的影響的問題累盗。 上面的代碼將導(dǎo)致類似于以下內(nèi)容的查詢

select * from posts order by posts.id asc limit 1000 offset 9000

由于刪除的記錄和附加的查詢約束寒矿,MySQL無法直接轉(zhuǎn)到偏移量,因此若债,此查詢必須有效地選擇前10,000條記錄符相,以僅返回最后選擇的1,000條記錄。 可以想象拆座,這無法很好地擴展到成千上萬行主巍。 這將導(dǎo)致數(shù)據(jù)庫服務(wù)器使用不必要的資源,從而降低了應(yīng)用程序中所有其他查詢的速度挪凑。

大塊...但是更好孕索!

為了防止無法預(yù)料的陷阱并提高數(shù)據(jù)庫服務(wù)器性能,我們可以使用Eloquent chunkById 的方法

Post::where('published_at', '<', now())->chunkById(1000, function ($post) {
    $post->update('published_at', now());
});

上面的代碼段將導(dǎo)致類似于以下內(nèi)容的查詢

select * from posts where published_at < '2019-09-11 12:00:00' and id > 9000 order by id asc limit 1000

為什么將此方法視為“更好”躏碳?

a)它允許MySQL完全跳過前9000條記錄(假設(shè)是順序記錄)
b)由于where子句中的id約束搞旭,我們將不再重新選擇已經(jīng)更新的記錄

獎金 - 怎么樣?! ??

深入探討B(tài)uildsQueries特性的chunkyById方法,我們[看到](https://github.com/laravel/framework/blob/6.x/src/Illuminate/Database/Concerns/BuildsQueries.php#L92-L107) 存儲的最后一條記錄的ID(請記住菇绵,我們按ID升序排列)被存儲并在下一個要運行的查詢中用作參數(shù)肄渗。

討論請前往專業(yè)的 Laravel 論壇:https://learnku.com/laravel/t/46881

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市咬最,隨后出現(xiàn)的幾起案子翎嫡,更是在濱河造成了極大的恐慌,老刑警劉巖永乌,帶你破解...
    沈念sama閱讀 206,482評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件惑申,死亡現(xiàn)場離奇詭異,居然都是意外死亡翅雏,警方通過查閱死者的電腦和手機圈驼,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,377評論 2 382
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來望几,“玉大人绩脆,你說我怎么就攤上這事¢夏ǎ” “怎么了靴迫?”我有些...
    開封第一講書人閱讀 152,762評論 0 342
  • 文/不壞的土叔 我叫張陵,是天一觀的道長楼誓。 經(jīng)常有香客問我玉锌,道長,這世上最難降的妖魔是什么慌随? 我笑而不...
    開封第一講書人閱讀 55,273評論 1 279
  • 正文 為了忘掉前任芬沉,我火速辦了婚禮躺同,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘丸逸。我一直安慰自己蹋艺,他們只是感情好,可當我...
    茶點故事閱讀 64,289評論 5 373
  • 文/花漫 我一把揭開白布黄刚。 她就那樣靜靜地躺著捎谨,像睡著了一般。 火紅的嫁衣襯著肌膚如雪憔维。 梳的紋絲不亂的頭發(fā)上涛救,一...
    開封第一講書人閱讀 49,046評論 1 285
  • 那天,我揣著相機與錄音业扒,去河邊找鬼检吆。 笑死,一個胖子當著我的面吹牛程储,可吹牛的內(nèi)容都是我干的蹭沛。 我是一名探鬼主播,決...
    沈念sama閱讀 38,351評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼章鲤,長吁一口氣:“原來是場噩夢啊……” “哼摊灭!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起败徊,我...
    開封第一講書人閱讀 36,988評論 0 259
  • 序言:老撾萬榮一對情侶失蹤帚呼,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后皱蹦,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體煤杀,經(jīng)...
    沈念sama閱讀 43,476評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,948評論 2 324
  • 正文 我和宋清朗相戀三年根欧,在試婚紗的時候發(fā)現(xiàn)自己被綠了怜珍。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片端蛆。...
    茶點故事閱讀 38,064評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡凤粗,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出今豆,到底是詐尸還是另有隱情嫌拣,我是刑警寧澤,帶...
    沈念sama閱讀 33,712評論 4 323
  • 正文 年R本政府宣布呆躲,位于F島的核電站异逐,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏插掂。R本人自食惡果不足惜灰瞻,卻給世界環(huán)境...
    茶點故事閱讀 39,261評論 3 307
  • 文/蒙蒙 一腥例、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧酝润,春花似錦燎竖、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,264評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至疏咐,卻和暖如春纤掸,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背浑塞。 一陣腳步聲響...
    開封第一講書人閱讀 31,486評論 1 262
  • 我被黑心中介騙來泰國打工借跪, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人酌壕。 一個月前我還...
    沈念sama閱讀 45,511評論 2 354
  • 正文 我出身青樓垦梆,卻偏偏與公主長得像,于是被迫代替她去往敵國和親仅孩。 傳聞我的和親對象是個殘疾皇子托猩,可洞房花燭夜當晚...
    茶點故事閱讀 42,802評論 2 345