pyspider使用save傳遞變量過大導致不執(zhí)行的問題改淑。

使用save傳遞參數,如果傳遞的值太大浴讯,則會出現不執(zhí)行的情況朵夏。

是因為默認pyspider + mysql數據庫使用的是blob類型,blob類型最大64KB榆纽,超過了就會報錯:“Data too long for column 'fetch' at row 1”仰猖、

解決方案1: 手動把blob字段改成longblob(任務太多的話太麻煩)

解決方案2:改pyspider源代碼, 自動建表的時候奈籽。字段創(chuàng)建成longblob饥侵。

解決方案3(推薦):不要傳遞太大的參數,因為太大的參數也會占用過多的數據庫空間衣屏。建議從爬蟲代碼上去優(yōu)化躏升。

?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市狼忱,隨后出現的幾起案子煮甥,更是在濱河造成了極大的恐慌盗温,老刑警劉巖藕赞,帶你破解...
    沈念sama閱讀 206,839評論 6 482
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件成肘,死亡現場離奇詭異,居然都是意外死亡斧蜕,警方通過查閱死者的電腦和手機示辈,發(fā)現死者居然都...
    沈念sama閱讀 88,543評論 2 382
  • 文/潘曉璐 我一進店門跳芳,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事纷闺。” “怎么了揽碘?”我有些...
    開封第一講書人閱讀 153,116評論 0 344
  • 文/不壞的土叔 我叫張陵浦徊,是天一觀的道長。 經常有香客問我掀宋,道長深纲,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,371評論 1 279
  • 正文 為了忘掉前任劲妙,我火速辦了婚禮湃鹊,結果婚禮上,老公的妹妹穿的比我還像新娘镣奋。我一直安慰自己币呵,他們只是感情好,可當我...
    茶點故事閱讀 64,384評論 5 374
  • 文/花漫 我一把揭開白布侨颈。 她就那樣靜靜地躺著余赢,像睡著了一般。 火紅的嫁衣襯著肌膚如雪哈垢。 梳的紋絲不亂的頭發(fā)上妻柒,一...
    開封第一講書人閱讀 49,111評論 1 285
  • 那天,我揣著相機與錄音温赔,去河邊找鬼蛤奢。 笑死,一個胖子當著我的面吹牛陶贼,可吹牛的內容都是我干的啤贩。 我是一名探鬼主播,決...
    沈念sama閱讀 38,416評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼拜秧,長吁一口氣:“原來是場噩夢啊……” “哼痹屹!你這毒婦竟也來了?” 一聲冷哼從身側響起枉氮,我...
    開封第一講書人閱讀 37,053評論 0 259
  • 序言:老撾萬榮一對情侶失蹤志衍,失蹤者是張志新(化名)和其女友劉穎暖庄,沒想到半個月后,有當地人在樹林里發(fā)現了一具尸體楼肪,經...
    沈念sama閱讀 43,558評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡培廓,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,007評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現自己被綠了春叫。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片肩钠。...
    茶點故事閱讀 38,117評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖暂殖,靈堂內的尸體忽然破棺而出价匠,到底是詐尸還是另有隱情,我是刑警寧澤呛每,帶...
    沈念sama閱讀 33,756評論 4 324
  • 正文 年R本政府宣布踩窖,位于F島的核電站,受9級特大地震影響晨横,放射性物質發(fā)生泄漏洋腮。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,324評論 3 307
  • 文/蒙蒙 一颓遏、第九天 我趴在偏房一處隱蔽的房頂上張望徐矩。 院中可真熱鬧,春花似錦叁幢、人聲如沸滤灯。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,315評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽鳞骤。三九已至,卻和暖如春黍判,著一層夾襖步出監(jiān)牢的瞬間豫尽,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,539評論 1 262
  • 我被黑心中介騙來泰國打工顷帖, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留美旧,地道東北人。 一個月前我還...
    沈念sama閱讀 45,578評論 2 355
  • 正文 我出身青樓贬墩,卻偏偏與公主長得像榴嗅,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子陶舞,可洞房花燭夜當晚...
    茶點故事閱讀 42,877評論 2 345

推薦閱讀更多精彩內容