使用save傳遞參數,如果傳遞的值太大浴讯,則會出現不執(zhí)行的情況朵夏。
是因為默認pyspider + mysql數據庫使用的是blob類型,blob類型最大64KB榆纽,超過了就會報錯:“Data too long for column 'fetch' at row 1”仰猖、
解決方案1: 手動把blob字段改成longblob(任務太多的話太麻煩)
解決方案2:改pyspider源代碼, 自動建表的時候奈籽。字段創(chuàng)建成longblob饥侵。
解決方案3(推薦):不要傳遞太大的參數,因為太大的參數也會占用過多的數據庫空間衣屏。建議從爬蟲代碼上去優(yōu)化躏升。