python實現(xiàn)數(shù)據(jù)庫varchar字段自動裁剪入庫

問題描述
數(shù)據(jù)存儲過程中抚笔,部分字符串過長,超出數(shù)據(jù)庫所設置的最大長度侨拦,從而導致數(shù)據(jù)插入失敗殊橙。

解決辦法
方案一:加大數(shù)據(jù)庫字段長度,以適應數(shù)據(jù)要求狱从。
方案二:據(jù)說可以在數(shù)據(jù)庫(mysql)層面作處理膨蛮,更改某些配置即可,不大懂季研。
方案三:裁剪數(shù)據(jù)敞葛,使得長度在數(shù)據(jù)庫范圍之內。

簡單分析
以上三個方案都能避免數(shù)據(jù)丟失与涡,數(shù)據(jù)庫出錯的問題惹谐。但方法各有好處和不足持偏。

對于方案一,是一個最直接的方法氨肌。但是這樣處理有點治標不治本鸿秆,下次又出現(xiàn)更長的字符串呢?另外怎囚,此方法適合在開發(fā)階段去更改數(shù)據(jù)庫字段長度卿叽,對于已上線的代碼,不建議去更改數(shù)據(jù)庫表結構桩了,特別是當數(shù)據(jù)庫對應表的數(shù)據(jù)很大的時候。(另埠戳,普及一個小知識點井誉,數(shù)據(jù)庫的varchar類型所設置的長度是最大允許長度,并非實際占用的存儲空間大小整胃。實際存儲空間大小由實際插入字符長度決定)

再來看看方案二颗圣,同樣是在數(shù)據(jù)庫層面作修改,但不再是更改表結構屁使,而是更改數(shù)據(jù)庫模式為非嚴格模式在岂。原理如圖:


圖片來源:http://blog.csdn.net/gulingeagle/article/details/17186581

因為數(shù)據(jù)庫配置方面不大懂,也沒試過蛮寂,所以對于方案二不作其他分析蔽午。

方案三則是更改代碼,在插入數(shù)據(jù)庫之前對值進行裁剪酬蹋,使得字符串長度滿足數(shù)據(jù)庫要求及老。是一種比較適合已上線項目的方案。一是不用冒著風險去更改數(shù)據(jù)庫結構范抓,二是相對來說骄恶,算是從根源上解決了數(shù)據(jù)過長,數(shù)據(jù)插入失敗的問題匕垫。當然僧鲁,因為裁剪了字符串,該方案依然會使得信息部分丟失象泵。具體用那個方案解決寞秃,視具體情況而定。

方案三的pony orm解決過程
方法一:將字符串長度可能過長的地方都加上字符串長度檢查并裁剪過長的字符偶惠。
方法二:通用解決方法蜕该,在orm執(zhí)行之前,根據(jù)模型定義的長度自動作裁剪洲鸠。

明顯堂淡,方案二更簡潔馋缅、更智能。不用滿項目的去找可能過長的地方绢淀。

具體操作為:
在模型定義的時候萤悴,繼承并重寫init方法,具體代碼為:

class TestTable(db.Entity):
   def __init__(self, *args, **kwargs):
       for field in getattr(type(self), '_columns_without_pk_'):  # 讀取模型定義的所有字段
           field_type = getattr(type(self), field).py_type  # 獲取字段類型
           if field_type == str:
               cur_value = kwargs.get(field)  # 獲取傳入的字符串
               if not cur_value:
                   continue
               params = getattr(type(self), field).args  # 獲取字段設置的參數(shù)
               str_len = 255  # 默認的str類型的最大長度
               if params:
                   str_len = params[0]  # 獲取設置的str類型字段允許的最大長度
                       
               if len(cur_value) > str_len:  # 對超標的字符串進行裁剪
                   kwargs[field] = cur_value[:str_len]
       
       super(db.Entity, self).__init__(*args, **kwargs)
       
   name = Required(str, 4, index=True)
   desc = Optional(str, 10)

這樣定義的數(shù)據(jù)庫模型就支持自動裁剪了皆的。以上代碼僅作原理展示覆履,為更簡潔的書寫,可以將以上邏輯轉化為裝飾器费薄,并加上合理的try語句硝全。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市楞抡,隨后出現(xiàn)的幾起案子伟众,更是在濱河造成了極大的恐慌,老刑警劉巖召廷,帶你破解...
    沈念sama閱讀 217,277評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件凳厢,死亡現(xiàn)場離奇詭異,居然都是意外死亡竞慢,警方通過查閱死者的電腦和手機先紫,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,689評論 3 393
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來筹煮,“玉大人遮精,你說我怎么就攤上這事“芰剩” “怎么了仑鸥?”我有些...
    開封第一講書人閱讀 163,624評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長变屁。 經(jīng)常有香客問我眼俊,道長,這世上最難降的妖魔是什么粟关? 我笑而不...
    開封第一講書人閱讀 58,356評論 1 293
  • 正文 為了忘掉前任疮胖,我火速辦了婚禮,結果婚禮上闷板,老公的妹妹穿的比我還像新娘澎灸。我一直安慰自己,他們只是感情好遮晚,可當我...
    茶點故事閱讀 67,402評論 6 392
  • 文/花漫 我一把揭開白布性昭。 她就那樣靜靜地躺著,像睡著了一般县遣。 火紅的嫁衣襯著肌膚如雪糜颠。 梳的紋絲不亂的頭發(fā)上汹族,一...
    開封第一講書人閱讀 51,292評論 1 301
  • 那天,我揣著相機與錄音其兴,去河邊找鬼顶瞒。 笑死,一個胖子當著我的面吹牛元旬,可吹牛的內容都是我干的榴徐。 我是一名探鬼主播,決...
    沈念sama閱讀 40,135評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼匀归,長吁一口氣:“原來是場噩夢啊……” “哼坑资!你這毒婦竟也來了?” 一聲冷哼從身側響起穆端,我...
    開封第一講書人閱讀 38,992評論 0 275
  • 序言:老撾萬榮一對情侶失蹤袱贮,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后徙赢,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體字柠,經(jīng)...
    沈念sama閱讀 45,429評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡探越,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,636評論 3 334
  • 正文 我和宋清朗相戀三年狡赐,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片钦幔。...
    茶點故事閱讀 39,785評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡枕屉,死狀恐怖,靈堂內的尸體忽然破棺而出鲤氢,到底是詐尸還是另有隱情搀擂,我是刑警寧澤,帶...
    沈念sama閱讀 35,492評論 5 345
  • 正文 年R本政府宣布卷玉,位于F島的核電站哨颂,受9級特大地震影響,放射性物質發(fā)生泄漏相种。R本人自食惡果不足惜威恼,卻給世界環(huán)境...
    茶點故事閱讀 41,092評論 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望寝并。 院中可真熱鬧箫措,春花似錦、人聲如沸衬潦。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,723評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽镀岛。三九已至弦牡,卻和暖如春友驮,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背喇伯。 一陣腳步聲響...
    開封第一講書人閱讀 32,858評論 1 269
  • 我被黑心中介騙來泰國打工喊儡, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人稻据。 一個月前我還...
    沈念sama閱讀 47,891評論 2 370
  • 正文 我出身青樓艾猜,卻偏偏與公主長得像,于是被迫代替她去往敵國和親捻悯。 傳聞我的和親對象是個殘疾皇子匆赃,可洞房花燭夜當晚...
    茶點故事閱讀 44,713評論 2 354

推薦閱讀更多精彩內容