pymysql訪問數(shù)據(jù)庫線程安全問題

訪問數(shù)據(jù)庫的線程安全等級在下表中定義:
Integer constant stating the level of thread safety the interface supports. Possible values are:

threadsafety Meaning
0 Threads may not share the module.
1 Threads may share the module, but not connections.
2 Threads may share the module and connections.
3 Threads may share the module, connections and cursors.

Sharing in the above context means that two threads may use a resource without wrapping it using a mutex semaphore to implement resource locking. Note that you cannot always make external resources thread safe by managing access using a mutex: the resource may rely on global variables or other external sources that are beyond your control.

pymysql的線程安全等級為1:

from ._compat import PY2
from .constants import FIELD_TYPE
from .converters import escape_dict, escape_sequence, escape_string
from .err import (
    Warning, Error, InterfaceError, DataError,
    DatabaseError, OperationalError, IntegrityError, InternalError,
    NotSupportedError, ProgrammingError, MySQLError)
from .times import (
    Date, Time, Timestamp,
    DateFromTicks, TimeFromTicks, TimestampFromTicks)


VERSION = (0, 7, 11, None)
threadsafety = 1
apilevel = "2.0"
paramstyle = "pyformat"

在實際的項目中蕉斜,一種經(jīng)典的錯誤的使用方式就是全局使用一個conntction应媚,這樣如果有多個線程侯勉,同時使用一個connection來查詢或操作數(shù)據(jù)庫胯府,數(shù)據(jù)庫就會出現(xiàn)如下問題:

mysql error sql: Packet sequence number wrong - got 1 expected 2
for this sql query:

一種解決方法是使用線程池,每個線程采用獨立的connection宏粤,但是這種方式對于并發(fā)量特別大的情況下脚翘,會造成利用效率比較低的問題。
另外的一種方法是绍哎,使用多線程同步方法来农,加入鎖控制信號量。
具體來講崇堰,一個簡單的demo沃于,但是要留心死鎖問題:


#set up a mutex
mutex = 0

connection = pymysql.connect(host='xxx.xxx.xxx',
                             user='xxx',
                             password='xxxx',
                             db='xxx',
                             charset='utf8',
                             cursorclass=pymysql.cursors.DictCursor)


# query for a fetchall
def qurey_all_sql(sql):
    while mutex == 1:
        time.sleep(500)
    mutex = 1        
    cur = connection.cursor()
    cur.execute(sql)
    result = cur.fetchall()
    connection.commit()
    cur.close()
    mutex = 0
    return result


# query for a result
def query_one_sql(sql):
    while mutex == 1:
        time.sleep(500)
    mutex = 1  
    cur = connection.cursor()
    cur.execute(sql)
    result = cur.fetchone()
    connection.commit()
    cur.close()
    mutex = 0
    return result

原作者在github上給出的解決方案如下:

I use SQLAlchemy's pool.
Another way is threadpool. Each worker thread can have own connection.

更高級的方法有《基于gevent和pymysql實現(xiàn)mysql讀寫的異步非堵塞方案》,具體見鏈接海诲。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末繁莹,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子特幔,更是在濱河造成了極大的恐慌咨演,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,826評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件蚯斯,死亡現(xiàn)場離奇詭異薄风,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)拍嵌,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,968評論 3 395
  • 文/潘曉璐 我一進(jìn)店門遭赂,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人撰茎,你說我怎么就攤上這事〈蛲荩” “怎么了龄糊?”我有些...
    開封第一講書人閱讀 164,234評論 0 354
  • 文/不壞的土叔 我叫張陵逆粹,是天一觀的道長。 經(jīng)常有香客問我炫惩,道長僻弹,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,562評論 1 293
  • 正文 為了忘掉前任他嚷,我火速辦了婚禮蹋绽,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘筋蓖。我一直安慰自己卸耘,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,611評論 6 392
  • 文/花漫 我一把揭開白布粘咖。 她就那樣靜靜地躺著蚣抗,像睡著了一般。 火紅的嫁衣襯著肌膚如雪瓮下。 梳的紋絲不亂的頭發(fā)上翰铡,一...
    開封第一講書人閱讀 51,482評論 1 302
  • 那天,我揣著相機(jī)與錄音讽坏,去河邊找鬼锭魔。 笑死,一個胖子當(dāng)著我的面吹牛路呜,可吹牛的內(nèi)容都是我干的迷捧。 我是一名探鬼主播,決...
    沈念sama閱讀 40,271評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼拣宰,長吁一口氣:“原來是場噩夢啊……” “哼党涕!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起巡社,我...
    開封第一講書人閱讀 39,166評論 0 276
  • 序言:老撾萬榮一對情侶失蹤膛堤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后晌该,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體肥荔,經(jīng)...
    沈念sama閱讀 45,608評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,814評論 3 336
  • 正文 我和宋清朗相戀三年朝群,在試婚紗的時候發(fā)現(xiàn)自己被綠了燕耿。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,926評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡姜胖,死狀恐怖誉帅,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤蚜锨,帶...
    沈念sama閱讀 35,644評論 5 346
  • 正文 年R本政府宣布档插,位于F島的核電站,受9級特大地震影響亚再,放射性物質(zhì)發(fā)生泄漏郭膛。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,249評論 3 329
  • 文/蒙蒙 一氛悬、第九天 我趴在偏房一處隱蔽的房頂上張望则剃。 院中可真熱鬧,春花似錦如捅、人聲如沸棍现。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,866評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽轴咱。三九已至,卻和暖如春烈涮,著一層夾襖步出監(jiān)牢的瞬間朴肺,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,991評論 1 269
  • 我被黑心中介騙來泰國打工坚洽, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留戈稿,地道東北人。 一個月前我還...
    沈念sama閱讀 48,063評論 3 370
  • 正文 我出身青樓讶舰,卻偏偏與公主長得像鞍盗,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子跳昼,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,871評論 2 354

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理般甲,服務(wù)發(fā)現(xiàn),斷路器鹅颊,智...
    卡卡羅2017閱讀 134,656評論 18 139
  • Multiple threads can improve an application’s perceived r...
    思考的小妮子閱讀 354評論 1 1
  • 名稱 libev - 一個 C 編寫的功能全面的高性能事件循環(huán)敷存。 概要 示例程序 關(guān)于 libev Libev 是...
    hanpfei閱讀 15,266評論 0 5
  • 生活就像一盒巧克力,你永遠(yuǎn)不知道下一顆是什么味道堪伍∶常《阿甘正傳》 初心 可曾記得你是何時推開了越野的這扇大門,是何因...
    沒事看看字閱讀 255評論 0 0
  • 1 明天帝雇,也就是12月18日涮俄,是我們的結(jié)婚紀(jì)念日。一轉(zhuǎn)眼尸闸,結(jié)婚已經(jīng)五年了彻亲。如果用一個詞語來總結(jié)我們的婚姻生活孕锄,那就...
    Mr_Zhang2O12閱讀 1,354評論 0 0