感謝mysql大師波多老師、GV大師偉嘉在這個(gè)問題上對(duì)我的幫助和啟發(fā)酗洒,感謝!
以下是本人在使用python-sqlalchemy時(shí)遇到的問題,如果使用原生mysql語句同樣需注意這個(gè)問題酿矢。
報(bào)錯(cuò)
OperationalError: (_mysql_exceptions.OperationalError) (1055, "Expression #1 of
SELECT list is not in GROUP BY clause and contains nonaggregated column
'db.table.create_time' which is not functionally dependent on columns in
GROUP BY clause; this is incompatible with sql_mode=only_full_group_by") [SQL:
u'SELECT table.create_time AS table_create_time, table.count AS
table_count \nFROM table \nWHERE table.cluster_id = %s AND
table.create_time > %s GROUP BY table.count'] [parameters: (1,
datetime.datetime(2000, 1, 1, 0, 0))]
原因:
mysql5.7.5版本開始,sql_mode使用的是默認(rèn)值( 如下)怎燥,而之前使用的mysql配置文件中sql_mode="",由于這個(gè)特性使在使用group_by時(shí)出現(xiàn)報(bào)錯(cuò)瘫筐,以下是新版的默認(rèn)值:
默認(rèn)的sql-mode里的ONLY_FULL_GROUP_BY字段導(dǎo)致不能直接查詢group_by包裹的之外的字段,如下使用铐姚,只查詢group_by的字段可以正常使用策肝,但是同時(shí)查詢create_time和count字段會(huì)出現(xiàn)錯(cuò)誤:
# 正確
session.query(Table.count).group_by(Table.count).all()
# 報(bào)錯(cuò)
session.query(Table.create_time,Table.count).group_by(Table.count).all()
解決辦法:
修改sql_mode
如設(shè)置:sql_mode=""
問題解決,但是由于sql_mode=""會(huì)帶來可以預(yù)估的錯(cuò)誤隐绵,如數(shù)據(jù)被截?cái)嗟戎冢赃@種方法有數(shù)據(jù)丟失的風(fēng)險(xiǎn)。-
程序中改變查詢語句的寫法依许,group_by之外的字段使用func函數(shù)包圍
為了符合ONLY_FULL_GROUP_BY=True的要求棺禾,如下:
那么使用方法2,程序中正確的寫法示例如下:
from sqlalchemy import func
# 1. 注意:這樣生成的數(shù)據(jù)結(jié)果為[(),()]峭跳,列表中的結(jié)果是元組膘婶,而不是生成器缺前,
# 如果要對(duì)結(jié)果進(jìn)行解析,解析方式也跟原來的方式不一樣
objs= session.query(func.any_value(Table.create_time,Table.count).
group_by(Table.count).all()
# 2. 但是如果在這樣的寫法中只需要使用count字段竣付,寫成obj.count是可以的
obj= session.query(func.any_value(Table.create_time,Table.count).
group_by(Table.count).first()
以下為sql_mode常用值的含義诡延,參考自這里:
- ONLY_FULL_GROUP_BY:對(duì)于GROUP BY聚合操作,如果在SELECT中的列古胆,沒有在GROUP BY中出現(xiàn)肆良,那么這個(gè)SQL是不合法的,因?yàn)榱胁辉贕ROUP BY從句中
- NO_AUTO_VALUE_ON_ZERO:該值影響自增長列的插入逸绎。默認(rèn)設(shè)置下惹恃,插入0或NULL代表生成下一個(gè)自增長值。如果用戶希望插入的值為0棺牧,而該列又是自增長的巫糙,那么這個(gè)選項(xiàng)就有用了。
- STRICT_TRANS_TABLES:在該模式下颊乘,如果一個(gè)值不能插入到一個(gè)事務(wù)表中参淹,則中斷當(dāng)前的操作,對(duì)非事務(wù)表不做限制
- NO_ZERO_IN_DATE:在嚴(yán)格模式下乏悄,不允許日期和月份為零
- NO_ZERO_DATE:設(shè)置該值浙值,mysql數(shù)據(jù)庫不允許插入零日期,插入零日期會(huì)拋出錯(cuò)誤而不是警告檩小。
- ERROR_FOR_DIVISION_BY_ZERO:在INSERT或UPDATE過程中开呐,如果數(shù)據(jù)被零除,則產(chǎn)生錯(cuò)誤而非警告规求。如果未給出該模式筐付,那么數(shù)據(jù)被零除時(shí)MySQL返回NULL
- NO_AUTO_CREATE_USER:禁止GRANT創(chuàng)建密碼為空的用戶
- NO_ENGINE_SUBSTITUTION:如果需要的存儲(chǔ)引擎被禁用或未編譯,那么拋出錯(cuò)誤阻肿。不設(shè)置此值時(shí)瓦戚,用默認(rèn)的存儲(chǔ)引擎替代,并拋出一個(gè)異常
- PIPES_AS_CONCAT:將”||”視為字符串的連接操作符而非或運(yùn)算符丛塌,這和Oracle數(shù)據(jù)庫是一樣的伤极,也和字符串的拼接函數(shù)Concat相類似