1宝鼓、while循環(huán)中使用sleep
缺點:不容易控制,而且是個阻塞函數(shù)
def timer(n):
'''''
每n秒執(zhí)行一次
'''
while True:
print(time.strftime('%Y-%m-%d %X',time.localtime()))
yourTask() # 此處為要執(zhí)行的任務(wù)
time.sleep(n)
2绷柒、schedule模塊
優(yōu)點:可以管理和調(diào)度多個任務(wù),可以進行控制
缺點:阻塞式函數(shù)
import schedule
import time
import datetime
def job1():
print('Job1:每隔10秒執(zhí)行一次的任務(wù)械拍,每次執(zhí)行2秒')
print('Job1-startTime:%s' %(datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')))
time.sleep(2)
print('Job1-endTime:%s' % (datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')))
print('------------------------------------------------------------------------')
def job2():
print('Job2:每隔30秒執(zhí)行一次突勇,每次執(zhí)行5秒')
print('Job2-startTime:%s' % (datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')))
time.sleep(5)
print('Job2-endTime:%s' % (datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')))
print('------------------------------------------------------------------------')
def job3():
print('Job3:每隔1分鐘執(zhí)行一次,每次執(zhí)行10秒')
print('Job3-startTime:%s' % (datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')))
time.sleep(10)
print('Job3-endTime:%s' % (datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')))
print('------------------------------------------------------------------------')
def job4():
print('Job4:每天下午17:49執(zhí)行一次坷虑,每次執(zhí)行20秒')
print('Job4-startTime:%s' % (datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')))
time.sleep(20)
print('Job4-endTime:%s' % (datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')))
print('------------------------------------------------------------------------')
def job5():
print('Job5:每隔5秒到10秒執(zhí)行一次甲馋,每次執(zhí)行3秒')
print('Job5-startTime:%s' % (datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')))
time.sleep(3)
print('Job5-endTime:%s' % (datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')))
print('------------------------------------------------------------------------')
if __name__ == '__main__':
schedule.every(10).seconds.do(job1)
schedule.every(30).seconds.do(job2)
schedule.every(1).minutes.do(job3)
schedule.every().day.at('17:49').do(job4)
schedule.every(5).to(10).seconds.do(job5)
while True:
schedule.run_pending()
3、Threading模塊中的Timer
優(yōu)點:非阻塞
缺點:不易管理多個任務(wù)
from threading import Timer
import datetime
# 每隔兩秒執(zhí)行一次任務(wù)
def printHello():
print('TimeNow:%s' % (datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')))
t = Timer(2, printHello)
t.start()
if __name__ == "__main__":
printHello()
4迄损、sched模塊
sched模塊實現(xiàn)了一個時間調(diào)度程序摔刁,該程序可以通過單線程執(zhí)行來處理按照時間尺度進行調(diào)度的時間。
通過調(diào)用scheduler.enter(delay,priority,func,args)
函數(shù),可以將一個任務(wù)添加到任務(wù)隊列里面共屈,當指定的時間到了绑谣,就會執(zhí)行任務(wù)(func函數(shù))。
- delay:任務(wù)的間隔時間拗引。
- priority:如果幾個任務(wù)被調(diào)度到相同的時間執(zhí)行借宵,將按照priority的增序執(zhí)行這幾個任務(wù)。
- func:要執(zhí)行的任務(wù)函數(shù)
- args:func的參數(shù)
import time, sched
import datetime
s = sched.scheduler(time.time, time.sleep)
def print_time(a='default'):
print('Now Time:',datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'),a)
def print_some_times():
print(datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
s.enter(10,1,print_time)
s.enter(5,2,print_time,argument=('positional',))
s.run()
print(datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
print_some_times()
執(zhí)行結(jié)果為:
2018-09-20 16:25:03
Now Time: 2018-09-20 16:25:08 positional
Now Time: 2018-09-20 16:25:13 default
2018-09-20 16:25:13
Process finished with exit code 0
按順序執(zhí)行任務(wù):
import time, sched
import datetime
s = sched.scheduler(time.time, time.sleep)
def event_fun1():
print("func1 Time:", datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
def perform1(inc):
s.enter(inc, 0, perform1, (inc,))
event_fun1()
def event_fun2():
print("func2 Time:", datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
def perform2(inc):
s.enter(inc, 0, perform2, (inc,))
event_fun2()
def mymain(func, inc=2):
if func == "1":
s.enter(0, 0, perform1, (10,))# 每隔10秒執(zhí)行一次perform1
if func == "2":
s.enter(0, 0, perform2, (20,))# 每隔20秒執(zhí)行一次perform2
if __name__ == '__main__':
mymain('1')
mymain('2')
s.run()
執(zhí)行結(jié)果為:
E:\virtualenv\pachong\Scripts\python.exe F:/workspace/project_01/demo_09.py
func1 Time: 2018-09-20 16:30:28
func2 Time: 2018-09-20 16:30:28
func1 Time: 2018-09-20 16:30:38
func2 Time: 2018-09-20 16:30:48
func1 Time: 2018-09-20 16:30:48
func1 Time: 2018-09-20 16:30:58
func2 Time: 2018-09-20 16:31:08
func1 Time: 2018-09-20 16:31:08
func1 Time: 2018-09-20 16:31:18
func2 Time: 2018-09-20 16:31:28
func1 Time: 2018-09-20 16:31:28
func1 Time: 2018-09-20 16:31:38
s.run()會阻塞當前線程的執(zhí)行
可以用
t=threading.Thread(target=s.run)
t.start()
也可以用s.cancal(action)
來取消sched中的某個action
5矾削、定時框架APScheduler
APSScheduler是python的一個定時任務(wù)框架壤玫,它提供了基于日期date、固定時間間隔interval哼凯、以及l(fā)inux上的crontab類型的定時任務(wù)欲间。該礦機不僅可以添加、刪除定時任務(wù)断部,還可以將任務(wù)存儲到數(shù)據(jù)庫中猎贴、實現(xiàn)任務(wù)的持久化。
APScheduler有四種組件:
triggers(觸發(fā)器):觸發(fā)器包含調(diào)度邏輯蝴光,每一個作業(yè)有它自己的觸發(fā)器她渴,用于決定接下來哪一個作業(yè)會運行,除了他們自己初始化配置外蔑祟,觸發(fā)器完全是無狀態(tài)的趁耗。
job stores(作業(yè)存儲):用來存儲被調(diào)度的作業(yè),默認的作業(yè)存儲器是簡單地把作業(yè)任務(wù)保存在內(nèi)存中疆虚,其它作業(yè)存儲器可以將任務(wù)作業(yè)保存到各種數(shù)據(jù)庫中苛败,支持MongoDB、Redis径簿、SQLAlchemy存儲方式著拭。當對作業(yè)任務(wù)進行持久化存儲的時候,作業(yè)的數(shù)據(jù)將被序列化牍帚,重新讀取作業(yè)時在反序列化儡遮。
executors(執(zhí)行器):執(zhí)行器用來執(zhí)行定時任務(wù),只是將需要執(zhí)行的任務(wù)放在新的線程或者線程池中運行暗赶。當作業(yè)任務(wù)完成時鄙币,執(zhí)行器將會通知調(diào)度器。對于執(zhí)行器蹂随,默認情況下選擇ThreadPoolExecutor就可以了十嘿,但是如果涉及到一下特殊任務(wù)如比較消耗CPU的任務(wù)則可以選擇ProcessPoolExecutor,當然根據(jù)根據(jù)實際需求可以同時使用兩種執(zhí)行器岳锁。
schedulers(調(diào)度器):調(diào)度器是將其它部分聯(lián)系在一起绩衷,一般在應(yīng)用程序中只有一個調(diào)度器,應(yīng)用開發(fā)者不會直接操作觸發(fā)器、任務(wù)存儲以及執(zhí)行器咳燕,相反調(diào)度器提供了處理的接口勿决。通過調(diào)度器完成任務(wù)的存儲以及執(zhí)行器的配置操作,如可以添加招盲。修改低缩、移除任務(wù)作業(yè)。
APScheduler提供了七種調(diào)度器:
BlockingScheduler:適合于只在進程中運行單個任務(wù)的情況曹货,通常在調(diào)度器是你唯一要運行的東西時使用咆繁。
BackgroundScheduler: 適合于要求任何在程序后臺運行的情況,當希望調(diào)度器在應(yīng)用后臺執(zhí)行時使用顶籽。
AsyncIOScheduler:適合于使用asyncio異步框架的情況
GeventScheduler: 適合于使用gevent框架的情況
TornadoScheduler: 適合于使用Tornado框架的應(yīng)用
TwistedScheduler: 適合使用Twisted框架的應(yīng)用
QtScheduler: 適合使用QT的情況
APScheduler提供了四種存儲方式:
- MemoryJobStore
- sqlalchemy
- mongodb
- redis
APScheduler提供了三種任務(wù)觸發(fā)器:
data:固定日期觸發(fā)器:任務(wù)只運行一次玩般,運行完畢自動清除;若錯過指定運行時間礼饱,任務(wù)不會被創(chuàng)建
interval:時間間隔觸發(fā)器
cron:cron風格的任務(wù)觸發(fā)
示例1坏为、
import time
from apscheduler.schedulers.blocking import BlockingScheduler
def job():
print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())))
if __name__ == '__main__':
# 該示例代碼生成了一個BlockingScheduler調(diào)度器,使用了默認的任務(wù)存儲MemoryJobStore慨仿,以及默認的執(zhí)行器ThreadPoolExecutor久脯,并且最大線程數(shù)為10纳胧。
# BlockingScheduler:在進程中運行單個任務(wù)镰吆,調(diào)度器是唯一運行的東西
scheduler = BlockingScheduler()
# 采用阻塞的方式
# 采用固定時間間隔(interval)的方式,每隔5秒鐘執(zhí)行一次
scheduler.add_job(job, 'interval', seconds=5)
scheduler.start()
示例2跑慕、
import time
from apscheduler.schedulers.blocking import BlockingScheduler
def job():
print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())))
if __name__ == '__main__':
# BlockingScheduler:在進程中運行單個任務(wù)万皿,調(diào)度器是唯一運行的東西
scheduler = BlockingScheduler()
# 采用阻塞的方式
# 采用date的方式,在特定時間只執(zhí)行一次
scheduler.add_job(job, 'date', run_date='2018-09-21 15:30:00')
scheduler.start()
示例3核行、
import time
from apscheduler.schedulers.background import BackgroundScheduler
def job():
print('job:', time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())))
if __name__ == '__main__':
# BackgroundScheduler: 適合于要求任何在程序后臺運行的情況牢硅,當希望調(diào)度器在應(yīng)用后臺執(zhí)行時使用。
scheduler = BackgroundScheduler()
# 采用非阻塞的方式
# 采用固定時間間隔(interval)的方式芝雪,每隔3秒鐘執(zhí)行一次
scheduler.add_job(job, 'interval', seconds=3)
# 這是一個獨立的線程
scheduler.start()
# 其他任務(wù)是獨立的線程
while True:
print('main-start:', time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())))
time.sleep(2)
print('main-end:', time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())))
運行結(jié)果為:
main-start: 2018-09-21 15:54:28
main-end: 2018-09-21 15:54:30
main-start: 2018-09-21 15:54:30
job: 2018-09-21 15:54:31
main-end: 2018-09-21 15:54:32
main-start: 2018-09-21 15:54:32
main-end: 2018-09-21 15:54:34
main-start: 2018-09-21 15:54:34
job: 2018-09-21 15:54:34
main-end: 2018-09-21 15:54:36
main-start: 2018-09-21 15:54:36
示例4减余、
import time
from apscheduler.schedulers.background import BackgroundScheduler
def job():
print('job:', time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())))
if __name__ == '__main__':
# BackgroundScheduler: 適合于要求任何在程序后臺運行的情況,當希望調(diào)度器在應(yīng)用后臺執(zhí)行時使用惩系。
scheduler = BackgroundScheduler()
# 采用非阻塞的方式
# 采用date的方式位岔,在特定時間里執(zhí)行一次
scheduler.add_job(job, 'date', run_date='2018-09-21 15:53:00')
# 這是一個獨立的線程
scheduler.start()
# 其他任務(wù)是獨立的線程
while True:
print('main-start:', time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())))
time.sleep(2)
print('main-end:', time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())))
運行結(jié)果為:
main-start: 2018-09-21 15:52:57
main-end: 2018-09-21 15:52:59
main-start: 2018-09-21 15:52:59
job: 2018-09-21 15:53:00
main-end: 2018-09-21 15:53:01
示例5、
import time
from apscheduler.schedulers.background import BackgroundScheduler
def job():
print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())))
if __name__ == '__main__':
# BackgroundScheduler: 適合于要求任何在程序后臺運行的情況堡牡,當希望調(diào)度器在應(yīng)用后臺執(zhí)行時使用
scheduler = BackgroundScheduler()
# 采用非阻塞的方式
# 采用corn的方式
scheduler.add_job(job, 'cron', day_of_week='fri', second='*/5')
'''
year (int|str) – 4-digit year
month (int|str) – month (1-12)
day (int|str) – day of the (1-31)
week (int|str) – ISO week (1-53)
day_of_week (int|str) – number or name of weekday (0-6 or mon,tue,wed,thu,fri,sat,sun)
hour (int|str) – hour (0-23)
minute (int|str) – minute (0-59)
econd (int|str) – second (0-59)
start_date (datetime|str) – earliest possible date/time to trigger on (inclusive)
end_date (datetime|str) – latest possible date/time to trigger on (inclusive)
timezone (datetime.tzinfo|str) – time zone to use for the date/time calculations (defaults to scheduler timezone)
* any Fire on every value
*/a any Fire every a values, starting from the minimum
a-b any Fire on any value within the a-b range (a must be smaller than b)
a-b/c any Fire every c values within the a-b range
xth y day Fire on the x -th occurrence of weekday y within the month
last x day Fire on the last occurrence of weekday x within the month
last day Fire on the last day within the month
x,y,z any Fire on any matching expression; can combine any number of any of the above expressions
'''
scheduler.start()
# 其他任務(wù)是獨立的線程
while True:
print('main-start:', time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())))
time.sleep(2)
print('main-end:', time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())))
運行結(jié)果:
main-start: 2018-09-21 16:02:55
main-end: 2018-09-21 16:02:57
main-start: 2018-09-21 16:02:57
main-end: 2018-09-21 16:02:59
main-start: 2018-09-21 16:02:59
2018-09-21 16:03:00
main-end: 2018-09-21 16:03:01
main-start: 2018-09-21 16:03:01
main-end: 2018-09-21 16:03:03
main-start: 2018-09-21 16:03:03
2018-09-21 16:03:05
main-end: 2018-09-21 16:03:05
main-start: 2018-09-21 16:03:05
main-end: 2018-09-21 16:03:07
main-start: 2018-09-21 16:03:07
main-end: 2018-09-21 16:03:09
main-start: 2018-09-21 16:03:09
2018-09-21 16:03:10
示例6抒抬、
import time
from apscheduler.schedulers.background import BackgroundScheduler
def job():
print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())))
if __name__ == '__main__':
# BackgroundScheduler: 適合于要求任何在程序后臺運行的情況,當希望調(diào)度器在應(yīng)用后臺執(zhí)行時使用
scheduler = BackgroundScheduler()
# 采用阻塞的方式
# 采用corn的方式
scheduler.add_job(job, 'cron', day_of_week='fri', second='*/5')
'''
year (int|str) – 4-digit year
month (int|str) – month (1-12)
day (int|str) – day of the (1-31)
week (int|str) – ISO week (1-53)
day_of_week (int|str) – number or name of weekday (0-6 or mon,tue,wed,thu,fri,sat,sun)
hour (int|str) – hour (0-23)
minute (int|str) – minute (0-59)
econd (int|str) – second (0-59)
start_date (datetime|str) – earliest possible date/time to trigger on (inclusive)
end_date (datetime|str) – latest possible date/time to trigger on (inclusive)
timezone (datetime.tzinfo|str) – time zone to use for the date/time calculations (defaults to scheduler timezone)
* any Fire on every value
*/a any Fire every a values, starting from the minimum
a-b any Fire on any value within the a-b range (a must be smaller than b)
a-b/c any Fire every c values within the a-b range
xth y day Fire on the x -th occurrence of weekday y within the month
last x day Fire on the last occurrence of weekday x within the month
last day Fire on the last day within the month
x,y,z any Fire on any matching expression; can combine any number of any of the above expressions
'''
scheduler.start()
示例7晤柄、
import time
from pymongo import MongoClient
from apscheduler.schedulers.blocking import BlockingScheduler
from apscheduler.jobstores.mongodb import MongoDBJobStore
def job():
print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())))
if __name__ == '__main__':
# mongodb存儲job
scheduler = BlockingScheduler()
client = MongoClient(host='127.0.0.1', port=27017)
store = MongoDBJobStore(collection='job', database='test', client=client)
scheduler.add_jobstore(store)
scheduler.add_job(job, 'interval', second=5)
scheduler.start()
6擦剑、異步框架celery
celery框架后續(xù)更新