APScheduler最基本的用法: “定時(shí)幾秒后啟動(dòng)job”
兩種調(diào)度器: BackgroundScheduler和BlockingScheduler的區(qū)別,
job執(zhí)行時(shí)間大于定時(shí)調(diào)度時(shí)間特殊情況的問題及解決方法
每個(gè)job都會(huì)以thread的方式被調(diào)度约素。
1幸乒、基本的定時(shí)調(diào)度
APScheduler是python的一個(gè)定時(shí)任務(wù)調(diào)度框架睹逃,能實(shí)現(xiàn)類似linux下crontab類型的任務(wù)机隙,使用起來比較方便智玻。它提供基于固定時(shí)間間隔桐绒、日期以及crontab配置類似的任務(wù)調(diào)度夺脾,并可以持久化任務(wù),或?qū)⑷蝿?wù)以daemon方式運(yùn)行茉继。
下面是一個(gè)最基本的使用示例:
from apscheduler.schedulers.blocking import BlockingScheduler
def job():
print('job 3s')
if __name__=='__main__':
sched = BlockingScheduler(timezone='MST')
sched.add_job(job, 'interval', id='3_second_job', seconds=3)
sched.start()
它能實(shí)現(xiàn)每隔3s就調(diào)度job()運(yùn)行一次咧叭,所以程序每隔3s就輸出’job 3s’。通過修改add_job()的參數(shù)seconds烁竭,就可以改變?nèi)蝿?wù)調(diào)度的間隔時(shí)間菲茬。
2、BlockingScheduler與BackgroundScheduler區(qū)別
APScheduler中有很多種不同類型的調(diào)度器,BlockingScheduler與BackgroundScheduler是其中最常用的兩種調(diào)度器生均。那他們之間有什么區(qū)別呢听想? 簡(jiǎn)單來說,區(qū)別主要在于BlockingScheduler會(huì)阻塞主線程的運(yùn)行马胧,而BackgroundScheduler不會(huì)阻塞汉买。所以,我們?cè)诓煌那闆r下佩脊,選擇不同的調(diào)度器:
BlockingScheduler: 調(diào)用start函數(shù)后會(huì)阻塞當(dāng)前線程蛙粘。當(dāng)調(diào)度器是你應(yīng)用中唯一要運(yùn)行的東西時(shí)(如上例)使用。
BackgroundScheduler: 調(diào)用start后主線程不會(huì)阻塞威彰。當(dāng)你不運(yùn)行任何其他框架時(shí)使用出牧,并希望調(diào)度器在你應(yīng)用的后臺(tái)執(zhí)行。
下面用兩個(gè)例子來更直觀的說明兩者的區(qū)別歇盼。
BlockingScheduler例子
from apscheduler.schedulers.blocking import BlockingScheduler
import time
def job():
print('job 3s')
if __name__=='__main__':
sched = BlockingScheduler(timezone='MST')
sched.add_job(job, 'interval', id='3_second_job', seconds=3)
sched.start()
while(True): # 不會(huì)被執(zhí)行到
print('main 1s')
time.sleep(1)
運(yùn)行這個(gè)程序舔痕,我們得到如下的輸出:
job 3s
job 3s
job 3s
job 3s
可見,BlockingScheduler調(diào)用start函數(shù)后會(huì)阻塞當(dāng)前線程豹缀,導(dǎo)致主程序中while循環(huán)不會(huì)被執(zhí)行到伯复。
BackgroundScheduler例子
from apscheduler.schedulers.background import BackgroundScheduler
import time
def job():
print('job 3s')
if __name__=='__main__':
sched = BackgroundScheduler(timezone='MST')
sched.add_job(job, 'interval', id='3_second_job', seconds=3)
sched.start()
while(True):
print('main 1s')
time.sleep(1)
可見,BackgroundScheduler調(diào)用start函數(shù)后并不會(huì)阻塞當(dāng)前線程邢笙,所以可以繼續(xù)執(zhí)行主程序中while循環(huán)的邏輯啸如。
main 1s
main 1s
main 1s
job 3s
main 1s
main 1s
main 1s
job 3s
通過這個(gè)輸出,我們也可以發(fā)現(xiàn)氮惯,調(diào)用start函數(shù)后叮雳,job()并不會(huì)立即開始執(zhí)行。而是等待3s后妇汗,才會(huì)被調(diào)度執(zhí)行帘不。
如何讓job在start()后就開始運(yùn)行
如何才能讓調(diào)度器調(diào)用start函數(shù)后,job()就立即開始執(zhí)行呢杨箭?
其實(shí)APScheduler并沒有提供很好的方法來解決這個(gè)問題厌均,但有一種最簡(jiǎn)單的方式,就是在調(diào)度器start之前告唆,就運(yùn)行一次job()棺弊,如下
from apscheduler.schedulers.background import BackgroundScheduler
import time
def job():
print('job 3s')
if __name__=='__main__':
job() # 執(zhí)行一次就好了喲
sched = BackgroundScheduler(timezone='MST')
sched.add_job(job, 'interval', id='3_second_job', seconds=3)
sched.start()
while(True):
print('main 1s')
time.sleep(1)
這樣就能得到如下的輸出
job 3s
main 1s
main 1s
main 1s
job 3s
main 1s
main 1s
main 1s
這樣雖然沒有絕對(duì)做到“讓job在start()后就開始運(yùn)行”,但也能做到“不等待調(diào)度擒悬,而是剛開始就運(yùn)行job”模她。
如果job執(zhí)行時(shí)間過長(zhǎng)會(huì)怎么樣
如果執(zhí)行job()的時(shí)間需要5s,但調(diào)度器配置為每隔3s就調(diào)用一下job()懂牧,會(huì)發(fā)生什么情況呢侈净?我們寫了如下例子:
from apscheduler.schedulers.background import BackgroundScheduler
import time
def job():
print('job 3s')
time.sleep(5)
if __name__=='__main__':
sched = BackgroundScheduler(timezone='MST')
sched.add_job(job, 'interval', id='3_second_job', seconds=3)
sched.start()
while(True):
print('main 1s')
time.sleep(1)
運(yùn)行這個(gè)程序尊勿,我們得到如下的輸出:
main 1s
main 1s
main 1s
job 3s
main 1s
main 1s
main 1s
Execution of job "job (trigger: interval[0:00:03], next run at: 2018-05-07 02:44:29 MST)" skipped: maximum number of running instances reached (1)
main 1s
main 1s
main 1s
job 3s
main 1s
可見,3s時(shí)間到達(dá)后畜侦,并不會(huì)“重新啟動(dòng)一個(gè)job線程”元扔,而是會(huì)跳過該次調(diào)度,等到下一個(gè)周期(再等待3s)旋膳,又重新調(diào)度job()澎语。
為了能讓多個(gè)job()同時(shí)運(yùn)行,我們也可以配置調(diào)度器的參數(shù)max_instances验懊,如下例擅羞,我們?cè)试S2個(gè)job()同時(shí)運(yùn)行:
from apscheduler.schedulers.background import BackgroundScheduler
import time
def job():
print('job 3s')
time.sleep(5)
if __name__=='__main__':
job_defaults = { 'max_instances': 2 }
sched = BackgroundScheduler(timezone='MST', job_defaults=job_defaults)
sched.add_job(job, 'interval', id='3_second_job', seconds=3)
sched.start()
while(True):
print('main 1s')
time.sleep(1)
運(yùn)行程序,我們得到如下的輸出:
main 1s
main 1s
main 1s
job 3s
main 1s
main 1s
main 1s
job 3s
main 1s
main 1s
main 1s
job 3s
每個(gè)job是怎么被調(diào)度的
通過上面的例子义图,我們發(fā)現(xiàn)减俏,調(diào)度器是定時(shí)調(diào)度job()函數(shù),來實(shí)現(xiàn)調(diào)度的碱工。
那job()函數(shù)會(huì)被以進(jìn)程的方式調(diào)度運(yùn)行娃承,還是以線程來運(yùn)行呢?
為了弄清這個(gè)問題怕篷,我們寫了如下程序:
from apscheduler.schedulers.background import BackgroundScheduler
import time,os,threading
def job():
print('job thread_id-{0}, process_id-{1}'.format(threading.get_ident(), os.getpid()))
time.sleep(50)
if __name__=='__main__':
job_defaults = { 'max_instances': 20 }
sched = BackgroundScheduler(timezone='MST', job_defaults=job_defaults)
sched.add_job(job, 'interval', id='3_second_job', seconds=3)
sched.start()
while(True):
print('main 1s')
time.sleep(1)
運(yùn)行程序草慧,我們得到如下的輸出:
main 1s
main 1s
main 1s
job thread_id-10644, process_id-8872
main 1s
main 1s
main 1s
job thread_id-3024, process_id-8872
main 1s
main 1s
main 1s
job thread_id-6728, process_id-8872
main 1s
main 1s
main 1s
job thread_id-11716, process_id-8872
可見,每個(gè)job()的進(jìn)程ID都相同匙头,但線程ID不同。所以仔雷,job()最終是以線程的方式被調(diào)度執(zhí)行蹂析。