利特爾法則
利特爾法則派生于排隊(duì)論橘原，用以下數(shù)學(xué)公式表示：
L 系統(tǒng)中存在的平均請(qǐng)求數(shù)量烛占。
λ 請(qǐng)求有效到達(dá)速率击孩。例如：5/s 表示每秒有5個(gè)請(qǐng)求到達(dá)系統(tǒng)涮母。
W 請(qǐng)求在系統(tǒng)中的平均等待執(zhí)行時(shí)間配深。
排隊(duì)論：研究服務(wù)系統(tǒng)中排隊(duì)現(xiàn)象隨機(jī)規(guī)律的學(xué)科携添，探究排隊(duì)有關(guān)的數(shù)量指標(biāo)的概率規(guī)律性。
場(chǎng)景
我們先假設(shè)一個(gè)店鋪員工調(diào)整場(chǎng)景篓叶。
前提
每個(gè)客戶一次只買一只炸雞烈掠；
每位員工制作一個(gè)炸雞需要1分鐘。
客戶買炸雞時(shí)等待時(shí)間越短缸托，體驗(yàn)越好左敌。
如果你是一家炸雞店老板，今年受疫情影響需要對(duì)店里的員工進(jìn)行調(diào)整嗦董，你會(huì)如何處理恨樟？
這個(gè)問(wèn)題本質(zhì)就是員工利用率與客戶體驗(yàn)之間的權(quán)衡斗埂。
為了讓客戶保持極佳體驗(yàn)，需要保持員工數(shù)量或增加員工；
為避免資源浪費(fèi)份乒，控制人力成本，需要裁減空閑員工婆跑。
假設(shè)店里目前有3名員工狮暑。你如何進(jìn)行員工調(diào)整決策。我們分析以下幾種情形廊勃。
當(dāng) 平均客流量 = 3人/分鐘 客戶等待時(shí)間稍短懈贺，體驗(yàn)良好，并且員工工作都是飽和坡垫。此時(shí)不需要調(diào)整梭灿。
當(dāng) 平均客流量 < 3人/分鐘 客戶等待時(shí)間稍短，體驗(yàn)良好冰悠，但是始終有一個(gè)員工在打醬油堡妒，此時(shí)可以考慮減裁一人。
當(dāng) 平均客流量 > 3人/分鐘 客戶5溉卓，6皮迟，7等待時(shí)間延長(zhǎng)體驗(yàn)稍差搬泥，此時(shí)可以根據(jù)實(shí)際情況增加員工。
平均每分鐘客流量 ≈ 員工數(shù) 為最佳伏尼。
線程池
其實(shí)線程池處理也算是一個(gè)排隊(duì)模型忿檩。簡(jiǎn)化Java線程池處理模型如下：
線程池任務(wù)執(zhí)行大致階段：提交 --> 入隊(duì)列或直接執(zhí)行 ---> 實(shí)際執(zhí)行
任務(wù)提交頻率：每秒任務(wù)提交數(shù)；
任務(wù)隊(duì)列等待平均耗時(shí)：任務(wù)隊(duì)列等待總耗時(shí)除以實(shí)際執(zhí)行數(shù)爆阶；
任務(wù)實(shí)際執(zhí)行平均耗時(shí)：任務(wù)實(shí)際運(yùn)行總耗時(shí)除以實(shí)際執(zhí)行數(shù)燥透；
任務(wù)執(zhí)行平均耗時(shí)：任務(wù)隊(duì)列等待平均耗時(shí)加任務(wù)實(shí)際執(zhí)行平均耗時(shí)；
我們可以根據(jù)以下指標(biāo)來(lái)評(píng)估調(diào)整線程池參數(shù)
線程池中平均任務(wù)數(shù) = 任務(wù)提交頻率 * 任務(wù)執(zhí)行平均耗時(shí)
線程等待耗時(shí)與響應(yīng)時(shí)間比率 = 任務(wù)隊(duì)列等待總耗時(shí) / （任務(wù)隊(duì)列等待總耗時(shí) + 任務(wù)實(shí)際執(zhí)行總耗時(shí)）
當(dāng) 線程等待耗時(shí)與響應(yīng)時(shí)間比率 過(guò)高扰她，說(shuō)明任務(wù)排隊(duì)較多兽掰，評(píng)估當(dāng)前線程池大小是否合理，結(jié)合系統(tǒng)負(fù)載進(jìn)行相應(yīng)調(diào)整徒役。
當(dāng) 線程池中平均任務(wù)數(shù) < 目前線程池大小 應(yīng)適當(dāng)減少線程數(shù)量孽尽。
當(dāng) 系統(tǒng)平均處理任務(wù)數(shù) > 目前線程池大小 在這種情況下，先評(píng)估當(dāng)前系統(tǒng)是否有能力支撐更大的線程數(shù)量（如CPU數(shù)忧勿，內(nèi)存等）杉女，然后再進(jìn)行調(diào)整。
代碼片段
@Slf4j
public class MonitoredThreadPoolExecutor extends ThreadPoolExecutor {
//任務(wù)提交成功時(shí)間
private final ConcurrentHashMap<Runnable, Long> timeOfRequest = new ConcurrentHashMap<>();
//任務(wù)實(shí)際開始執(zhí)行時(shí)間
private final ThreadLocal<Long> startTime = new ThreadLocal<>();
//上一個(gè)任務(wù)提交成功時(shí)間
private long lastArrivalTime;
// 任務(wù)實(shí)際執(zhí)行總數(shù)
private final AtomicInteger numberOfRequestsRetired = new AtomicInteger();
// 任務(wù)提交總數(shù)
private final AtomicInteger numberOfRequests = new AtomicInteger();
// 任務(wù)實(shí)際執(zhí)行總耗時(shí)
private final AtomicLong totalServiceTime = new AtomicLong();
// 任務(wù)在隊(duì)列等待總耗
private final AtomicLong totalPoolTime = new AtomicLong();
// 新任務(wù)提交總耗時(shí)
private final AtomicLong aggregateInterRequestArrivalTime = new AtomicLong();
public MonitoredThreadPoolExecutor(int corePoolSize, int maximumPoolSize, long keepAliveTime, TimeUnit unit,
BlockingQueue<Runnable> workQueue, ThreadFactory threadFactory, RejectedExecutionHandler handler) {
super(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue, threadFactory, handler);
}
@Override
protected void beforeExecute(Thread worker, Runnable task) {
super.beforeExecute(worker, task);
startTime.set(System.nanoTime());
}
@Override
protected void afterExecute(Runnable task, Throwable t) {
try {
long start = startTime.get();
totalServiceTime.addAndGet(System.nanoTime() - start);
totalPoolTime.addAndGet(start - timeOfRequest.remove(task));
numberOfRequestsRetired.incrementAndGet();
} finally {
if (null != t) {
log.error(AppSystem.ERROR_LOG_PREFIX + "線程池處理異常:", Throwables.getRootCause(t));
}
super.afterExecute(task, t);
}
}
@Override
public void execute(Runnable task) {
long now = System.nanoTime();
numberOfRequests.incrementAndGet();
synchronized (this) {
if (lastArrivalTime != 0L) {
aggregateInterRequestArrivalTime.addAndGet(now - lastArrivalTime);
}
lastArrivalTime = now;
timeOfRequest.put(task, now);
}
super.execute(task);
}
}
測(cè)試
兩組迭代請(qǐng)求鸳吸，一次提交10個(gè)任務(wù)熏挎，線程數(shù)為1
兩組迭代請(qǐng)求，一次提交10個(gè)任務(wù)晌砾，線程數(shù)為10
兩組迭代請(qǐng)求坎拐，一次提交10個(gè)任務(wù)，線程數(shù)為50
上面測(cè)試比較片面⊙伲現(xiàn)實(shí)應(yīng)根據(jù)系統(tǒng)長(zhǎng)期平均指標(biāo)進(jìn)行調(diào)整哼勇。
總結(jié)
利特爾法則應(yīng)用場(chǎng)景很多。歡迎大家留言交流呕乎！
