前言
HashMap在put的時候哀墓,插入的元素超過了容量(由負(fù)載因子決定)的范圍就會觸發(fā)擴(kuò)容操作,就是rehash喷兼,這個會重新將原數(shù)組的內(nèi)容重新hash到新的擴(kuò)容數(shù)組中篮绰,在多線程的環(huán)境下,可能造成閉環(huán)鏈表季惯,導(dǎo)致在get時會出現(xiàn)死循環(huán)吠各,所以HashMap是線程不安全的。
我們來了解另一個鍵值存儲集合HashTable勉抓,它是線程安全的贾漏,它在所有涉及到多線程操作的都加上了synchronized關(guān)鍵字來鎖住整個table,這就意味著所有的線程都在競爭一把鎖藕筋,在多線程的環(huán)境下纵散,它是安全的,但是無疑是效率低下的隐圾。
其實(shí)HashTable有很多的優(yōu)化空間伍掀,鎖住整個table這么粗暴的方法可以變相的柔和點(diǎn),比如在多線程的環(huán)境下暇藏,對不同的數(shù)據(jù)集進(jìn)行操作時其實(shí)根本就不需要去競爭一個鎖蜜笤,因?yàn)樗麄儾煌琱ash值,不會因?yàn)閞ehash造成線程不安全叨咖,所以互不影響瘩例,這就是鎖分離技術(shù)(分段鎖技術(shù)),將鎖的粒度降低甸各,利用多個鎖來控制多個小的table垛贤,這就是這篇文章的主角ConcurrentHashMap JDK1.7版本的核心思想,JDK1.8在此基礎(chǔ)上又進(jìn)行了進(jìn)一步降低鎖粒度趣倾。
一聘惦、ConcurrentHashMap JDK1.7的實(shí)現(xiàn)
在JDK1.7版本中,ConcurrentHashMap的數(shù)據(jù)結(jié)構(gòu)是由一個Segment數(shù)組和多個HashEntry組成儒恋,如下圖所示:
ConcurrentHashMap采用了非常精妙的"分段鎖"策略善绎,ConcurrentHashMap的主干是個Segment數(shù)組。
final Segment<K,V>[] segments;
Segment數(shù)組的意義就是將一個大的table分割成多個小的table來進(jìn)行加鎖诫尽,也就是上面的提到的鎖分離技術(shù)(分段鎖技術(shù))禀酱,而每一個Segment元素存儲的是HashEntry數(shù)組+鏈表,這個和HashMap的數(shù)據(jù)存儲結(jié)構(gòu)一樣
Segment繼承了ReentrantLock牧嫉,所以它就是一種可重入鎖(ReentrantLock)剂跟。在ConcurrentHashMap减途,一個Segment就是一個子哈希表,Segment里維護(hù)了一個HashEntry數(shù)組曹洽,所以鳍置,并發(fā)環(huán)境下,對于同一個Segment的操作才需考慮線程同步送淆,不同的Segment則無需考慮税产。
HashEntry是目前我們提到的最小的邏輯處理單元了。一個ConcurrentHashMap維護(hù)一個Segment數(shù)組偷崩,一個Segment維護(hù)一個HashEntry數(shù)組辟拷。
static final class HashEntry<K,V> {
final int hash;
final K key;
volatile V value;
volatile HashEntry<K,V> next;
//其他省略
}
我們說Segment類似哈希表,那么一些屬性就跟我們之前提到的HashMap差不離环凿,比如負(fù)載因子loadFactor梧兼,比如閾值threshold等等,看下Segment的構(gòu)造方法
Segment(float lf, int threshold, HashEntry<K,V>[] tab) {
this.loadFactor = lf;//負(fù)載因子
this.threshold = threshold;//閾值
this.table = tab;//主干數(shù)組即HashEntry數(shù)組
}
我們來看下ConcurrentHashMap的構(gòu)造方法
public ConcurrentHashMap(int initialCapacity,
float loadFactor, int concurrencyLevel) {
if (!(loadFactor > 0) || initialCapacity < 0 || concurrencyLevel <= 0)
throw new IllegalArgumentException();
//MAX_SEGMENTS 為1<<16=65536智听,也就是最大并發(fā)數(shù)為65536
if (concurrencyLevel > MAX_SEGMENTS)
concurrencyLevel = MAX_SEGMENTS;
//2的sshif次方等于ssize羽杰,例:ssize=16,sshift=4;ssize=32,sshif=5
int sshift = 0;
//ssize 為segments數(shù)組長度,根據(jù)concurrentLevel計(jì)算得出
int ssize = 1;
while (ssize < concurrencyLevel) {
++sshift;
ssize <<= 1;
}
//segmentShift和segmentMask這兩個變量在定位segment時會用到到推,后面會詳細(xì)講
this.segmentShift = 32 - sshift;
this.segmentMask = ssize - 1;
if (initialCapacity > MAXIMUM_CAPACITY)
initialCapacity = MAXIMUM_CAPACITY;
//計(jì)算cap的大小考赛,即Segment中HashEntry的數(shù)組長度,cap也一定為2的n次方.
int c = initialCapacity / ssize;
if (c * ssize < initialCapacity)
++c;
int cap = MIN_SEGMENT_TABLE_CAPACITY;
while (cap < c)
cap <<= 1;
//創(chuàng)建segments數(shù)組并初始化第一個Segment莉测,其余的Segment延遲初始化
Segment<K,V> s0 =
new Segment<K,V>(loadFactor, (int)(cap * loadFactor),
(HashEntry<K,V>[])new HashEntry[cap]);
Segment<K,V>[] ss = (Segment<K,V>[])new Segment[ssize];
UNSAFE.putOrderedObject(ss, SBASE, s0);
this.segments = ss;
}
初始化方法有三個參數(shù)颜骤,如果用戶不指定則會使用默認(rèn)值,initialCapacity為16捣卤,loadFactor為0.75(負(fù)載因子忍抽,擴(kuò)容時需要參考),concurrentLevel為16董朝。
從上面的代碼可以看出來,Segment數(shù)組的大小ssize是由concurrentLevel來決定的鸠项,但是卻不一定等于concurrentLevel,ssize一定是大于或等于concurrentLevel的最小的2的次冪子姜。比如:默認(rèn)情況下concurrentLevel是16祟绊,則ssize為16;若concurrentLevel為14哥捕,ssize為16牧抽;若concurrentLevel為17,則ssize為32遥赚。為什么Segment的數(shù)組大小一定是2的次冪扬舒?其實(shí)主要是便于通過按位與的散列算法來定位Segment的index。
put方法
public V put(K key, V value) {
Segment<K,V> s;
//concurrentHashMap不允許key/value為空
if (value == null)
throw new NullPointerException();
//hash函數(shù)對key的hashCode重新散列凫佛,避免差勁的不合理的hashcode讲坎,保證散列均勻
int hash = hash(key);
//返回的hash值無符號右移segmentShift位與段掩碼進(jìn)行位運(yùn)算泽腮,定位segment
int j = (hash >>> segmentShift) & segmentMask;
if ((s = (Segment<K,V>)UNSAFE.getObject // nonvolatile; recheck
(segments, (j << SSHIFT) + SBASE)) == null) // in ensureSegment
s = ensureSegment(j);
return s.put(key, hash, value, false);
}
從源碼看出,put的主要邏輯也就兩步:1.定位segment并確保定位的Segment已初始化 2.調(diào)用Segment的put方法衣赶。
關(guān)于segmentShift和segmentMask
segmentShift和segmentMask這兩個全局變量的主要作用是用來定位Segment,int j =(hash >>> segmentShift) & segmentMask厚满。
segmentMask:段掩碼府瞄,假如segments數(shù)組長度為16,則段掩碼為16-1=15碘箍;segments長度為32遵馆,段掩碼為32-1=31。這樣得到的所有bit位都為1丰榴,可以更好地保證散列的均勻性
segmentShift:2的sshift次方等于ssize货邓,segmentShift=32-sshift。若segments長度為16四濒,segmentShift=32-4=28;若segments長度為32换况,segmentShift=32-5=27。而計(jì)算得出的hash值最大為32位盗蟆,無符號右移segmentShift戈二,則意味著只保留高幾位(其余位是沒用的),然后與段掩碼segmentMask位運(yùn)算來定位Segment喳资。
get方法
public V get(Object key) {
Segment<K,V> s;
HashEntry<K,V>[] tab;
int h = hash(key);
long u = (((h >>> segmentShift) & segmentMask) << SSHIFT) + SBASE;
//先定位Segment觉吭,再定位HashEntry
if ((s = (Segment<K,V>)UNSAFE.getObjectVolatile(segments, u)) != null &&
(tab = s.table) != null) {
for (HashEntry<K,V> e = (HashEntry<K,V>) UNSAFE.getObjectVolatile
(tab, ((long)(((tab.length - 1) & h)) << TSHIFT) + TBASE);
e != null; e = e.next) {
K k;
if ((k = e.key) == key || (e.hash == h && key.equals(k)))
return e.value;
}
}
return null;
}
get方法無需加鎖,由于其中涉及到的共享變量都使用volatile修飾仆邓,volatile可以保證內(nèi)存可見性鲜滩,所以不會讀取到過期數(shù)據(jù)。
來看下concurrentHashMap代理到Segment上的put方法节值,Segment中的put方法是要加鎖的徙硅。只不過是鎖粒度細(xì)了而已。
final V put(K key, int hash, V value, boolean onlyIfAbsent) {
HashEntry<K,V> node = tryLock() ? null :
scanAndLockForPut(key, hash, value);//tryLock不成功時會遍歷定位到的HashEnry位置的鏈表(遍歷主要是為了使CPU緩存鏈表)察署,若找不到闷游,則創(chuàng)建HashEntry。tryLock一定次數(shù)后(MAX_SCAN_RETRIES變量決定)贴汪,則lock脐往。若遍歷過程中,由于其他線程的操作導(dǎo)致鏈表頭結(jié)點(diǎn)變化扳埂,則需要重新遍歷业簿。
V oldValue;
try {
HashEntry<K,V>[] tab = table;
int index = (tab.length - 1) & hash;//定位HashEntry,可以看到阳懂,這個hash值在定位Segment時和在Segment中定位HashEntry都會用到梅尤,只不過定位Segment時只用到高幾位柜思。
HashEntry<K,V> first = entryAt(tab, index);
for (HashEntry<K,V> e = first;;) {
if (e != null) {
K k;
if ((k = e.key) == key ||
(e.hash == hash && key.equals(k))) {
oldValue = e.value;
if (!onlyIfAbsent) {
e.value = value;
++modCount;
}
break;
}
e = e.next;
}
else {
if (node != null)
node.setNext(first);
else
node = new HashEntry<K,V>(hash, key, value, first);
int c = count + 1;
//若c超出閾值threshold,需要擴(kuò)容并rehash巷燥。擴(kuò)容后的容量是當(dāng)前容量的2倍赡盘。這樣可以最大程度避免之前散列好的entry重新散列,具體在另一篇文章中有詳細(xì)分析缰揪,不贅述陨享。擴(kuò)容并rehash的這個過程是比較消耗資源的。
if (c > threshold && tab.length < MAXIMUM_CAPACITY)
rehash(node);
else
setEntryAt(tab, index, node);
++modCount;
count = c;
oldValue = null;
break;
}
}
} finally {
unlock();
}
return oldValue;
}
size操作
計(jì)算ConcurrentHashMap的元素大小是一個有趣的問題钝腺,因?yàn)樗遣l(fā)操作的抛姑,就是在你計(jì)算size的時候,他還在并發(fā)的插入數(shù)據(jù)艳狐,可能會導(dǎo)致你計(jì)算出來的size和你實(shí)際的size有相差(在你return size的時候定硝,插入了多個數(shù)據(jù)),要解決這個問題毫目,JDK1.7版本用兩種方案蔬啡。
try {
for (;;) {
if (retries++ == RETRIES_BEFORE_LOCK) {
for (int j = 0; j < segments.length; ++j) ensureSegment(j).lock(); // force creation
}
sum = 0L;
size = 0;
overflow = false;
for (int j = 0; j < segments.length; ++j) {
Segment<K,V> seg = segmentAt(segments, j);
if (seg != null) { sum += seg.modCount; int c = seg.count; if (c < 0 || (size += c) < 0)
overflow = true;
} }
if (sum == last) break;
last = sum; } }
finally {
if (retries > RETRIES_BEFORE_LOCK) {
for (int j = 0; j < segments.length; ++j)
segmentAt(segments, j).unlock();
}
}
第一種方案他會使用不加鎖的模式去嘗試多次計(jì)算ConcurrentHashMap的size,最多三次镀虐,比較前后兩次計(jì)算的結(jié)果星爪,結(jié)果一致就認(rèn)為當(dāng)前沒有元素加入,計(jì)算的結(jié)果是準(zhǔn)確的粉私;
第二種方案是如果第一種方案不符合顽腾,他就會給每個Segment加上鎖,然后計(jì)算ConcurrentHashMap的size返回诺核。
二抄肖、ConcurrentHashMap JDK1.8的實(shí)現(xiàn)
JDK1.8的實(shí)現(xiàn)已經(jīng)摒棄了Segment的概念,而是直接用Node數(shù)組+鏈表+紅黑樹的數(shù)據(jù)結(jié)構(gòu)來實(shí)現(xiàn)窖杀,并發(fā)控制使用Synchronized和CAS來操作漓摩,整個看起來就像是優(yōu)化過且線程安全的HashMap,雖然在JDK1.8中還能看到Segment的數(shù)據(jù)結(jié)構(gòu)入客,但是已經(jīng)簡化了屬性管毙,只是為了兼容舊版本。
在深入JDK1.8的put和get實(shí)現(xiàn)之前要知道一些常量設(shè)計(jì)和數(shù)據(jù)結(jié)構(gòu)桌硫,這些是構(gòu)成ConcurrentHashMap實(shí)現(xiàn)結(jié)構(gòu)的基礎(chǔ)夭咬,下面看一下基本屬性:
// node數(shù)組最大容量:2^30=1073741824
private static final int MAXIMUM_CAPACITY = 1 << 30;
// 默認(rèn)初始值,必須是2的幕數(shù)
private static final int DEFAULT_CAPACITY = 16;
//數(shù)組可能最大值铆隘,需要與toArray()相關(guān)方法關(guān)聯(lián)
static final int MAX_ARRAY_SIZE = Integer.MAX_VALUE - 8;
//并發(fā)級別卓舵,遺留下來的,為兼容以前的版本
private static final int DEFAULT_CONCURRENCY_LEVEL = 16;
// 負(fù)載因子
private static final float LOAD_FACTOR = 0.75f;
// 鏈表轉(zhuǎn)紅黑樹閥值,> 8 鏈表轉(zhuǎn)換為紅黑樹
static final int TREEIFY_THRESHOLD = 8;
//樹轉(zhuǎn)鏈表閥值膀钠,小于等于6(tranfer時掏湾,lc裹虫、hc=0兩個計(jì)數(shù)器分別++記錄原bin、新binTreeNode數(shù)量融击,<=UNTREEIFY_THRESHOLD 則untreeify(lo))
static final int UNTREEIFY_THRESHOLD = 6;
static final int MIN_TREEIFY_CAPACITY = 64;
private static final int MIN_TRANSFER_STRIDE = 16;
private static int RESIZE_STAMP_BITS = 16;
// 2^15-1筑公,help resize的最大線程數(shù)
private static final int MAX_RESIZERS = (1 << (32 - RESIZE_STAMP_BITS)) - 1;
// 32-16=16,sizeCtl中記錄size大小的偏移量
private static final int RESIZE_STAMP_SHIFT = 32 - RESIZE_STAMP_BITS;
// forwarding nodes的hash值
static final int MOVED = -1;
// 樹根節(jié)點(diǎn)的hash值
static final int TREEBIN = -2;
// ReservationNode的hash值
static final int RESERVED = -3;
// 可用處理器數(shù)量
static final int NCPU = Runtime.getRuntime().availableProcessors();
//存放node的數(shù)組
transient volatile Node<K,V>[] table;
/*控制標(biāo)識符尊浪,用來控制table的初始化和擴(kuò)容的操作十酣,不同的值有不同的含義
*當(dāng)為負(fù)數(shù)時:-1代表正在初始化,-N代表有N-1個線程正在 進(jìn)行擴(kuò)容
*當(dāng)為0時:代表當(dāng)時的table還沒有被初始化
*當(dāng)為正數(shù)時:表示初始化或者下一次進(jìn)行擴(kuò)容的大小
*/
private transient volatile int sizeCtl;
基本屬性定義了ConcurrentHashMap的一些邊界以及操作時的一些控制际长,下面看一些內(nèi)部的一些結(jié)構(gòu)組成,這些是整個ConcurrentHashMap整個數(shù)據(jù)結(jié)構(gòu)的核心兴泥。
Node
Node是ConcurrentHashMap存儲結(jié)構(gòu)的基本單元工育,繼承于HashMap中的Entry,用于存儲數(shù)據(jù)搓彻,源代碼如下
static class Node<K,V> implements Map.Entry<K,V> {
//鏈表的數(shù)據(jù)結(jié)構(gòu)
final int hash;
final K key;
//val和next都會在擴(kuò)容時發(fā)生變化如绸,所以加上volatile來保持可見性和禁止重排序
volatile V val;
volatile Node<K,V> next;
Node(int hash, K key, V val, Node<K,V> next) {
this.hash = hash;
this.key = key;
this.val = val;
this.next = next;
}
public final K getKey() { return key; }
public final V getValue() { return val; }
public final int hashCode() { return key.hashCode() ^ val.hashCode(); }
public final String toString(){ return key + "=" + val; }
//不允許更新value
public final V setValue(V value) {
throw new UnsupportedOperationException();
}
public final boolean equals(Object o) {
Object k, v, u; Map.Entry<?,?> e;
return ((o instanceof Map.Entry) &&
(k = (e = (Map.Entry<?,?>)o).getKey()) != null &&
(v = e.getValue()) != null &&
(k == key || k.equals(key)) &&
(v == (u = val) || v.equals(u)));
}
//用于map中的get()方法,子類重寫
Node<K,V> find(int h, Object k) {
Node<K,V> e = this;
if (k != null) {
do {
K ek;
if (e.hash == h &&
((ek = e.key) == k || (ek != null && k.equals(ek))))
return e;
} while ((e = e.next) != null);
}
return null;
}
}
Node數(shù)據(jù)結(jié)構(gòu)很簡單旭贬,從上可知怔接,就是一個鏈表,但是只允許對數(shù)據(jù)進(jìn)行查找稀轨,不允許進(jìn)行修改扼脐。
TreeNode
TreeNode繼承與Node,但是數(shù)據(jù)結(jié)構(gòu)換成了二叉樹結(jié)構(gòu)奋刽,它是紅黑樹的數(shù)據(jù)的存儲結(jié)構(gòu)瓦侮,用于紅黑樹中存儲數(shù)據(jù),當(dāng)鏈表的節(jié)點(diǎn)數(shù)大于8時會轉(zhuǎn)換成紅黑樹的結(jié)構(gòu)佣谐,他就是通過TreeNode作為存儲結(jié)構(gòu)代替Node來轉(zhuǎn)換成黑紅樹源代碼如下肚吏。
static final class TreeNode<K,V> extends Node<K,V> {
//樹形結(jié)構(gòu)的屬性定義
TreeNode<K,V> parent; // red-black tree links
TreeNode<K,V> left;
TreeNode<K,V> right;
TreeNode<K,V> prev; // needed to unlink next upon deletion
boolean red; //標(biāo)志紅黑樹的紅節(jié)點(diǎn)
TreeNode(int hash, K key, V val, Node<K,V> next,
TreeNode<K,V> parent) {
super(hash, key, val, next);
this.parent = parent;
}
Node<K,V> find(int h, Object k) {
return findTreeNode(h, k, null);
}
//根據(jù)key查找 從根節(jié)點(diǎn)開始找出相應(yīng)的TreeNode,
final TreeNode<K,V> findTreeNode(int h, Object k, Class<?> kc) {
if (k != null) {
TreeNode<K,V> p = this;
do {
int ph, dir; K pk; TreeNode<K,V> q;
TreeNode<K,V> pl = p.left, pr = p.right;
if ((ph = p.hash) > h)
p = pl;
else if (ph < h)
p = pr;
else if ((pk = p.key) == k || (pk != null && k.equals(pk)))
return p;
else if (pl == null)
p = pr;
else if (pr == null)
p = pl;
else if ((kc != null ||
(kc = comparableClassFor(k)) != null) &&
(dir = compareComparables(kc, k, pk)) != 0)
p = (dir < 0) ? pl : pr;
else if ((q = pr.findTreeNode(h, k, kc)) != null)
return q;
else
p = pl;
} while (p != null);
}
return null;
}
}
TreeBin
TreeBin從字面含義中可以理解為存儲樹形結(jié)構(gòu)的容器狭魂,而樹形結(jié)構(gòu)就是指TreeNode罚攀,所以TreeBin就是封裝TreeNode的容器,它提供轉(zhuǎn)換黑紅樹的一些條件和鎖的控制雌澄,部分源碼結(jié)構(gòu)如下斋泄。
static final class TreeBin<K,V> extends Node<K,V> {
//指向TreeNode列表和根節(jié)點(diǎn)
TreeNode<K,V> root;
volatile TreeNode<K,V> first;
volatile Thread waiter;
volatile int lockState;
// 讀寫鎖狀態(tài)
static final int WRITER = 1; // 獲取寫鎖的狀態(tài)
static final int WAITER = 2; // 等待寫鎖的狀態(tài)
static final int READER = 4; // 增加數(shù)據(jù)時讀鎖的狀態(tài)
/**
* 初始化紅黑樹
*/
TreeBin(TreeNode<K,V> b) {
super(TREEBIN, null, null, null);
this.first = b;
TreeNode<K,V> r = null;
for (TreeNode<K,V> x = b, next; x != null; x = next) {
next = (TreeNode<K,V>)x.next;
x.left = x.right = null;
if (r == null) {
x.parent = null;
x.red = false;
r = x;
}
else {
K k = x.key;
int h = x.hash;
Class<?> kc = null;
for (TreeNode<K,V> p = r;;) {
int dir, ph;
K pk = p.key;
if ((ph = p.hash) > h)
dir = -1;
else if (ph < h)
dir = 1;
else if ((kc == null &&
(kc = comparableClassFor(k)) == null) ||
(dir = compareComparables(kc, k, pk)) == 0)
dir = tieBreakOrder(k, pk);
TreeNode<K,V> xp = p;
if ((p = (dir <= 0) ? p.left : p.right) == null) {
x.parent = xp;
if (dir <= 0)
xp.left = x;
else
xp.right = x;
r = balanceInsertion(r, x);
break;
}
}
}
}
this.root = r;
assert checkInvariants(root);
}
......
}
我們先通過new ConcurrentHashMap()來進(jìn)行初始化
public ConcurrentHashMap() {
}
由上你會發(fā)現(xiàn)ConcurrentHashMap的初始化其實(shí)是一個空實(shí)現(xiàn),并沒有做任何事镐牺,這里后面會講到是己,這也是和其他的集合類有區(qū)別的地方,初始化操作并不是在構(gòu)造函數(shù)實(shí)現(xiàn)的任柜,而是在put操作中實(shí)現(xiàn)卒废,當(dāng)然ConcurrentHashMap還提供了其他的構(gòu)造函數(shù)沛厨,有指定容量大小或者指定負(fù)載因子,跟HashMap一樣摔认,這里就不做介紹了逆皮。
put操作
public V put(K key, V value) {
return putVal(key, value, false);
}
/** Implementation for put and putIfAbsent */
final V putVal(K key, V value, boolean onlyIfAbsent) {
if (key == null || value == null) throw new NullPointerException();
int hash = spread(key.hashCode()); //兩次hash,減少hash沖突参袱,可以均勻分布
int binCount = 0;
for (Node<K,V>[] tab = table;;) { //對這個table進(jìn)行迭代
Node<K,V> f; int n, i, fh;
//這里就是上面構(gòu)造方法沒有進(jìn)行初始化电谣,在這里進(jìn)行判斷,為null就調(diào)用initTable進(jìn)行初始化抹蚀,屬于懶漢模式初始化
if (tab == null || (n = tab.length) == 0)
tab = initTable();
else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {//如果i位置沒有數(shù)據(jù)剿牺,就直接無鎖插入
if (casTabAt(tab, i, null,
new Node<K,V>(hash, key, value, null)))
break; // no lock when adding to empty bin
}
else if ((fh = f.hash) == MOVED)//如果在進(jìn)行擴(kuò)容,則先進(jìn)行擴(kuò)容操作
tab = helpTransfer(tab, f);
else {
V oldVal = null;
//如果以上條件都不滿足环壤,那就要進(jìn)行加鎖操作晒来,也就是存在hash沖突,鎖住鏈表或者紅黑樹的頭結(jié)點(diǎn)
synchronized (f) {
if (tabAt(tab, i) == f) {
if (fh >= 0) { //表示該節(jié)點(diǎn)是鏈表結(jié)構(gòu)
binCount = 1;
for (Node<K,V> e = f;; ++binCount) {
K ek;
//這里涉及到相同的key進(jìn)行put就會覆蓋原先的value
if (e.hash == hash &&
((ek = e.key) == key ||
(ek != null && key.equals(ek)))) {
oldVal = e.val;
if (!onlyIfAbsent)
e.val = value;
break;
}
Node<K,V> pred = e;
if ((e = e.next) == null) { //插入鏈表尾部
pred.next = new Node<K,V>(hash, key,
value, null);
break;
}
}
}
else if (f instanceof TreeBin) {//紅黑樹結(jié)構(gòu)
Node<K,V> p;
binCount = 2;
//紅黑樹結(jié)構(gòu)旋轉(zhuǎn)插入
if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key,
value)) != null) {
oldVal = p.val;
if (!onlyIfAbsent)
p.val = value;
}
}
}
}
if (binCount != 0) { //如果鏈表的長度大于8時就會進(jìn)行紅黑樹的轉(zhuǎn)換
if (binCount >= TREEIFY_THRESHOLD)
treeifyBin(tab, i);
if (oldVal != null)
return oldVal;
break;
}
}
}
addCount(1L, binCount);//統(tǒng)計(jì)size郑现,并且檢查是否需要擴(kuò)容
return null;
}
這個put的過程很清晰湃崩,對當(dāng)前的table進(jìn)行無條件自循環(huán)直到put成功,可以分成以下六步流程來概述接箫。
a攒读、如果沒有初始化就先調(diào)用initTable()方法來進(jìn)行初始化過程
b、如果沒有hash沖突就直接CAS插入
c辛友、如果還在進(jìn)行擴(kuò)容操作就先進(jìn)行擴(kuò)容
d薄扁、如果存在hash沖突,就加鎖來保證線程安全废累,這里有兩種情況泌辫,一種是鏈表形式就直接遍歷到尾端插入,一種是紅黑樹就按照紅黑樹結(jié)構(gòu)插入九默,
e震放、最后一個如果該鏈表的數(shù)量大于閾值8,就要先轉(zhuǎn)換成黑紅樹的結(jié)構(gòu)驼修,break再一次進(jìn)入循環(huán)
f殿遂、如果添加成功就調(diào)用addCount()方法統(tǒng)計(jì)size,并且檢查是否需要擴(kuò)容
現(xiàn)在我們來對每一步的細(xì)節(jié)進(jìn)行源碼分析乙各,在第一步中墨礁,符合條件會進(jìn)行初始化操作,我們來看看initTable()方法
private final Node<K,V>[] initTable() {
Node<K,V>[] tab; int sc;
while ((tab = table) == null || tab.length == 0) {//空的table才能進(jìn)入初始化操作
if ((sc = sizeCtl) < 0) //sizeCtl<0表示其他線程已經(jīng)在初始化了或者擴(kuò)容了耳峦,掛起當(dāng)前線程
Thread.yield(); // lost initialization race; just spin
else if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {//CAS操作SIZECTL為-1恩静,表示初始化狀態(tài)
try {
if ((tab = table) == null || tab.length == 0) {
int n = (sc > 0) ? sc : DEFAULT_CAPACITY;
@SuppressWarnings("unchecked")
Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];//初始化
table = tab = nt;
sc = n - (n >>> 2);//記錄下次擴(kuò)容的大小
}
} finally {
sizeCtl = sc;
}
break;
}
}
return tab;
}
在第二步中沒有hash沖突就直接調(diào)用Unsafe的方法CAS插入該元素,進(jìn)入第三步如果容器正在擴(kuò)容,則會調(diào)用helpTransfer()方法幫助擴(kuò)容驶乾,現(xiàn)在我們跟進(jìn)helpTransfer()方法看看
/**
*幫助從舊的table的元素復(fù)制到新的table中
*/
final Node<K,V>[] helpTransfer(Node<K,V>[] tab, Node<K,V> f) {
Node<K,V>[] nextTab; int sc;
if (tab != null && (f instanceof ForwardingNode) &&
(nextTab = ((ForwardingNode<K,V>)f).nextTable) != null) { //新的table nextTba已經(jīng)存在前提下才能幫助擴(kuò)容
int rs = resizeStamp(tab.length);
while (nextTab == nextTable && table == tab &&
(sc = sizeCtl) < 0) {
if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
sc == rs + MAX_RESIZERS || transferIndex <= 0)
break;
if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1)) {
transfer(tab, nextTab);//調(diào)用擴(kuò)容方法
break;
}
}
return nextTab;
}
return table;
}
其實(shí)helpTransfer()方法的目的就是調(diào)用多個工作線程一起幫助進(jìn)行擴(kuò)容邑飒,這樣的效率就會更高,而不是只有檢查到要擴(kuò)容的那個線程進(jìn)行擴(kuò)容操作级乐,其他線程就要等待擴(kuò)容操作完成才能工作
既然這里涉及到擴(kuò)容的操作疙咸,我們也一起來看看擴(kuò)容方法transfer()
private final void transfer(Node<K,V>[] tab, Node<K,V>[] nextTab) {
int n = tab.length, stride;
// 每核處理的量小于16,則強(qiáng)制賦值16
if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE)
stride = MIN_TRANSFER_STRIDE; // subdivide range
if (nextTab == null) { // initiating
try {
@SuppressWarnings("unchecked")
Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n << 1]; //構(gòu)建一個nextTable對象风科,其容量為原來容量的兩倍
nextTab = nt;
} catch (Throwable ex) { // try to cope with OOME
sizeCtl = Integer.MAX_VALUE;
return;
}
nextTable = nextTab;
transferIndex = n;
}
int nextn = nextTab.length;
// 連接點(diǎn)指針撒轮,用于標(biāo)志位(fwd的hash值為-1,fwd.nextTable=nextTab)
ForwardingNode<K,V> fwd = new ForwardingNode<K,V>(nextTab);
// 當(dāng)advance == true時贼穆,表明該節(jié)點(diǎn)已經(jīng)處理過了
boolean advance = true;
boolean finishing = false; // to ensure sweep before committing nextTab
for (int i = 0, bound = 0;;) {
Node<K,V> f; int fh;
// 控制 --i ,遍歷原h(huán)ash表中的節(jié)點(diǎn)
while (advance) {
int nextIndex, nextBound;
if (--i >= bound || finishing)
advance = false;
else if ((nextIndex = transferIndex) <= 0) {
i = -1;
advance = false;
}
// 用CAS計(jì)算得到的transferIndex
else if (U.compareAndSwapInt
(this, TRANSFERINDEX, nextIndex,
nextBound = (nextIndex > stride ?
nextIndex - stride : 0))) {
bound = nextBound;
i = nextIndex - 1;
advance = false;
}
}
if (i < 0 || i >= n || i + n >= nextn) {
int sc;
// 已經(jīng)完成所有節(jié)點(diǎn)復(fù)制了
if (finishing) {
nextTable = null;
table = nextTab; // table 指向nextTable
sizeCtl = (n << 1) - (n >>> 1); // sizeCtl閾值為原來的1.5倍
return; // 跳出死循環(huán)题山,
}
// CAS 更擴(kuò)容閾值,在這里面sizectl值減一故痊,說明新加入一個線程參與到擴(kuò)容操作
if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) {
if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT)
return;
finishing = advance = true;
i = n; // recheck before commit
}
}
// 遍歷的節(jié)點(diǎn)為null顶瞳,則放入到ForwardingNode 指針節(jié)點(diǎn)
else if ((f = tabAt(tab, i)) == null)
advance = casTabAt(tab, i, null, fwd);
// f.hash == -1 表示遍歷到了ForwardingNode節(jié)點(diǎn),意味著該節(jié)點(diǎn)已經(jīng)處理過了
// 這里是控制并發(fā)擴(kuò)容的核心
else if ((fh = f.hash) == MOVED)
advance = true; // already processed
else {
// 節(jié)點(diǎn)加鎖
synchronized (f) {
// 節(jié)點(diǎn)復(fù)制工作
if (tabAt(tab, i) == f) {
Node<K,V> ln, hn;
// fh >= 0 ,表示為鏈表節(jié)點(diǎn)
if (fh >= 0) {
// 構(gòu)造兩個鏈表 一個是原鏈表 另一個是原鏈表的反序排列
int runBit = fh & n;
Node<K,V> lastRun = f;
for (Node<K,V> p = f.next; p != null; p = p.next) {
int b = p.hash & n;
if (b != runBit) {
runBit = b;
lastRun = p;
}
}
if (runBit == 0) {
ln = lastRun;
hn = null;
}
else {
hn = lastRun;
ln = null;
}
for (Node<K,V> p = f; p != lastRun; p = p.next) {
int ph = p.hash; K pk = p.key; V pv = p.val;
if ((ph & n) == 0)
ln = new Node<K,V>(ph, pk, pv, ln);
else
hn = new Node<K,V>(ph, pk, pv, hn);
}
// 在nextTable i 位置處插上鏈表
setTabAt(nextTab, i, ln);
// 在nextTable i + n 位置處插上鏈表
setTabAt(nextTab, i + n, hn);
// 在table i 位置處插上ForwardingNode 表示該節(jié)點(diǎn)已經(jīng)處理過了
setTabAt(tab, i, fwd);
// advance = true 可以執(zhí)行--i動作崖蜜,遍歷節(jié)點(diǎn)
advance = true;
}
// 如果是TreeBin,則按照紅黑樹進(jìn)行處理客峭,處理邏輯與上面一致
else if (f instanceof TreeBin) {
TreeBin<K,V> t = (TreeBin<K,V>)f;
TreeNode<K,V> lo = null, loTail = null;
TreeNode<K,V> hi = null, hiTail = null;
int lc = 0, hc = 0;
for (Node<K,V> e = t.first; e != null; e = e.next) {
int h = e.hash;
TreeNode<K,V> p = new TreeNode<K,V>
(h, e.key, e.val, null, null);
if ((h & n) == 0) {
if ((p.prev = loTail) == null)
lo = p;
else
loTail.next = p;
loTail = p;
++lc;
}
else {
if ((p.prev = hiTail) == null)
hi = p;
else
hiTail.next = p;
hiTail = p;
++hc;
}
}
// 擴(kuò)容后樹節(jié)點(diǎn)個數(shù)若<=6豫领,將樹轉(zhuǎn)鏈表
ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) :
(hc != 0) ? new TreeBin<K,V>(lo) : t;
hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) :
(lc != 0) ? new TreeBin<K,V>(hi) : t;
setTabAt(nextTab, i, ln);
setTabAt(nextTab, i + n, hn);
setTabAt(tab, i, fwd);
advance = true;
}
}
}
}
}
}
擴(kuò)容過程有點(diǎn)復(fù)雜,這里主要涉及到多線程并發(fā)擴(kuò)容,ForwardingNode的作用就是支持?jǐn)U容操作舔琅,將已處理的節(jié)點(diǎn)和空節(jié)點(diǎn)置為ForwardingNode等恐,并發(fā)處理時多個線程經(jīng)過ForwardingNode就表示已經(jīng)遍歷了,就往后遍歷备蚓,下圖是多線程合作擴(kuò)容的過程
介紹完擴(kuò)容過程课蔬,我們再次回到put流程,在第四步中是向鏈表或者紅黑樹里加節(jié)點(diǎn)郊尝,到第五步二跋,會調(diào)用treeifyBin()方法進(jìn)行鏈表轉(zhuǎn)紅黑樹的過程。
private final void treeifyBin(Node<K,V>[] tab, int index) {
Node<K,V> b; int n, sc;
if (tab != null) {
//如果整個table的數(shù)量小于64流昏,就擴(kuò)容至原來的一倍扎即,不轉(zhuǎn)紅黑樹了
//因?yàn)檫@個閾值擴(kuò)容可以減少hash沖突,不必要去轉(zhuǎn)紅黑樹
if ((n = tab.length) < MIN_TREEIFY_CAPACITY)
tryPresize(n << 1);
else if ((b = tabAt(tab, index)) != null && b.hash >= 0) {
synchronized (b) {
if (tabAt(tab, index) == b) {
TreeNode<K,V> hd = null, tl = null;
for (Node<K,V> e = b; e != null; e = e.next) {
//封裝成TreeNode
TreeNode<K,V> p =
new TreeNode<K,V>(e.hash, e.key, e.val,
null, null);
if ((p.prev = tl) == null)
hd = p;
else
tl.next = p;
tl = p;
}
//通過TreeBin對象對TreeNode轉(zhuǎn)換成紅黑樹
setTabAt(tab, index, new TreeBin<K,V>(hd));
}
}
}
}
}
到第六步表示已經(jīng)數(shù)據(jù)加入成功了,現(xiàn)在調(diào)用addCount()方法計(jì)算ConcurrentHashMap的size,在原來的基礎(chǔ)上加一儒鹿,現(xiàn)在來看看addCount()方法逻翁。
private final void addCount(long x, int check) {
CounterCell[] as; long b, s;
//更新baseCount,table的數(shù)量氛赐,counterCells表示元素個數(shù)的變化
if ((as = counterCells) != null ||
!U.compareAndSwapLong(this, BASECOUNT, b = baseCount, s = b + x)) {
CounterCell a; long v; int m;
boolean uncontended = true;
//如果多個線程都在執(zhí)行,則CAS失敗擅耽,執(zhí)行fullAddCount傻盟,全部加入count
if (as == null || (m = as.length - 1) < 0 ||
(a = as[ThreadLocalRandom.getProbe() & m]) == null ||
!(uncontended =
U.compareAndSwapLong(a, CELLVALUE, v = a.value, v + x))) {
fullAddCount(x, uncontended);
return;
}
if (check <= 1)
return;
s = sumCount();
}
//check>=0表示需要進(jìn)行擴(kuò)容操作
if (check >= 0) {
Node<K,V>[] tab, nt; int n, sc;
while (s >= (long)(sc = sizeCtl) && (tab = table) != null &&
(n = tab.length) < MAXIMUM_CAPACITY) {
int rs = resizeStamp(n);
if (sc < 0) {
if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
sc == rs + MAX_RESIZERS || (nt = nextTable) == null ||
transferIndex <= 0)
break;
if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1))
transfer(tab, nt);
}
//當(dāng)前線程發(fā)起庫哦哦讓操作速蕊,nextTable=null
else if (U.compareAndSwapInt(this, SIZECTL, sc,
(rs << RESIZE_STAMP_SHIFT) + 2))
transfer(tab, null);
s = sumCount();
}
}
}
put的流程現(xiàn)在已經(jīng)分析完了,你可以從中發(fā)現(xiàn)莫杈,他在并發(fā)處理中使用的是樂觀鎖互例,當(dāng)有沖突的時候才進(jìn)行并發(fā)處理,而且流程步驟很清晰筝闹,但是細(xì)節(jié)設(shè)計(jì)的很復(fù)雜媳叨,畢竟多線程的場景也復(fù)雜。
get操作
我們現(xiàn)在要回到開始的例子中关顷,我們對個人信息進(jìn)行了新增之后糊秆,我們要獲取所新增的信息,使用String name = map.get(“name”)獲取新增的name信息议双,現(xiàn)在我們依舊用debug的方式來分析下ConcurrentHashMap的獲取方法get()
public V get(Object key) {
Node<K,V>[] tab; Node<K,V> e, p; int n, eh; K ek;
int h = spread(key.hashCode()); //計(jì)算兩次hash
if ((tab = table) != null && (n = tab.length) > 0 &&
(e = tabAt(tab, (n - 1) & h)) != null) {//讀取首節(jié)點(diǎn)的Node元素
if ((eh = e.hash) == h) { //如果該節(jié)點(diǎn)就是首節(jié)點(diǎn)就返回
if ((ek = e.key) == key || (ek != null && key.equals(ek)))
return e.val;
}
//hash值為負(fù)值表示正在擴(kuò)容痘番,這個時候查的是ForwardingNode的find方法來定位到nextTable來
//查找,查找到就返回
else if (eh < 0)
return (p = e.find(h, key)) != null ? p.val : null;
while ((e = e.next) != null) {//既不是首節(jié)點(diǎn)也不是ForwardingNode平痰,那就往下遍歷
if (e.hash == h &&
((ek = e.key) == key || (ek != null && key.equals(ek))))
return e.val;
}
}
return null;
}
ConcurrentHashMap的get操作的流程很簡單汞舱,也很清晰,可以分為三個步驟來描述
a宗雇、計(jì)算hash值昂芜,定位到該table索引位置,如果是首節(jié)點(diǎn)符合就返回
b赔蒲、如果遇到擴(kuò)容的時候泌神,會調(diào)用標(biāo)志正在擴(kuò)容節(jié)點(diǎn)ForwardingNode的find方法,查找該節(jié)點(diǎn)舞虱,匹配就返回
c欢际、以上都不符合的話,就往下遍歷節(jié)點(diǎn)矾兜,匹配就返回损趋,否則最后就返回null
size操作
最后我們來看下例子中最后獲取size的方式int size = map.size();,現(xiàn)在讓我們看下size()方法
public int size() {
long n = sumCount();
return ((n < 0L) ? 0 :
(n > (long)Integer.MAX_VALUE) ? Integer.MAX_VALUE :
(int)n);
}
final long sumCount() {
CounterCell[] as = counterCells; CounterCell a; //變化的數(shù)量
long sum = baseCount;
if (as != null) {
for (int i = 0; i < as.length; ++i) {
if ((a = as[i]) != null)
sum += a.value;
}
}
return sum;
}
在JDK1.8版本中椅寺,對于size的計(jì)算舶沿,在擴(kuò)容和addCount()方法就已經(jīng)有處理了,JDK1.7是在調(diào)用size()方法才去計(jì)算配并,其實(shí)在并發(fā)集合中去計(jì)算size是沒有多大的意義的括荡,因?yàn)閟ize是實(shí)時在變的,只能計(jì)算某一刻的大小溉旋,但是某一刻太快了畸冲,人的感知是一個時間段,所以并不是很精確。
三邑闲、總結(jié)與思考
其實(shí)可以看出JDK1.8版本的ConcurrentHashMap的數(shù)據(jù)結(jié)構(gòu)已經(jīng)接近HashMap算行,相對而言,ConcurrentHashMap只是增加了同步的操作來控制并發(fā)苫耸,從JDK1.7版本的ReentrantLock+Segment+HashEntry州邢,到JDK1.8版本中synchronized+CAS+HashEntry+紅黑樹,相對而言,總結(jié)如下思考:
1褪子、JDK1.8的實(shí)現(xiàn)降低鎖的粒度量淌,JDK1.7版本鎖的粒度是基于Segment的,包含多個HashEntry嫌褪,而JDK1.8鎖的粒度就是HashEntry(首節(jié)點(diǎn))
2呀枢、JDK1.8版本的數(shù)據(jù)結(jié)構(gòu)變得更加簡單,使得操作也更加清晰流暢笼痛,因?yàn)橐呀?jīng)使用synchronized來進(jìn)行同步裙秋,所以不需要分段鎖的概念,也就不需要Segment這種數(shù)據(jù)結(jié)構(gòu)了缨伊,由于粒度的降低摘刑,實(shí)現(xiàn)的復(fù)雜度也增加了
3、JDK1.8使用紅黑樹來優(yōu)化鏈表刻坊,基于長度很長的鏈表的遍歷是一個很漫長的過程枷恕,而紅黑樹的遍歷效率是很快的,代替一定閾值的鏈表紧唱,這樣形成一個最佳拍檔
4活尊、JDK1.8為什么使用內(nèi)置鎖synchronized來代替重入鎖ReentrantLock隶校,我覺得有以下幾點(diǎn):
- 因?yàn)榱6冉档土寺┮妫谙鄬Χ缘牡土6燃渔i方式,synchronized并不比ReentrantLock差深胳,在粗粒度加鎖中ReentrantLock可能通過Condition來控制各個低粒度的邊界绰疤,更加的靈活,而在低粒度中舞终,Condition的優(yōu)勢就沒有了
- JVM的開發(fā)團(tuán)隊(duì)從來都沒有放棄synchronized轻庆,而且基于JVM的synchronized優(yōu)化空間更大,使用內(nèi)嵌的關(guān)鍵字比使用API更加自然
- 在大量的數(shù)據(jù)操作下敛劝,對于JVM的內(nèi)存壓力余爆,基于API的ReentrantLock會開銷更多的內(nèi)存,雖然不是瓶頸夸盟,但是也是一個選擇依據(jù)