什么是CDN？
CDN全稱Content Delivery Network即內(nèi)容分發(fā)網(wǎng)絡(luò)野瘦。
其簡單說來就是為服務(wù)器建立一個緩存機(jī)制，它分布在各地不同的服務(wù)器中，當(dāng)我們?nèi)ピL問使用了CDN的服務(wù)器域名的時候忘嫉，它會根據(jù)我們的IP地址，選擇離我們最近的CDN服務(wù)器案腺，為我們提供更為快速的訪問體驗庆冕。
同時他也能隱藏服務(wù)器的真實IP，提升攻擊門檻劈榨。
如何判斷CDN访递？
網(wǎng)上其實也有很多關(guān)于如何判斷對方網(wǎng)站是否使用了CDN的方法，比如nslookup,或者dig,或者ping,再或者收集一份CDN字典（注：很多CDN再HTTP的返回頭中都有標(biāo)識同辣，只要你夠肝拷姿，你就可以收集整理很大一部分的CDN標(biāo)識字典）。
當(dāng)然我覺得判斷CDN最有效的方式其實還是使用全球PING旱函，根據(jù)響應(yīng)IP來進(jìn)行判斷响巢。但是我沒有這么多服務(wù)器，同時也不想去抓網(wǎng)站API接口來進(jìn)行判斷 ：）
那么我是如何對CDN進(jìn)行粗暴的判斷的呢棒妨？
一個例子
我們會經(jīng)常使用socket.getaddrinfo[host,port]這種方式去獲取網(wǎng)站的IP
import socket
addr = socket.getaddrinfo('www.baidu.com','http')[0][4][0]
print(addr)
另一個例子
那么問題來了踪古，如果我不指定port，我將其設(shè)置為None券腔，這個時候伏穆，神奇的就來了，如果目標(biāo)站點使用了CDN的話纷纫，那么getaddrinfo就會返回多個IP枕扫。
import socket
ip_list = []
addrs = socket.getaddrinfo('www.baidu.com', None)
for item in addrs:
if item[4][0] not in ip_list:
ip_list.append(item[4][0])
print(ip_list)
最后
所以我的“粗暴”判斷方式就是利用返回的IP數(shù)量來進(jìn)行判斷。（注：誤報肯定是有的）
import socket
from threading import Thread, Semaphore
sm = Semaphore(20)
timeout = 5.0
# 超時判斷
socket.setdefaulttimeout(timeout)
class ThreadWithReturnValue(Thread):
def __init__(self, group=None, target=None, name=None, args=(), kwargs=None, *, daemon=None):
Thread.__init__(self, group, target, name, args, kwargs, daemon=daemon)
self._return = None
def run(self):
if self._target is not None:
self._return = self._target(*self._args,**self._kwargs)
def join(self):
Thread.join(self)
return self._return
def get_ip_list(domain): # 獲取域名解析出的IP列表
dict = {}
with sm:
try:
addrs = socket.getaddrinfo(domain, None)
for item in addrs:
if item[4][0] in dict:
dict.get(domain).append(str(item[4][0]))
else:
dict.setdefault(domain, []).append(str(item[4][0]))
# print('[*] Url: {} IP: {}'.format(domain, dict[domain][0]))
except Exception as e:
print('[-] Error: {} info: {}'.format(domain, e))
pass
except socket.timeout as e:
print('[-] {} time out'.format(domain))
pass
return dict
def open_url_txt(filename):
url_list = []
with open(filename, 'r') as f:
for l in f:
url_list.append(l.strip())
return url_list
def save_info(url, ip, key):
if key == 1:
with open('url_ip.csv', 'a+') as f:
url_info = url + ',' + ip + '\n'
f.write(url_info)
else:
with open('error_info.txt', 'a+') as f:
f.write(url + ' ' + ','.join(ip) + '\n')
if __name__ == '__main__':
url_list = open_url_txt('url_list.txt')
thread_list = []
for url in url_list:
t = ThreadWithReturnValue(target=get_ip_list, args=(url,))
thread_list.append(t)
t.start()
for t in thread_list:
ip = t.join()
if ip:
for key in ip:
if len(ip[key]) > 1:
print('[-] The Url: {} Maybe Exist CDN'.format(key))
save_info(key, ip[key], 0)
else:
print('[*] Url:{} IP:{}'.format(key, ip[key][0]))
save_info(key, ip[key][0], 1)
print('[*] End Scanner')
最后的最后
我為什么要寫這樣一個腳本辱魁？其實不論是護(hù)網(wǎng)還是挖掘SRC铡原，我們都會面臨大量的域名偷厦，其中很大一部分都是部署了CDN的，如果我們盲目的使用端口掃描等工具的時候燕刻，會浪費我們大量的時間只泼。并且我最近在寫一個自己的信息收集框架，所以也算是為自己后面的框架寫測試demo吧卵洗！:)
gayhub傳送點：
https://github.com/HoldOnToYourHeart/qf_scan/blob/master/cdn_judge.py
