一评雌、背景
- 需求：目前遇到的客戶需求為將騰訊云CDB備份文件自動(dòng)上傳到騰訊云COS內(nèi)，再次拋磚引玉，還有很多類似的需求均可以采用此類方法解決，線下IDC數(shù)據(jù)文件備份至云端COS內(nèi)川背，或根據(jù)文件下載地址url將文件上傳至COS內(nèi)。
- 思路：首先獲取到CDB的備份下載url蛤袒，通過(guò)COS的API上傳文件熄云，大佬如有更好的方法歡迎一塊討論。
二妙真、技術(shù)細(xì)節(jié)
COS：COS有API同時(shí)有SDK皱碘，這就很方便我們來(lái)通過(guò)Python對(duì)COS進(jìn)行各類操作，COS SDK for Python
CDB：CDB有API但是CDB的查詢備份下載沒(méi)有對(duì)應(yīng)的SDK隐孽，此時(shí)只能通過(guò)API來(lái)進(jìn)行獲取，騰訊云API的簽名很復(fù)雜健蕊，要進(jìn)行：構(gòu)造參數(shù)字典->對(duì)dict排序->拼接sign->對(duì)sign編碼->拼接完成最終url->完成調(diào)用菱阵，簽名方法，查詢備份API
requirements:
cos-python-sdk-v5==1.5.2
requests==2.19.1
tencentcloud-sdk-python==3.0.15
urllib3==1.23
-
文件目錄結(jié)構(gòu)
image
三缩功、代碼
3.1 配置文件
# auth:kaliarch
# func:將騰訊云cdb備份文件上傳至cos制定的bucket內(nèi)
# python version:python3+
# cos version:v5
# https://console.cloud.tencent.com/cos5/bucket
# 騰訊云公共信息配置段
[common]
# 騰訊云 secretid
secret_id = AKIDMdjegcmoGxxxxxxxxxxxxxxxxxxxx
# 騰訊云 secretkey
secret_key = d5MRL4VoxyvlQvxxxxxxxxxxxxxx
# 騰訊云cos信息配置段
[cosinfo]
# cos所在地域
cos_region = ap-chengdu
# 騰訊云bucket名字(cos v5 bucket名稱組成:bucket+appid)
bucket_name = xuel-test-bucket-125396xxxx
# 騰訊云cdb信息配置段
[cdbinfo]
# cdb實(shí)例id
cdb_instanceid = cdb-rqaxxxxx
# cdb所在地域
cdb_region = ap-shanghai
# cdb 日志備份類型晴及，coldbackup（冷備），binlog（二進(jìn)制日志）和slowlog_day（慢查詢?nèi)罩荆?cdb_bak_type = coldbackup
# 日志文件信息配置段
[loginfo]
#日志文件目錄名稱
logdir_name = rds_to_cos
#日志文件名稱
logfile_name = rdsbak_to_cos.log
3.2 CDB API核心操作代碼
#構(gòu)建字典
keydict = {
'Action': self.cdb_action,
'Timestamp': str(int(time.time())),
'Nonce': str(int(random.random() * 1000)),
'Region': self.cdb_region,
'SecretId': self.secret_id,
# 'SignatureMethod': SignatureMethod,
'cdbInstanceId': self.cdb_instanceid,
'type': self.cdb_bak_type
}
#字典排序
sorted(zip(keydict.keys(), keydict.values()))
#字符串拼接
sign_str_init = ''
for value in sortlist:
sign_str_init += value[0] + '=' + value[1] + '&'
sign_str = 'GET' + self.cdb_api_url + sign_str_init[:-1]
return sign_str, sign_str_init
#獲取簽名串并編碼
secretkey = self.secret_key
signature = bytes(sign_str, encoding='utf-8')
secretkey = bytes(secretkey, encoding='utf-8')
my_sign = hmac.new(secretkey, signature, hashlib.sha1).digest()
my_sign = base64.b64encode(my_sign)
parse.quote(my_sign)
#獲取最終url
result_url = 'https://' + self.cdb_api_url + sign_str + '&Signature=' + result_sign
單獨(dú)運(yùn)行此模塊可以得到以下信息：
image
3.3 COS SDK核心操作代碼
#根據(jù)文件大小自動(dòng)選擇簡(jiǎn)單上傳或分塊上傳嫡锌，分塊上傳具備斷點(diǎn)續(xù)傳功能
with open(filename, 'wb') as localfile:
localfile.write(requests.request('get', url).content)
# 進(jìn)行上傳
response = cos_client.upload_file(
Bucket=self.bucket_name,
LocalFilePath=filename,
Key=filename,
PartSize=partsize,
MAXThread=maxthread
)
# 刪除本地文件
if os.path.exists(filename):
os.remove(filename)
3.4 日志記錄核心代碼
#創(chuàng)建目錄
def create_dir(self):
_LOGDIR = os.path.join(os.path.dirname(__file__), self.logdir_name)
_TIME = time.strftime('%Y-%m-%d', time.gmtime()) + '-'
_LOGNAME = _TIME + self.logfile_name
LOGFILENAME = os.path.join(_LOGDIR, _LOGNAME)
if not os.path.exists(_LOGDIR):
os.mkdir(_LOGDIR)
return LOGFILENAME
#定義日志文件
def create_logger(self, logfilename):
logger = logging.getLogger()
logger.setLevel(logging.INFO)
handler = logging.FileHandler(logfilename)
handler.setLevel(logging.INFO)
formater = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
handler.setFormatter(formater)
logger.addHandler(handler)
return logger
四虑稼、測(cè)試結(jié)果
獲取CDB下載鏈接
image
完成上傳查看COS文件
image
五、總結(jié)
- 優(yōu)化:可以后期通過(guò)配合定時(shí)任務(wù)完成自動(dòng)化任務(wù)
- 擴(kuò)展:源端：不僅僅局限于CDB備份文件势木，對(duì)于隨便下載url蛛倦，均可以上傳到COS內(nèi)。終端：終端也不僅局限于騰訊云COS啦桌，此思路方法也可用于其他云平臺(tái)如阿里OSS,亞馬遜Amazon S3,百度云BOS 等溯壶。
