1.2 密碼學(xué)及安全技術(shù) 1.2.1 密碼學(xué)知識(shí) 1.2.1.1 Hash函數(shù) Hash(哈希)哈希函數(shù)是一類數(shù)學(xué)函數(shù)甜癞，可以在有限合理的時(shí)間內(nèi)酸纲，將任意長(zhǎng)度的消息壓縮為固定長(zhǎng)度...
發(fā)簡(jiǎn)信
IP屬地：內(nèi)蒙古
-
區(qū)塊鏈基礎(chǔ)之密碼學(xué)及安全技術(shù)
-
區(qū)塊鏈基礎(chǔ)之共識(shí)機(jī)制
1.1共識(shí)機(jī)制 1.1.1核心定義 區(qū)塊鏈上的共識(shí)機(jī)制主要解決由誰(shuí)來(lái)構(gòu)造區(qū)塊沛励，以及如何維護(hù)區(qū)塊鏈統(tǒng)一的問(wèn)題 1.1.2共識(shí)機(jī)制分類 1.1.3 共識(shí)算法 1.1.3.1 PO...
-
Fabric架構(gòu)詳解1 整體架構(gòu) 2 運(yùn)行架構(gòu) Fabric CA(可選) peer：主節(jié)點(diǎn)模塊县昂，負(fù)責(zé)存儲(chǔ)區(qū)塊鏈數(shù)據(jù)家夺，運(yùn)行維護(hù)鏈碼 orderer：交易打包猫态，排序模塊 cryptogen：組織和...
-
區(qū)塊鏈應(yīng)用：橢圓曲線數(shù)字簽名算法ECDSA1 橢圓曲線密碼學(xué) 橢圓曲線密碼學(xué)（Elliptic Curve Cryptography,縮寫ECC）疤坝，是基于橢圓曲線數(shù)學(xué)理論實(shí)現(xiàn)的一種非對(duì)稱加密算法兆解。橢圓曲線在密碼學(xué)中的...
-
Spark+Flink+Iceberg打造湖倉(cāng)一體架構(gòu)實(shí)踐探索
數(shù)據(jù)湖-大數(shù)據(jù)生態(tài)殺青數(shù)據(jù)湖-大數(shù)據(jù)生態(tài)殺青 數(shù)據(jù)倉(cāng)庫(kù)的痛點(diǎn) 只能存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)，無(wú)法采集存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù) 無(wú)法存儲(chǔ)原始數(shù)據(jù)跑揉，所有的數(shù)據(jù)須經(jīng)過(guò)ETL清洗過(guò)程 離線數(shù)倉(cāng)的數(shù)據(jù)表...
-
2022 Mysql優(yōu)化來(lái)一波
1 redo log（重做日志） 1）InnoDB首先將redo log放入到redo log buffer锅睛，然后按一定頻率將其刷新到redo log file。下列三種情況...
-
clickhouse 21.x生產(chǎn)實(shí)踐優(yōu)化
1 時(shí)間字段類型 建表時(shí)能用數(shù)值型或日期時(shí)間型表示的字段就不要用字符串，全String 類型在以Hive(hbase)為中心的數(shù)倉(cāng)建設(shè)中常見衣撬，但 ClickHouse 環(huán)境不...
-
2021 個(gè)人成長(zhǎng)復(fù)盤
感恩2021乖订，暢想2022 01 工作復(fù)盤 過(guò)去的一年里，你能往簡(jiǎn)歷中濃妝艷抹地寫幾筆嗎具练？你學(xué)了什么新的技術(shù)乍构？做了什么大的項(xiàng)目？取得了什么成績(jī)扛点？獲得了什么認(rèn)可哥遮？這一年你進(jìn)步了...
-
微服務(wù)治理系列二
注冊(cè)中心Nacos 1 主流注冊(cè)中心對(duì)比 2 CAP實(shí)踐 C是所有節(jié)點(diǎn)在同一時(shí)間看到的數(shù)據(jù)是一致的；而A的定義是所有的請(qǐng)求都會(huì)收到響應(yīng)陵究。何時(shí)選擇使用何種模式眠饮？ 如果不需要存儲(chǔ)...
-
微服務(wù)治理系列一
響應(yīng)式編程 1 spring mvc與spring webflux 兩個(gè)框架都可以使用注解方式，都運(yùn)行在 Tomet 等容器中铜邮；SpringMVC 采用命令式編程仪召，Webfl...
-
Spark ML處理樣本類別不均衡問(wèn)題
樣本類別分布不均衡導(dǎo)致的危害？ 樣本類別不均衡將導(dǎo)致樣本量少的分類所包含的特征過(guò)少松蒜，并很難從中提取規(guī)律扔茅； 即使得到分類模型，也容易產(chǎn)生過(guò)度依賴與有限的數(shù)據(jù)樣本而導(dǎo)致過(guò)擬合問(wèn)題...
-
醫(yī)療機(jī)構(gòu)數(shù)字化轉(zhuǎn)型 - CA無(wú)紙化診療
1 紙質(zhì)化醫(yī)療行業(yè)痛點(diǎn) 《醫(yī)療機(jī)構(gòu)管理?xiàng)l例實(shí)施細(xì)則》“門診病歷的保存期不得少于15年;住院病歷的保存期不得少于30年”紙質(zhì)化醫(yī)療行業(yè)痛點(diǎn) 《電子病歷應(yīng)用管理規(guī)范》“有條件的醫(yī)...
-
clickhouse 20.x實(shí)踐小計(jì)
1 列式存儲(chǔ)與行式存儲(chǔ)對(duì)比 采用行式存儲(chǔ)時(shí)秸苗，數(shù)據(jù)在磁盤上的組織結(jié)構(gòu)為：行式存儲(chǔ)好處是想查某個(gè)人所有的屬性時(shí)召娜，可以通過(guò)一次磁盤查找加順序讀取就可以。但是當(dāng)想查所有人的年齡時(shí)惊楼，需...
-
kafka優(yōu)化筆記
1 mq的作用 解耦玖瘸、異步、削峰填谷 2 kafka架構(gòu) 1）Producer ：消息生產(chǎn)者檀咙，就是向 kafka broker 發(fā)消息的客戶端雅倒；2）Consumer ：消息消...
-
spark3.x 生產(chǎn)調(diào)優(yōu)筆記
1 spark sql寫入mysql非常慢 有這樣一個(gè)業(yè)務(wù)場(chǎng)景：需要將通過(guò)Spark處理之后的數(shù)據(jù)寫入MySQL，并在在網(wǎng)頁(yè)端進(jìn)行可視化輸出弧可。Spark處理之后有大概40萬(wàn)條...
-
元數(shù)據(jù)管理
1 為什么需要數(shù)據(jù)治理蔑匣？ 通過(guò)數(shù)據(jù)治理實(shí)現(xiàn)企業(yè)數(shù)據(jù)的標(biāo)準(zhǔn)化、提高數(shù)據(jù)質(zhì)量侣诺、提升業(yè)務(wù)處理的效率殖演，為數(shù)據(jù)分析提供準(zhǔn)確的數(shù)據(jù)支撐氧秘，賦能業(yè)務(wù)年鸳，助力企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。大數(shù)據(jù)的數(shù)據(jù)管理...
-
hive3.x on spark3.0生產(chǎn)調(diào)優(yōu)實(shí)踐1 數(shù)據(jù)傾斜 絕大部分任務(wù)都很快完成丸相，只有一個(gè)或者少數(shù)幾個(gè)任務(wù)執(zhí)行的很慢甚至最終執(zhí)行失敗搔确，這樣的現(xiàn)象為數(shù)據(jù)傾斜現(xiàn)象。 將數(shù)據(jù)傾斜分為單表攜帶了 GroupBy 字段的查詢和兩...
-
Hadoop3.x生產(chǎn)環(huán)境調(diào)優(yōu)之高可用
1 hadoop HA高可用 實(shí)現(xiàn)高可用最關(guān)鍵的策略是消除單點(diǎn)故障。HA嚴(yán)格來(lái)說(shuō)應(yīng)該分成各個(gè)組件的HA機(jī)制：HDFS的HA和YARN的HA膳算。 前提：配置zookeeper集群...
-
Flink分布式緩存
分布式緩存 Flink提供了一個(gè)分布式緩存座硕，類似于hadoop，可以使用戶在并行函數(shù)中很方便的讀取本地文件涕蜂，并把它放在taskmanager節(jié)點(diǎn)中华匾，防止task重復(fù)拉取。 此...
-
Flink 廣播變量
簡(jiǎn)介 在Flink中机隙，同一個(gè)算子可能存在若干個(gè)不同的并行實(shí)例蜘拉，計(jì)算過(guò)程可能不在同一個(gè)Slot中進(jìn)行，不同算子之間更是如此有鹿，因此不同算子的計(jì)算數(shù)據(jù)之間不能像Java數(shù)組之間一樣...