發(fā)簡信
IP屬地：北京
-
支付方法論支付：交易突倍、清分、結(jié)算縱向：支付場景、支付收銀臺(tái)洁闰、支付核心服務(wù)、支付清結(jié)算服務(wù)橫向：銀行傳統(tǒng)三塊業(yè)務(wù)：存款卵惦、貸款歉备、中間收入逊彭，支付屬于中間收入咸灿。 ...
-
Haddop：MapreduceHadoop的核心思想之一是mapreduce（分布式計(jì)算框架）Compute：計(jì)算層（處理層）HDFS：分治 一、What? 什么是MR 1侮叮、...
-
維度建模：事實(shí)表維度建模數(shù)倉領(lǐng)域中的事實(shí)表大致分以下三種： a. 事務(wù)事實(shí)表b. 周期快照事實(shí)表c. 累計(jì)快照事實(shí)表 一避矢、事務(wù)事實(shí)表（稀疏表，相當(dāng)于流水表） 事...
-
維度建模：緩慢變化維SCD緩慢變化維（Slowly Changing Dimension）就是變化相對緩慢（相對與快速變化的事實(shí)表來說）的維度囊榜。 在維度建模理論中审胸，有8種...
-
HIVE：常用分析函數(shù)
1、lag() over() lag(pay_succ_time, 1, '1990-01-01 00:00:00') over(partiti...
-
Haddop：HDFSHDFS體系結(jié)構(gòu) HDFS采用了主從（Master/Slave）結(jié)構(gòu)模型卸勺，一個(gè)HDFS集群是由一個(gè)NameNode和若干個(gè)DataNode組成砂沛。...
-
HIVE：小文件合并
HDFS非常容易存儲(chǔ)大數(shù)據(jù)文件，如果Hive中存在過多的小文件會(huì)給namecode帶來巨大的性能壓力曙求。同時(shí)小文件過多會(huì)影響JOB的執(zhí)行尺上，hado...
-
HIVE：數(shù)據(jù)傾斜
1、什么是數(shù)據(jù)傾斜圆到？ 數(shù)據(jù)分布不均勻，造成數(shù)據(jù)大量的集中到一點(diǎn)卑吭，造成數(shù)據(jù)熱點(diǎn) 2芽淡、Hadoop 框架的特性 A、不怕數(shù)據(jù)大豆赏，怕數(shù)據(jù)傾斜B挣菲、Job...
-
HIVE ：行列轉(zhuǎn)換
舉個(gè)栗子 a b 1a b 2a b 3c d ...