發(fā)簡信
IP屬地：北京
-
支付方法論支付：交易颠区、清分削锰、結(jié)算縱向：支付場景、支付收銀臺(tái)毕莱、支付核心服務(wù)器贩、支付清結(jié)算服務(wù)橫向：銀行傳統(tǒng)三塊業(yè)務(wù)：存款、貸款朋截、中間收入蛹稍，支付屬于中間收入。 ...
-
Haddop：MapreduceHadoop的核心思想之一是mapreduce（分布式計(jì)算框架）Compute：計(jì)算層（處理層）HDFS：分治 一部服、What? 什么是MR 1唆姐、...
-
維度建模：事實(shí)表維度建模數(shù)倉領(lǐng)域中的事實(shí)表大致分以下三種： a. 事務(wù)事實(shí)表b. 周期快照事實(shí)表c. 累計(jì)快照事實(shí)表 一、事務(wù)事實(shí)表（稀疏表廓八，相當(dāng)于流水表） 事...
-
維度建模：緩慢變化維SCD緩慢變化維（Slowly Changing Dimension）就是變化相對(duì)緩慢（相對(duì)與快速變化的事實(shí)表來說）的維度奉芦。 在維度建模理論中赵抢，有8種...
-
HIVE：常用分析函數(shù)
1、lag() over() lag(pay_succ_time, 1, '1990-01-01 00:00:00') over(partiti...
-
Haddop：HDFSHDFS體系結(jié)構(gòu) HDFS采用了主從（Master/Slave）結(jié)構(gòu)模型声功，一個(gè)HDFS集群是由一個(gè)NameNode和若干個(gè)DataNode組成烦却。...
-
HIVE：小文件合并
HDFS非常容易存儲(chǔ)大數(shù)據(jù)文件，如果Hive中存在過多的小文件會(huì)給namecode帶來巨大的性能壓力减噪。同時(shí)小文件過多會(huì)影響JOB的執(zhí)行短绸，hado...
-
HIVE：數(shù)據(jù)傾斜
1车吹、什么是數(shù)據(jù)傾斜筹裕？ 數(shù)據(jù)分布不均勻，造成數(shù)據(jù)大量的集中到一點(diǎn)窄驹，造成數(shù)據(jù)熱點(diǎn) 2朝卒、Hadoop 框架的特性 A、不怕數(shù)據(jù)大乐埠，怕數(shù)據(jù)傾斜B抗斤、Job...
-
HIVE ：行列轉(zhuǎn)換
舉個(gè)栗子 a b 1a b 2a b 3c d ...