支付：交易、清分、結(jié)算縱向：支付場景刚陡、支付收銀臺悴晰、支付核心服務(wù)蛙讥、支付清結(jié)算服務(wù)橫向：銀行傳統(tǒng)三塊業(yè)務(wù)：存款嫉鲸、貸款价说、中間收入假颇，支付屬于中間收入胚鸯。 支付一直在演進(jìn)1、支付載體：卡...
發(fā)簡信
IP屬地：北京
-
-
Haddop：MapreduceHadoop的核心思想之一是mapreduce（分布式計算框架）Compute：計算層（處理層）HDFS：分治 一笨鸡、What? 什么是MR 1姜钳、過濾性別為0的循環(huán)處理每行記錄...
-
-
維度建模：緩慢變化維SCD緩慢變化維（Slowly Changing Dimension）就是變化相對緩慢（相對與快速變化的事實表來說）的維度。 在維度建模理論中激涤，有8種處理方式拟糕，包括基礎(chǔ)的5種以及混...
-
HIVE：常用分析函數(shù)
1、lag() over() lag(pay_succ_time, 1, '1990-01-01 00:00:00') over(partition by user_pin ...
-
三大性質(zhì)總結(jié)：原子性，有序性已卸，可見性原創(chuàng)文章&經(jīng)驗總結(jié)&從校招到A廠一路陽光一路滄桑 詳情請戳www.codercc.com 1. 三大性質(zhì)簡介 在并發(fā)編程中分析線程安全的問題時往往需要切入點佛玄，那就是兩大核心：...
-
MapReduce過程、Spark和Hadoop以Shuffle為中心的對比分析
mapreduce與Spark的map-Shuffle-reduce過程 mapreduce過程解析（mapreduce采用的是sort-based shuffle） 將獲取...
-
謝謝累澡，大數(shù)據(jù)入門階段
Haddop：HDFS
HDFS體系結(jié)構(gòu) HDFS采用了主從（Master/Slave）結(jié)構(gòu)模型梦抢，一個HDFS集群是由一個NameNode和若干個DataNode組成。其中NameNode作為主服務(wù)...
-
Haddop：HDFSHDFS體系結(jié)構(gòu) HDFS采用了主從（Master/Slave）結(jié)構(gòu)模型愧哟，一個HDFS集群是由一個NameNode和若干個DataNode組成奥吩。其中NameNode作為主服務(wù)...
-
HIVE：小文件合并
HDFS非常容易存儲大數(shù)據(jù)文件，如果Hive中存在過多的小文件會給namecode帶來巨大的性能壓力蕊梧。同時小文件過多會影響JOB的執(zhí)行霞赫，hadoop會將一個job轉(zhuǎn)換成多個t...
-
HIVE：數(shù)據(jù)傾斜
1、什么是數(shù)據(jù)傾斜肥矢？ 數(shù)據(jù)分布不均勻端衰，造成數(shù)據(jù)大量的集中到一點，造成數(shù)據(jù)熱點 2甘改、Hadoop 框架的特性 A旅东、不怕數(shù)據(jù)大，怕數(shù)據(jù)傾斜B十艾、Jobs 數(shù)比較多的作業(yè)運行效率相對...
-
大數(shù)據(jù)數(shù)據(jù)倉庫建設(shè)前言 互聯(lián)網(wǎng)行業(yè)忘嫉，除了數(shù)據(jù)量大之外荤牍，業(yè)務(wù)時效性要求也很高，甚至很多是要求實時的庆冕， 另外康吵，互聯(lián)網(wǎng)行業(yè)的業(yè)務(wù)變化非常快访递，不可能像傳統(tǒng)行業(yè)一樣涎才，可以使用自頂向下的方法建立數(shù)據(jù)倉庫，...
-
數(shù)據(jù)倉庫：架構(gòu)的演變發(fā)展 離線大數(shù)據(jù)架構(gòu)數(shù)據(jù)倉庫概念是Inmon于1990年提出并給出了完整的建設(shè)方法力九。隨著互聯(lián)網(wǎng)時代來臨耍铜，數(shù)據(jù)量暴增，開始使用大數(shù)據(jù)工具來替代經(jīng)典數(shù)倉中的傳統(tǒng)工具跌前。此時僅僅是工...
-
Kimball維度建模前言 維度模型是數(shù)據(jù)倉庫領(lǐng)域另一位大師Ralph Kimall所倡導(dǎo)棕兼，他的《The DataWarehouse Toolkit-The Complete Guide to D...
-
LeetCode高頻100【2】目錄 【2】 46. Permutations（Medium） Given a collection of distinct integers, return all pos...
