熱血趁年華

程序員高薪已經(jīng)不是一個(gè)秘密了贩绕，現(xiàn)在社會(huì)上很多人談起程序員碑隆，就自然想到州袒，程序員的高薪。 現(xiàn)在轉(zhuǎn)行程序員要么培訓(xùn)班要么自學(xué)递鹉，對(duì)于培訓(xùn)班而言盟步，恕我直言，很多有水分躏结，而且夸大却盘，并且很...

熱血趁年華

在sparksql中使用udf黄橘，比較簡(jiǎn)單，先在spark中自定義udf算子函數(shù),然后進(jìn)行注冊(cè)屈溉，之后再sql中就可以直接使用該udf val len = udf{(str:St...

熱血趁年華

storm分布式實(shí)時(shí)計(jì)算框架子巾，在整個(gè)程序中帆赢，spout接收數(shù)據(jù)源并封裝數(shù)據(jù)為tuple，然后將tuple發(fā)送給bolt處理砰左，處理完數(shù)據(jù)后可以發(fā)送到下一個(gè)bolt中再處理也可以...

熱血趁年華

當(dāng)需要從大量數(shù)據(jù)中進(jìn)行查詢操作匿醒，我們可以使用建索引的方式，但是在使用索引上缠导，需要注意廉羔，否則查詢的時(shí)候會(huì)造成放棄索引使用全盤掃描方式 索引失效的原因？ 1.聯(lián)合索引使用順序上僻造，...

熱血趁年華

1 介紹 flume是實(shí)時(shí)日志采集系統(tǒng)憋他， 使用場(chǎng)景：監(jiān)控目錄的日志信息，控制臺(tái)輸入信息髓削，端口信息竹挡，http發(fā)送的信息，并將該信息發(fā)送到指定的存儲(chǔ)中立膛，比如hdfs,Hbase,...

熱血趁年華

前言 mysql中的存儲(chǔ)引擎比較多，但是常用的也就兩個(gè)InnoDB和MyISAM InnoDB 支持事務(wù)（提交闯捎、回滾）椰弊，行級(jí)鎖（對(duì)索引的行級(jí)鎖许溅，如果沒(méi)有命中索引，將使用表級(jí)鎖...

熱血趁年華

簡(jiǎn)單介紹 sparksql是spark的一個(gè)重要的組件秉版，該組件主要是處理結(jié)構(gòu)化的數(shù)據(jù)贤重，從外部數(shù)據(jù)源（hive,json,.csv,parquet,orc等）讀取到內(nèi)存中，在...

熱血趁年華

DataFrame: DataFrame是以rdd為基礎(chǔ)的分布式數(shù)據(jù)集沐飘，類似于傳統(tǒng)數(shù)據(jù)庫(kù)的二維表格游桩，帶有schema的元數(shù)據(jù)，即相當(dāng)于二維表格的每一列都有列名和類型耐朴，基于次對(duì)...

熱血趁年華

前言 當(dāng)一個(gè)函數(shù)傳遞給spark集群去運(yùn)行的時(shí)候（map借卧，reduce）。該函數(shù)的所有變量都會(huì)在各個(gè)節(jié)點(diǎn)的任務(wù)中創(chuàng)建一個(gè)副本筛峭，當(dāng)該變量數(shù)據(jù)計(jì)較大的手铐刘，會(huì)極大的占用計(jì)算機(jī)寶貴的...

熱血趁年華

當(dāng)我們需要將dataframe中的某一列數(shù)據(jù)裝換為其它類型或者做一些其它的算法后，再新增加到datafram中時(shí)影晓，最有效的方法是使用自定義的udf函數(shù)镰吵。本文的例子是將id列的...

熱血趁年華

前言 kafka具有，高吞吐量挂签、數(shù)據(jù)可持久化疤祭、易擴(kuò)張、消費(fèi)端維護(hù)等特點(diǎn)饵婆。kafka以topic進(jìn)行數(shù)據(jù)分類勺馆，每個(gè)topic都會(huì)有分區(qū)，每個(gè)分區(qū)都會(huì)有副本侨核。每條消息都有一個(gè)of...

熱血趁年華

前言 垃圾回收器需要回收內(nèi)存中的數(shù)據(jù)草穆，以便保持內(nèi)存一直處于可用狀態(tài)。但是垃圾回收如何選擇哪些數(shù)據(jù)對(duì)象需要回收搓译，哪些不需要回收悲柱？主要是使用引用計(jì)數(shù)法及引用狀態(tài)來(lái)決定是否需要回收...

熱血趁年華

一、內(nèi)存統(tǒng)計(jì)命令 info memory 該命令會(huì)輸出redis的相關(guān)信息些己，包括內(nèi)存使用情況豌鸡，cpu等數(shù)據(jù) used_memory： redis內(nèi)存分配器分配的內(nèi)存情況，主要...

熱血趁年華

前言 redis的高可用涉及到持久化段标、主從復(fù)制（讀寫分離）涯冠、哨兵和集群。持久化主要是內(nèi)存數(shù)據(jù)到磁盤怀樟，是一個(gè)單機(jī)備份問(wèn)題功偿，主從復(fù)制是多機(jī)數(shù)據(jù)備份問(wèn)題盆佣。主從復(fù)制不僅僅解決數(shù)據(jù)備份...

熱血趁年華

前言： redis持久化是為了在redis服務(wù)重啟的時(shí)候在內(nèi)存中恢復(fù)數(shù)據(jù)往堡，默認(rèn)是從aof中恢復(fù)數(shù)據(jù)械荷，redis的持久化策略，第一RDB,第二種AOF.,下文會(huì)對(duì)兩種解析方式進(jìn)...

熱血趁年華

Redis keys： 作為redis的key需要注意一下幾個(gè)原則 1. key可以為null 2.key不能太長(zhǎng)虑灰，太長(zhǎng)的話不僅僅消耗內(nèi)存而且還在查詢過(guò)程中會(huì)提高查詢的成本 ...

熱血趁年華

前言： redis簡(jiǎn)單理解吨瞎，就是提高獲取數(shù)據(jù)的響應(yīng)速度，比如從數(shù)據(jù)庫(kù)中獲取數(shù)據(jù)穆咐，如果每次查詢都從關(guān)系型數(shù)據(jù)庫(kù)中獲取數(shù)據(jù)颤诀，那么數(shù)據(jù)庫(kù)的訪問(wèn)壓力非常大并且響應(yīng)速度也比較慢，re...