當使用sparkstreaming處理流式數據的時候菊匿，它的數據源搭檔大部分都是Kafka垄分，尤其是在互聯(lián)網公司頗為常見宛篇。 當他們集成的時候我們需要重點考慮就是如果程序發(fā)生故障，...
發(fā)簡信
IP屬地：北京
-
關于SparkStreaming的checkpoint的弊端
-
spark源碼閱讀-KafkaUtils代碼-Direct方式
KafkaUtils 用于創(chuàng)建一個從Kafka Brokers 拉取數據的輸入數據流薄湿。之前有一個文章介紹了sparkstream創(chuàng)建kafka的數據流有兩種方式叫倍，一種是Rec...
-
SparkStreaming之寫數據到Kafka
本文主要記錄使用SparkStreaming從Kafka里讀取數據偷卧，并使用Redis保存Offset，并監(jiān)聽Redis中的某個Key是否存在來停止程序吆倦，將讀取到的數據轉換為j...
-
sparkStreaming與kafka整合
sparkStreaming與kafka的整合 //基于Direct方式整合kafka package spark.com.test.day04 import kafka.s...
-
終身學習者蚕泽、大學教師晌梨。稍微懂一點兒寫作、演講须妻、Python和機器學習仔蝌。歡迎微信關注并置頂我的公眾號“玉樹芝蘭”(nkwangshuyi)。我已委托“維權騎士”（rightknights.com）為我的文章進行維權行動璧南。
-
-
尋找遠程工作機會动知。皿伺。。
-
Hadoop面試復習系列——HDFS（一）轉載自：https://cloud.tencent.com/developer/article/1031641https://my.oschina.net/freelili/...
-
大數據面試題盒粮、經驗分享及新手問答整理原文地址：http://www.aboutyun.com/thread-9581-1-1.html **筆試類型： **1鸵鸥、 java基礎類：2、 linux基礎： **面試...
-
Hadoop/Spark大數據面試總結
1. 簡答說一下hadoop的map-reduce編程模型 首先map task會從本地文件系統(tǒng)讀取數據丹皱，轉換成key-value形式的鍵值對集合 使用的是hadoop內置的...
-
Kafka Partition存儲機制與高吞吐率原理
一妒穴、Topic定義與Partition存儲機制 Topic在邏輯上可以被認為是一個管道，每條生產/消費都必須指明Topic摊崭，也就是指定這條消息應該在哪條管道進行傳輸讼油。 為了使...
-
Kafka partition的數量問題
kafka的每個topic都可以創(chuàng)建多個partition，partition的數量無上限呢簸，并不會像replica一樣受限于broker的數量矮台，因此partition的數量可...
-
-
2019別再互聯(lián)網寒冬了瘦赫，有那時間還不如刷幾道Java面試題天天互聯(lián)網寒冬，其實哪里有什么互聯(lián)網寒冬蛤迎，只不過是你穿的少而已确虱，有那個時間去關心互聯(lián)網寒冬會倒下多少人，還不如來刷幾道Java面試題替裆！ 話不多說蝉娜，直接開干唱较，下面分享我用業(yè)余時...
-
十年架構師教你：如何搞定計算機網絡面試（終結篇）
本文接上期內容扎唾。 TCP 協(xié)議如何保證可靠傳輸 1召川、應用數據被分割成 TCP 認為最適合發(fā)送的數據塊。 2胸遇、TCP 給發(fā)送的每一個包進行編號荧呐，接收方對數據包進行排序，把有序數...
