Kafka 怎么就能存儲(chǔ)更長(zhǎng)時(shí)間的數(shù)據(jù)了哪
Kappa架構(gòu)什么是Kappa架構(gòu)捷雕，直接看下圖： 和Lambda架構(gòu)相比墙歪，它去掉了批處理引擎敛滋，直接使用流處理引擎恋追，目標(biāo)是做到流批一體。 Kappa流行的主要原因在于Kafka和Flink的...
發(fā)簡(jiǎn)信
IP屬地：山東
-
-
數(shù)據(jù)化建設(shè)圖譜2.0來啦開篇前喊崖，我們先介紹一下 達(dá)克效應(yīng)：能力欠缺的人在自己欠考慮的決定的基礎(chǔ)上得出錯(cuò)誤結(jié)論饲化，但是無法正確認(rèn)識(shí)到自身的不足，辨別錯(cuò)誤行為金蜀。這些能力欠缺者們沉浸在自我營造的虛幻的優(yōu)勢(shì)之...
-
基于Flink的實(shí)時(shí)數(shù)據(jù)流構(gòu)建業(yè)務(wù)詳解 處理數(shù)據(jù)主要包括的是從互聯(lián)網(wǎng)上采集來的數(shù)據(jù),包括常見的新聞刷后、微博、論壇渊抄、貼吧尝胆、博客、微博护桦、微信等信源含衔，對(duì)原始格式進(jìn)行實(shí)時(shí)響應(yīng)處理，以期望滿足業(yè)務(wù)系統(tǒng)使用二庵，這便是當(dāng)前...
-
Field Collapsing - 字段折疊
字段折疊 issues 不支持scroll 和search after的查詢方式 無法返回折疊后的總數(shù)目 查詢樣例 參數(shù)解釋 from: 這個(gè)的from是top hits結(jié)果...
-
分享一次詞典庫構(gòu)建的流程詞典庫的含義 在深度學(xué)習(xí)中贪染，如何在其中融入知識(shí)是一個(gè)研究非常火熱的課題眨猎。相比于 Bert, ERNIE中引入全詞Mask抑进，達(dá)到了 SOTA,這也是引入啦知識(shí) 。因此詞典庫在底...
-
SearchAfter 之 score獲取
前言 ES的查詢經(jīng)歷 from + size睡陪、Scroll寺渗、SearchAfter等方式,都是為了逐一解決查詢帶來的性能問題，目前search after的查分方式最優(yōu) 使用...
-
關(guān)于Mysql(5.6)的一些思考事物級(jí)別 MySQL 默認(rèn)事物級(jí)別是可重復(fù)讀；Oracle默認(rèn)為讀已提交 事務(wù)級(jí)別的優(yōu)先級(jí)：1：讀未提交 2：讀已提交 3：可重復(fù)讀 4：串行化 5：事務(wù)隔離的實(shí)現(xiàn)-可重復(fù)度...
-
update t1,t2
UPDATE crawl_weibo_data t1, lz_temp_channel t2 SET t1.channel_unique_id = t2.channel_un...
-
20項(xiàng)任務(wù)全面碾壓BERT汁果，CMU全新XLNet預(yù)訓(xùn)練模型屠榜（已開源）
https://mp.weixin.qq.com/s/29y2bg4KE-HNwsimD3aauw
-
關(guān)于bert的一些思考
不存在詞庫中的字符編碼 選取 ~ 和 ﹌ 兩個(gè)字符(不在詞表中),分別進(jìn)行編碼：bc.encode(['~','﹌'])>array([[-0.07489464, 0.16...
-
python簡(jiǎn)易寫法
要求 input:4abababaabaxzxb3abaxzxbaboutput:210 簡(jiǎn)易寫法：str_seq = [input() for s in range(int...
-
base64解密及解壓
在文本數(shù)據(jù)傳輸中,為防止編碼問題以及信息損失,可以先進(jìn)行壓縮涡拘，在進(jìn)行base64加密；示例如下：>> import zlib>> compressed = zlib.comp...
-
關(guān)于Matrix Script的解法以及正則總結(jié)
問題參照： https://www.hackerrank.com/challenges/matrix-script/problem 解題思路 將N * M矩陣轉(zhuǎn)轉(zhuǎn)化為具有順序...
-
python3.x print自定義連接符
print()函數(shù)默認(rèn)是換行的,如何達(dá)到不換行的目的哪据德？請(qǐng)看下面的例子：>> for i in range(5):>> print(i+1,end='')>> 12...
-
python之常用函數(shù)
range 函數(shù)語法 range(start, stop[, step])參數(shù)說明：start: 計(jì)數(shù)從 start 開始鳄乏。默認(rèn)是從 0 開始。例如range（5）等價(jià)于ra...
-
ES集群重啟最佳實(shí)踐
線上集群規(guī)模 data節(jié)點(diǎn)：12單index大屑：20GB ~ 40GB副本數(shù)：1索引數(shù)(按天拆分索引)：600 非安全重啟面臨的問題 直接kill掉節(jié)點(diǎn)橱野，可能導(dǎo)致數(shù)據(jù)丟失集...
