debezium 實時同步 kafka 本文檔介紹了如何從 mysql 和 oracle 中實時抽取數(shù)據(jù)到 kafka植旧。 前期準備 2臺 linux 服務器用于部署 debe...
IP屬地：四川
-
AWS 搭建 Debezium 抽取 RDS 數(shù)據(jù)到 Kafka
-
AWS 常見問題記錄(13-24)1. Athena 查詢長時間無反應壤靶，也不掃描數(shù)據(jù) Athena是serverless服務缓待，因此會使用公用的資源池，提供不同的使用者所提交的各個查詢一同使用資源巫湘。當一個查詢被...
-
AWS 常見問題記錄(1-12)
記錄自己支持過程中客戶提到的一些代表性的問題犀被。 1. cn 區(qū)域的 S3 和 apigateway 開啟公開訪問權(quán)限后仍無法訪問 在國內(nèi)托管公開在線內(nèi)容需要 ICP 備案才能...
-
AWS 連接不上實例的端口的排查思路很多同學經(jīng)常遇到 EC2 連接不上的情況，有的是創(chuàng)建出來就連接不上贱除，有的是運行的好好的突然就連不上了生闲。如果是創(chuàng)建出來就連不上，先看你的 ec2 安全組有沒有開對應的端口月幌，端口...
-
AWS CloudShell - 便捷的 AWS 命令行工具
AWS 在上個月（21年12月）做了一次大的更新碍讯，console 有了很大的改動。其中 console 主頁上頂部的導航欄多了一個小的命令行的圖標扯躺。 這個就是新出的服務捉兴，Cl...
-
AWS SAA&GCP PCA考證經(jīng)驗
由于公司要求，我在11月連續(xù)考了兩張證書录语，aws的助理級架構(gòu)師和gcp的專家級架構(gòu)師倍啥。兩張證書差不多都是半個月的準備時間。現(xiàn)在分享下考證的經(jīng)驗澎埠。首先兩證的考試是都有題庫的虽缕，可...
-
AWS DocumentDB 集群創(chuàng)建及連接VPC & 子網(wǎng) & igw & 路由 & 子網(wǎng)組 創(chuàng)建 docdb 集群需要先有 VPC 和子網(wǎng)組創(chuàng)建 VPC 后，VPC 內(nèi)的實例并不能和公網(wǎng)通信蒲稳，需要先創(chuàng)建 igw氮趋，再...
-
填充玩家未登錄天的等級記錄
現(xiàn)在有這樣一個需求，需要一段時間每一個玩家的每一天的最大等級江耀。這個需求看似很簡單剩胁，但其實重點是玩家不一定每天都會登錄，對于沒有登陸的天祥国，你就拿不到當天的最大等級昵观，所以要做填充...
-
-
BigQuery中拆解字符串并平展為多行
我在介紹bigquery的半結(jié)構(gòu)化數(shù)據(jù)中介紹過我們總表的結(jié)構(gòu)，但是有些命令的參數(shù)個數(shù)是不固定的扩借，比如玩家在一次戰(zhàn)斗中擊殺的敵人種類椒惨，有可能有一種，也有可能有兩種三種...這種...
-
Looker的driver table中注入用戶選擇的參數(shù)
在LookML中允許使用sql作為view的源表潮罪，其實相當于一個視圖康谆。在view的定義中把sql_table_name改成drived_table,然后在里面寫sql就好了领斥。...
-
BigQuery中的半結(jié)構(gòu)數(shù)據(jù)和查詢BigQuery本身是一個半結(jié)構(gòu)化的數(shù)據(jù)庫，至于半結(jié)構(gòu)化這個東西沃暗，簡單理解就是mysql中的一列變成了一個json月洛。就向下面這張圖一樣，圖里只有兩行數(shù)據(jù)孽锥，但是每行中又由相同的...
-
機器學習（李宏毅）作業(yè)1-pytorch實現(xiàn)最近又雙叒開始學習機器學習了嚼黔，這次看了些pytorch的教程，把上次用只用numpy的用pytorch實現(xiàn)一遍惜辑。這里推薦一個gitbook：Dive-into-DL-PyTo...
-
BigQuery中的分析函數(shù)
在sql中做去重是一件麻煩的事唬涧，一般情況下只能通過group by 所有字段來做去重。現(xiàn)在考慮一個簡單的情形盛撑，我需要統(tǒng)計昨天天玩家身上的金幣存量碎节。玩家的金幣存量在一天中是多次...
-
玩家留存計算的兩種SQL語句
留存簡單來說就是某天的注冊用戶有多少人在多少天后還在繼續(xù)使用，但具體的定義各個公司可能都不太一樣抵卫，比如三日留存是在第四天還有登陸的玩家狮荔，一天是按現(xiàn)實的0點為分界還是一個玩家完...
-
-
游戲數(shù)據(jù)分析引言
從我畢業(yè)進入游戲數(shù)據(jù)分析行業(yè)也有一年多了。這一年中也接觸到了很多數(shù)據(jù)分析的工具偎谁，數(shù)據(jù)處理总滩，數(shù)據(jù)存儲，數(shù)據(jù)可視化之類的東西巡雨。也慢慢積累了一些處理處理的技巧之類的闰渔。這篇專題主要是...
-
BigQuery在WebUI中使用自定義變量
Google的bigquery是一個強大的云數(shù)據(jù)庫，支半結(jié)構(gòu)化數(shù)據(jù)铐望，TB級單表的查詢冈涧，自動擴充什么的，反正就是很NB正蛙。除了必須要翻墻和貴之外督弓。。乒验。在bigquery的webU...
-
crontab和pythonpath的神坑
自己寫了個python庫愚隧，但是并沒有打包到pip上，只是放在一個文件夾內(nèi)锻全，自己去引入狂塘。最開始使用的方法是用sys.path.append('包的路徑')但是后面用的腳本多了录煤，...