AI( Artificial Intelligence ):人工智能
BI( Business Intelligence ):商業(yè)智能
BI商業(yè)智能,個人感覺商業(yè)化了一些墙懂,而且感覺沒有把數(shù)據(jù)的價值體現(xiàn)的名稱上橡卤,也不知道為什么不直接一點叫DI(Data Intelligence )。
AI和BI似乎不可分割损搬,起碼相輔相成碧库。AI似乎更火熱,BI提出更早一些巧勤,似乎有點過氣和傳統(tǒng)的感覺嵌灰,但是想想,可視化數(shù)據(jù)展示颅悉、數(shù)據(jù)可視化伞鲫,這些名詞或許目前更流行,其實應(yīng)該都算是BI的變種签舞,個人感覺似乎又有點去商業(yè)化秕脓,起碼不叫什么商業(yè)可視化。
阿里云推出了大數(shù)據(jù)和人工智能DataV數(shù)據(jù)可視化儒搭、 Quick BI等等產(chǎn)品吠架,且不說做到什么程度,加上手機(jī)搂鲫、大屏的時代發(fā)展傍药,就會發(fā)現(xiàn)數(shù)據(jù)的價值也越來越大。
由于工作對BI牽扯甚多魂仍,近來使用Metabase拐辽,準(zhǔn)備寫一下Metabase系列,就已BI擦酌、數(shù)據(jù)可視化做引子俱诸,查找資料總結(jié)了一下,后續(xù)會更新修改赊舶。這里不講AI睁搭,不談商業(yè),通過搜索網(wǎng)上資料進(jìn)行整理笼平,就說一下接觸的或者市面上BI园骆、數(shù)據(jù)可視化的工具。
這里進(jìn)行分類:重量級(商用+服務(wù))寓调、輕量級(開源)锌唾、商業(yè)級(服務(wù)),其它(心血來潮的一些小項目:GitDataV夺英、DataVisualization)
一晌涕、重量級(商用+服務(wù))
1滋捶、IBM Cognos
IBM Cognos 起初是加拿大的一家公司,后來被IBM收購渐排。功能非常強大炬太,可以自身創(chuàng)建package灸蟆、立方體數(shù)據(jù)模型驯耻,通過ETL工具進(jìn)行數(shù)據(jù)清洗,然后定時抽取IBM Cognos模型炒考,自身實現(xiàn)配置化集群和負(fù)載均衡等功能可缚,能夠處理大規(guī)模,多系統(tǒng)(財務(wù)斋枢、資金帘靡、業(yè)務(wù)、人力資源等等)數(shù)據(jù)瓤帚,進(jìn)行數(shù)據(jù)整合描姚,配套工具完善且非常多,此外
- 擴(kuò)展性比較強戈次,尤其對多系統(tǒng)數(shù)據(jù)處理
- 權(quán)限轩勘、數(shù)據(jù)集成完善
- 網(wǎng)關(guān)、應(yīng)用服務(wù)器怯邪、內(nèi)容管理器組件靈活
- 比較重绊寻,數(shù)據(jù)量小就大材小用,一般建行等大企業(yè)用多
- 不知道現(xiàn)在是否支持nosql類型的數(shù)據(jù)庫
- 支持導(dǎo)出備份及導(dǎo)入等操作
1悬秉、技術(shù)架構(gòu):java + BS架構(gòu)
2澄步、適用范圍:
? 政府單位、大型企業(yè)
3和泌、安裝部署:
? weblogic村缸、websphere、tomcat等集成部署
4武氓、數(shù)據(jù)源:oracle王凑、db2、mysql關(guān)系型數(shù)據(jù)庫
5聋丝、可視化:
- 支持各種圖表展示
- 支持各種下鉆及功能性擴(kuò)展
- 展示組件強大
6索烹、支持文檔:
- 安裝文檔齊全
- 集成部署補丁包完善
- 資料論壇可查找資料,因為大型企業(yè)使用弱睦,所以個人分享的資料較少
7百姓、權(quán)限管理:支持權(quán)限控制
8、二次開發(fā):利用cognos自身特性進(jìn)行擴(kuò)展及集成開發(fā)况木,源代碼不開放
2垒拢、賽思
賽思是國內(nèi)用的比較多的BI工具旬迹,是武漢東方賽思軟件公司開發(fā)的,目前政府椿猎、金融等單位使用的多。賽思大數(shù)據(jù)平臺筐咧,為政府部門噪矛、企業(yè)或是IT公司的大數(shù)據(jù)項目提供全方位的平臺支持艇挨。也有數(shù)據(jù)的提取雷袋、加工蛋勺、調(diào)度等強大的功能刃泡。服務(wù)團(tuán)隊規(guī)模有保障巧娱,解決方案完善禁添,但是目前對nosql數(shù)據(jù)庫支持欠缺墓怀。
3、其他
- Tableau
- Microsoft (Power BI)
- SAS (Visual Analytics)
- AWS(Athena and Kinesis)
- Google (Dataproc and Big Query)
- Fusionex (Giant)
- Zendesk (Zime)
- SAP(BO)
- Oracle(BIEE)
二、輕量級(開源)
1羞福、Superset
github地址: https://github.com/apache/incubator-superset
1治专、技術(shù)架構(gòu):
后端:Python + Flask( Web 應(yīng)用框架 ) +SQLAlchemy(orm框架)
前端:React + Redux +D3
2喘批、適用范圍:
開發(fā)/分析人員做好看板,業(yè)務(wù)人員瀏覽看板數(shù)據(jù)
業(yè)務(wù)人員可自行編輯圖表曹步,查看滿足條件的結(jié)果
3宪彩、安裝部署:
? docker方式的安裝部署最簡單
4、數(shù)據(jù)源:支持各種數(shù)據(jù)源讲婚,包括Hive尿孔、Kylin等
5、可視化:
支持的圖表類型多,達(dá)47種
圖表可視化選項少纳猫,例如婆咸,數(shù)據(jù)格式選項偏少,如需添加芜辕,需要修改配置文件
可在看板中添加篩選框尚骄,支持在不同條件下查看
不支持圖表和看板分組管理
沒有提供圖表的下鉆功能,不支持多圖表間的復(fù)雜聯(lián)動
不支持跨庫的表關(guān)聯(lián)查詢
支持其他圖標(biāo)庫擴(kuò)展
6侵续、支持文檔:
安裝部署和快速入門方面的文檔詳細(xì)
但具體功能和圖表制作方面的介紹文檔需要搜索資料
整體文檔資料相當(dāng)簡陋
7倔丈、郵件通知:不支持
8、權(quán)限管理:
報表權(quán)限設(shè)置較復(fù)雜状蜗、繁瑣
可實現(xiàn)對菜單需五、數(shù)據(jù)源、數(shù)據(jù)表轧坎、字段宏邮、圖表、看板等權(quán)限控制
10缸血、二次開發(fā):
支持 RESTful API
原屬Airbnb的開源項目蜜氨,有大公司團(tuán)隊維護(hù),版本更新捎泻、Bug修復(fù)飒炎、二次開發(fā)有較大保障
也有說代碼維護(hù)迭代,不活躍
2笆豁、Redash
github地址: https://github.com/getredash/redash
1郎汪、技術(shù)架構(gòu):Python + Flask + AngularJS + SQLAlchemy
2、適用范圍:由于是對SQL查詢結(jié)果進(jìn)行可視化闯狱,需要開發(fā)/分析人員做好看板煞赢,業(yè)務(wù)人員瀏覽看板數(shù)據(jù)。
3朦肘、安裝部署:
安裝部署相對較麻煩
參考部署文檔
4、數(shù)據(jù)源:支持?jǐn)?shù)據(jù)源比superset少趴生,不支持Kylin
5、可視化:
支持的圖表類型不如Superset多刘急,僅12種
圖表可視化選項多
不支持在看板種添加篩選框
不支持圖表和看板分組管理
沒有提供圖表的下鉆功能叔汁,不支持多圖表間的復(fù)雜聯(lián)動
不支持跨庫的表關(guān)聯(lián)查詢
6、支持文檔:
提供快速入門教程
每一個功能模塊都有文檔且條理清晰
7另假、郵件通知:支持定時發(fā)送郵件
8因苹、權(quán)限管理:權(quán)限設(shè)置簡單苟耻,僅控制用戶組對數(shù)據(jù)源的權(quán)限(只有兩個權(quán)限:Full access或View only)
9、二次開發(fā):
? 提供完整的 RESTful API 接口
10、源代碼:代碼質(zhì)量比Superset要好解虱,但比Metabase差一點
3、Metabase
github地址: https://github.com/metabase/metabase
1、技術(shù)架構(gòu):
前端框架:React + Redux + D3(圖表工具)
后端框架:Clojure + RING(中間件) + Compojure(路由框架) + Toucan(ORM框架)
2、適用范圍:
? 界面漂亮县貌、友好凑懂,使用體驗好兆解,適合業(yè)務(wù)人員使用
3、安裝部署:
- windows下安裝部署非常簡單
- docker部署簡單
4印蔬、數(shù)據(jù)源:支持?jǐn)?shù)據(jù)源少(12種),不支持Hive脱衙、Kylin(硬傷)
5侥猬、創(chuàng)建步驟:連接數(shù)據(jù)源-->圖表-->看板-->定時任務(wù)
6、可視化:
支持的圖表類型不如superset多捐韩,僅14種
圖表可視化選項多退唠,例如,提供數(shù)據(jù)格式多荤胁,設(shè)置靈活
可在看板中添加篩選框瞧预,支持在不同條件下查看
通過創(chuàng)建集合,支持圖表仅政、看板垢油、定時任務(wù)分組管理
提供圖表的簡單鉆取功能,不支持圖表間的復(fù)雜聯(lián)動
不支持跨庫的表關(guān)聯(lián)查詢
7已旧、支持文檔:
? 安裝部署秸苗、快速入門、具體功能运褪、API等方面的文檔詳細(xì)
8惊楼、郵件通知:支持定時發(fā)送郵件
9玖瘸、權(quán)限管理:
權(quán)限設(shè)置單一,只有訪問權(quán)限
僅實現(xiàn)對數(shù)據(jù)源檀咙、數(shù)據(jù)表雅倒、圖表、集合等權(quán)限控制
10弧可、二次開發(fā):提供完整的API文檔蔑匣,即使完全不會 Clojure,依然可以憑借豐富的 API 與文檔完成許多二次開發(fā)棕诵。
11裁良、源代碼:
- 代碼質(zhì)量最好,結(jié)構(gòu)清晰校套,整潔度高
- clojure語法价脾,函數(shù)式編程,學(xué)習(xí)成本較高
4笛匙、Zeppelin
github地址:https://github.com/apache/zeppelin
嚴(yán)格意義上說侨把,Zeppelin更像是一個notebook,而不是一個單純的BI工具妹孙,來自Apache項目
1秋柄、技術(shù)架構(gòu):
? 交互式數(shù)據(jù)分析開源框架,支持多種語言蠢正, 包括Scala骇笔、Python、SparkSQL机隙、Hive蜘拉、Markdown、Shell等
2有鹿、適用范圍:似乎更適合開發(fā)人員
3、可視化:不支持sql查詢
5谎脯、SQLPad
github地址:https://github.com/rickbergfalk/sqlpad
SQLPad是一個基于Nodejs開發(fā)的直接在瀏覽器運行SQL查詢并對結(jié)果進(jìn)行可視化展示工具
1葱跋、適用范圍:適合開發(fā)人員
2、數(shù)據(jù)源: MySQL, Postgres, SQL Server, Vertica, Crate, Presto等
3源梭、可視化:特別支持sql娱俺,與Zeppelin不同,看名字就能看出來
6废麻、CBoard
github地址:https://github.com/yzhang921/CBoard
1荠卷、技術(shù)架構(gòu):
后端:Spring+MyBatis
前端: ngularJS1和Bootstrap
2、特點:
- 國人開發(fā)的一款可視化工具
- 交互設(shè)計的不錯烛愧,但是感覺有點奇怪
- Java系
7油宜、Davinci
github地址: https://github.com/edp963/davinci
1掂碱、技術(shù)架構(gòu):宜信開發(fā)的達(dá)芬奇,Java
2慎冤、可視化:功能還是比較全面的疼燥,只是在國內(nèi)還沒有大范圍的使用
三、商業(yè)級(服務(wù))
1蚁堤、FineBI
1醉者、技術(shù)架構(gòu):java開發(fā)
后端:spring mvc + Hibernate
前端:fineui
2、適用范圍:
開發(fā)/數(shù)據(jù)人員準(zhǔn)備好數(shù)據(jù)披诗,數(shù)據(jù)人員/業(yè)務(wù)人員分析撬即。
業(yè)務(wù)人員完全可自行分析、制作可視化呈队。整個數(shù)據(jù)分析流程分工明確搞莺。
3、安裝部署:
? 直接官網(wǎng)下載電腦適配的版本安裝激活即可
4掂咒、數(shù)據(jù)源:支持各種數(shù)據(jù)源才沧,Apache Kylin、Derby绍刮、HP Vertica温圆、IBM DB2、Informix孩革、Sql Server岁歉、MySQL、Oracle膝蜈、Pivotal Greenplum Database锅移、Postgresql、ADS饱搏、Amazon Redshift非剃、Apache Impala、Apache Phoenix推沸、Gbase 8A备绽、Gbase8S、Gbase 8T鬓催、Hadoop Hive肺素、Kingbase、Presto宇驾、SAP HANA倍靡、SAP Sybase、Spark课舍、Transwarp Inceptor、Hbase等主流的一些關(guān)系型數(shù)據(jù)庫及非關(guān)系數(shù)據(jù)庫MongoDB等
5、可視化:
支持的圖表類型多改化,達(dá)47種
圖表可視化選項少套菜,例如,數(shù)據(jù)格式選項偏少,如需添加,需要修改配置文件
可在看板中添加篩選框,支持在不同條件下查看
不支持圖表和看板分組管理
沒有提供圖表的下鉆功能崔挖,不支持多圖表間的復(fù)雜聯(lián)動
不支持跨庫的表關(guān)聯(lián)查詢
6、支持文檔:
安裝部署和快速入門方面的文檔詳細(xì)庵寞,還有教學(xué)視頻
但具體功能和圖表制作方面的介紹文檔幾乎沒有
7狸相、郵件通知:支持
8、權(quán)限管理:
有一套完整的數(shù)據(jù)捐川、業(yè)務(wù)包脓鹃、報表、人員部門權(quán)限管理古沥,有流程節(jié)點瘸右。
可實現(xiàn)數(shù)據(jù)源、數(shù)據(jù)表岩齿、字段太颤、圖表、看板等權(quán)限控制
9盹沈、二次開發(fā):
不支持java層面的開發(fā)
只有web接口
能與.NET集成龄章、JBPM工作流集成、CAS單點登錄
10乞封、源代碼:不公開做裙,商業(yè)產(chǎn)品團(tuán)隊運營。
2肃晚、DataV(阿里云)
DataV旨讓更多的人看到數(shù)據(jù)可視化的魅力锚贱,幫助非專業(yè)的工程師通過圖形化的界面輕松搭建專業(yè)水準(zhǔn)的可視化應(yīng)用,滿足您會議展覽陷揪、業(yè)務(wù)監(jiān)控惋鸥、風(fēng)險預(yù)警、地理信息分析等多種業(yè)務(wù)的展示需求悍缠。
1、配備多種場景模板
2耐量、多種圖表組件支持
3飞蚓、支持多種數(shù)據(jù)源
4、配置比較快速靈活
[圖片上傳失敗...(image-243978-1572790640460)]
[圖片上傳失敗...(image-560710-1572790640460)]
3廊蜒、Sugar(百度)
連接地址: https://cloud.baidu.com/product/sugar.html
4趴拧、小馬BI
連接地址: https://xiaoma.qq.com/#/
5溅漾、網(wǎng)易有數(shù)
連接地址:https://bigdata.163yun.com/
四、其它
1著榴、GitDataV
github地址: https://github.com/HongqingCao/GitDataV
GitDataV添履,是一個github“大數(shù)據(jù)可視化平臺”,通過它你可以更直觀的看到你在github里的一些數(shù)據(jù):
個人信息(?)脑又,倉庫stars情況(?)暮胧,倉庫語言分類(?)
倉庫公開數(shù)量(?)、粉絲數(shù)量(?)问麸、跟隨數(shù)量(?)往衷、倉庫數(shù)據(jù)(?)、最近你的操作(?)
最近的粉絲(?)严卖、最近的跟隨(?)席舍、最新信息(?)
左上角箭頭小彩蛋: 全屏(?)、 國際化語言切換(?)哮笆、返回首頁(?)
[圖片上傳失敗...(image-5a66aa-1572790640460)]
2来颤、DataVisualization
github地址: https://github.com/SimonZhangITer/DataVisualization
將數(shù)據(jù)通過圖表的形式展現(xiàn)出來將大大的提升可讀性和閱讀效率
本例包含柱狀圖、折線圖稠肘、散點圖福铅、熱力圖、復(fù)雜柱狀圖启具、預(yù)覽面板等
連接地址:https://dumplingbao.github.io/2019/11/03/metabase-bi-datav