BAT等大廠已開源的70個(gè)實(shí)用工具盤點(diǎn)(附下載地址)

前面的一篇文章《微軟纽帖、谷歌、亞馬遜吹截、Facebook等硅谷大廠91個(gè)開源軟件盤點(diǎn)(附下載地址)》列舉了國(guó)外8個(gè)互聯(lián)網(wǎng)公司(包括微軟、Google懦铺、亞馬遜、IBM急前、Facebook、Twitter、eBay耘婚、VMware)的開源軟件項(xiàng)目边篮,今天我們來(lái)盤點(diǎn)一下國(guó)內(nèi)幾個(gè)體量較大的互聯(lián)網(wǎng)大廠(騰訊阵子、百度挠进、阿里暖璧、美團(tuán)點(diǎn)評(píng)、華為)都有哪些開源軟件局蚀±派穑快點(diǎn)Mark起來(lái)并轉(zhuǎn)發(fā)給需要的人吧。

百度開源軟件

1ECharts:JavaScript 圖表庫(kù)

ECharts是一款由百度前端技術(shù)部開發(fā)的煤痕,基于Javascript的數(shù)據(jù)可視化圖表庫(kù),提供直觀巷帝,生動(dòng),可交互堕阔,可個(gè)性化定制的數(shù)據(jù)可視化圖表。

提供大量常用的數(shù)據(jù)可視化圖表时呀,底層基于ZRender(一個(gè)全新的輕量級(jí)canvas類庫(kù))航攒,創(chuàng)建了坐標(biāo)系,圖例盆驹,提示,工具箱等基礎(chǔ)組件廉丽,并在此上構(gòu)建出折線圖(區(qū)域圖)、柱狀圖(條狀圖)焦履、散點(diǎn)圖(氣泡圖)、餅圖(環(huán)形圖)屑宠、K線圖、地圖卫玖、力導(dǎo)向布局圖以及和弦圖,同時(shí)支持任意維度的堆積和多圖表混合展現(xiàn)。

詳情:https://www.oschina.net/p/echarts

GitHub地址:

https://github.com/baidu/echarts

2、ApolloAuto:開源自動(dòng)駕駛平臺(tái)

Apollo (阿波羅)是一個(gè)開放的、完整的串慰、安全的平臺(tái),將幫助汽車行業(yè)及自動(dòng)駕駛領(lǐng)域的合作伙伴結(jié)合車輛和硬件系統(tǒng),快速搭建一套屬于自己的自動(dòng)駕駛系統(tǒng)滔以。

Apollo 是百度重點(diǎn)打造的 AI 開放平臺(tái)之一,計(jì)劃主要包含 4 個(gè)技術(shù)模塊:定位/感知模塊坏匪、車輛規(guī)劃與運(yùn)營(yíng)(AI+大數(shù)據(jù),精準(zhǔn)控制車輛,適合不同路況)蕊苗、軟件運(yùn)營(yíng)框架(支持英特爾朽砰、英偉達(dá)等多種芯片)。

詳情:https://www.oschina.net/p/apolloauto

3、BFS-Baidu:百度文件系統(tǒng)

百度的核心數(shù)據(jù)庫(kù)Tera將數(shù)據(jù)持久化在分布式文件系統(tǒng)上哥蔚,分布式文件系統(tǒng)的性能倒谷、可用性和擴(kuò)展性對(duì)整個(gè)上層搜索業(yè)務(wù)的穩(wěn)定性與效果有著至關(guān)重要的影響。現(xiàn)有的分布式文件系統(tǒng)(如HDFS等)無(wú)法滿足低延遲糙箍、高可用渤愁、跨地域擴(kuò)展等方面的需求,所以我們從百度搜索的業(yè)務(wù)特點(diǎn)出發(fā)深夯,開發(fā)了自己的分布式文件系統(tǒng)BFS他挎。

系統(tǒng)主要由NameServer、MetaServer绷蹲、ChunkServer疤估、SDK、bfs_mount和bfs_client等幾個(gè)模塊構(gòu)成。

其中NameServer是中心控制模塊,采用集群化部署凡泣,負(fù)責(zé)目錄樹的管理;ChunkServer是數(shù)據(jù)節(jié)點(diǎn)負(fù)責(zé)提供文件塊的讀寫服務(wù)福铅;SDK以靜態(tài)庫(kù)的形式提供了用戶使用的API巴粪;bfs_mount通過(guò)libfuse,將bfs掛載到本地,作為本地文件系統(tǒng)訪問(wèn)性锭;bfs_client是一個(gè)二進(jìn)制的管理工具拳恋。

詳情:https://www.oschina.net/p/baidu-file-system

4级解、Kity Minder:在線腦圖編輯器

KityMinder 是百度FEX團(tuán)隊(duì)的f-cube小組(原UEditor小組)的又一力作。作為一款在線的腦圖編輯工具默责,它有著很多Native編輯工具的交互體驗(yàn)魂贬。KM與UE有著一樣的宗旨,就是注重最終用戶的使用體驗(yàn)侥祭。同時(shí),它充分發(fā)揮了Web云存儲(chǔ)的優(yōu)勢(shì)带斑,可以直接將編輯中的腦圖同步到云端纺念。此外蛤虐,借由獨(dú)創(chuàng)的 “云盤分享”功能党饮,用戶可以一鍵將當(dāng)前編輯的腦圖直接生成在線鏈接共享給其他用戶,實(shí)現(xiàn)無(wú)縫溝通驳庭。

詳情:https://www.oschina.net/p/kityminder

5刑顺、Disconf:分布式配置管理平臺(tái)

專注于各種分布式系統(tǒng)配置管理的通用組件/通用平臺(tái), 提供統(tǒng)一的配置管理服務(wù)。包括 百度饲常、滴滴打車蹲堂、銀聯(lián)、網(wǎng)易贝淤、拉勾網(wǎng) 等知名互聯(lián)網(wǎng)公司正在使用!

詳情:https://www.oschina.net/p/disconf

6柒竞、Tera:分布式表格系統(tǒng)

Tera 是一個(gè)高性能、可伸縮的數(shù)據(jù)庫(kù)系統(tǒng)播聪,被設(shè)計(jì)用來(lái)管理搜索引擎萬(wàn)億量級(jí)的超鏈與網(wǎng)頁(yè)信息朽基。為實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)分析與高效訪問(wèn)布隔,我們使用按行鍵、列名和時(shí)間戳全局排序的三維數(shù)據(jù)模型組織數(shù)據(jù)稼虎,使用多級(jí)Cache系統(tǒng)衅檀,充分利用新一代服務(wù)器硬件大內(nèi)存、SSD盤和萬(wàn)兆網(wǎng)卡的性能優(yōu)勢(shì)霎俩,做到模型靈活的同時(shí)哀军,實(shí)現(xiàn)了高吞吐與水平擴(kuò)展。

詳情:https://www.oschina.net/p/tera

Gitbub地址:

https://github.com/baidu/tera

7茸苇、Cafe:Android自動(dòng)化測(cè)試框架

Cafe 測(cè)試框架是一款來(lái)自百度QA部門的具有開創(chuàng)性意義的Android平臺(tái)的自動(dòng)化測(cè)試框架排苍,框架覆蓋了Android自動(dòng)化測(cè)試的各種需求⊙埽框架致力于實(shí)現(xiàn)跨進(jìn)程測(cè)試淘衙、快速測(cè)試、深度測(cè)試腻暮,解決了Android自動(dòng)化測(cè)試中的諸多難題彤守,比如業(yè)界一直沒有解決的跨進(jìn)程測(cè)試問(wèn)題。

詳情:https://www.oschina.net/p/cafe

8哭靖、Ueditor:富文本編輯器

UEditor是由百度web前端研發(fā)部開發(fā)所見即所得富文本web編輯器具垫,具有輕量,可定制试幽,注重用戶體驗(yàn)等特點(diǎn)筝蚕。

詳情:https://www.oschina.net/p/ueditor

Gitbub地址:

https://github.com/baidu/ueditor

9、Mapv:地圖可視化工具庫(kù)

Mapv 是一款基于百度地圖的大數(shù)據(jù)可視化開源庫(kù)铺坞,可以用來(lái)展示大量的點(diǎn)起宽、線、面的數(shù)據(jù)济榨,每種數(shù)據(jù)也有不同的展示類型坯沪,如直接打點(diǎn)、熱力圖擒滑、網(wǎng)格腐晾、聚合等方式展示數(shù)據(jù)。

詳情:https://www.oschina.net/p/mapv

Gitbub地址:

https://github.com/baidu/mapv

10丐一、ECharts-X:全新 3D 可視化庫(kù)

ECharts-X是 ECharts 團(tuán)隊(duì)推出的全新 3D 可視化庫(kù)藻糖,它是基于 ECharts 的擴(kuò)展,底層深度整合了 WebGL 庫(kù)QTEK和 Canvas2D 庫(kù)ZRender库车。

詳情:https://www.oschina.net/p/echarts-x

11颖御、MuPlayer:百度音樂播放內(nèi)核

MuPlayer 是一款跨平臺(tái)、輕量級(jí)的音頻播放解決方案,是百度@音樂前端團(tuán)隊(duì)開發(fā)維護(hù)的瀏覽端音頻播放內(nèi)核潘拱,它基于HTML5 Audio及Flash音頻技術(shù)疹鳄,已在百度音樂多個(gè)線上產(chǎn)品線中應(yīng)用,具備很強(qiáng)的靈活性和穩(wěn)定性芦岂。

詳情:https://www.oschina.net/p/muplayer

12瘪弓、WebUploader:文件上傳組件

WebUploader 是由Baidu WebFE(FEX)團(tuán)隊(duì)開發(fā)的一個(gè)簡(jiǎn)單的以HTML5為主,F(xiàn)LASH為輔的現(xiàn)代文件上傳組件禽最。在現(xiàn)代的瀏覽器里面能充分發(fā)揮HTML5的優(yōu)勢(shì)腺怯,同時(shí)又不摒棄主流IE瀏覽器,延用原來(lái)的FLASH運(yùn)行時(shí)川无,兼容IE6+呛占,Andorid 4+,IOS 6+懦趋。兩套運(yùn)行時(shí)晾虑,同樣的調(diào)用方式,可供用戶任意選用仅叫。

詳情:https://www.oschina.net/p/webuploader

百度更多74個(gè)開源項(xiàng)目詳情可查看:https://www.oschina.net/project/baidu

阿里巴巴開源軟件

1帜篇、Weex:開源移動(dòng)UI層框架

開源的移動(dòng)端高性能動(dòng)態(tài)化,跨平臺(tái)UI框架诫咱。 Weex的出現(xiàn)解決了困擾移動(dòng)開發(fā)領(lǐng)域長(zhǎng)期以來(lái)的一份設(shè)計(jì)笙隙,多次重復(fù)開發(fā)的問(wèn)題,使得開發(fā)者能夠通過(guò)一次代碼編寫即可為Androdi,IOS,H5生成美觀高性能的界面坎缭。

由于Weex已經(jīng)捐贈(zèng)到了Apache基金會(huì)孵化竟痰,所以代碼主倉(cāng)庫(kù)已經(jīng)遷移到了Apache組織下。

Github主倉(cāng)庫(kù):

https://github.com/apache/incubator-weex

Github原倉(cāng)庫(kù):

https://github.com/alibaba/weex

2掏呼、Ant Design:開源React 組件庫(kù)

阿里在React技術(shù)椈悼欤基礎(chǔ)上開源的全功能通用組件庫(kù),沉淀了大量交互設(shè)計(jì)最佳實(shí)踐哄尔。 如果你以React的方式開發(fā)你的前端應(yīng)用Ant Design不容錯(cuò)過(guò)假消。Ant Design最近還提供了移動(dòng)版Ant Design Mobile 柠并,同樣風(fēng)格的組件庫(kù)現(xiàn)在可平順的過(guò)度到移動(dòng)Web環(huán)境岭接。

Github主倉(cāng)庫(kù):

https://github.com/ant-design/ant-design

3FastJSON:開源JSON解析和生成器

FastJSON是一個(gè)超高性能的JSON解析和生成器臼予,在對(duì)外零依賴的情況下實(shí)現(xiàn)了對(duì)多種常用數(shù)據(jù)結(jié)構(gòu)到JSON的解析和生成鸣戴。評(píng)測(cè)數(shù)據(jù)長(zhǎng)期以來(lái)一直在同類工具間遙遙領(lǐng)先。對(duì)JSON的處理是眾多服務(wù)端程序最頻繁執(zhí)行的任務(wù)粘拾,啟用FastJSON或許能讓你的后端應(yīng)用獲得不小的性能提升窄锅。

Github主倉(cāng)庫(kù):

https://github.com/alibaba/fastjson

4Dubbo:開源分布式開發(fā)框架

高性能服務(wù)框架,使得應(yīng)用可通過(guò)高性能的RPC 實(shí)現(xiàn)服務(wù)的輸出和輸入,可以和 Spring框架無(wú)縫集成入偷。 是阿里大規(guī)模分布式系統(tǒng)的秘密武器追驴。

Github主倉(cāng)庫(kù):

https://github.com/alibaba/dubbo

5Atlas:開源Android平臺(tái)容器化開發(fā)框架

隨著移動(dòng)應(yīng)用規(guī)模的增長(zhǎng)疏之,大型移動(dòng)應(yīng)用殿雪,特別是平臺(tái)級(jí)應(yīng)用往往由團(tuán)隊(duì)協(xié)同開發(fā)。如何實(shí)現(xiàn)不同功能模塊的組件化锋爪、解耦化丙曙,同時(shí)還具備動(dòng)態(tài)性是Android應(yīng)用開發(fā)的一個(gè)核心挑戰(zhàn)。Atlas在遵循安卓系統(tǒng)設(shè)計(jì)規(guī)范的情況下其骄,通過(guò)反射和輕量的hook方案來(lái)實(shí)現(xiàn)了這一目標(biāo)亏镰,并將大量的工作放到了編譯期,提高了穩(wěn)定性拯爽。

Github主倉(cāng)庫(kù):

https://github.com/alibaba/atlas

6索抓、RocketMQ:開源消息隊(duì)列

企業(yè)級(jí)互聯(lián)網(wǎng)架構(gòu)的核心產(chǎn)品,基于高可用分布式集群技術(shù)某抓,搭建了包括發(fā)布訂閱纸兔、消息軌跡、資源統(tǒng)計(jì)否副、定時(shí)(延時(shí))汉矿、監(jiān)控報(bào)警等一套完整的消息隊(duì)列服務(wù)。

Github主倉(cāng)庫(kù):

https://github.com/apache/incubator-rocketmq

Github原倉(cāng)庫(kù):

https://github.com/alibaba/RocketMQ

7备禀、Freeline:開源Android構(gòu)建工具

Freeline是一個(gè)Android平臺(tái)上的構(gòu)建工具洲拇,構(gòu)建速度是其最大特點(diǎn)。它可以充分利用緩存文件曲尸,在幾秒鐘內(nèi)迅速地對(duì)代碼的改動(dòng)進(jìn)行編譯并部署到設(shè)備上赋续,有效地減少了日常開發(fā)中的大量重新編譯與安裝的耗時(shí)。

Github主倉(cāng)庫(kù):

https://github.com/alibaba/freeline

8另患、AliSQL:開源 MySQL數(shù)據(jù)庫(kù)分枝

AliSQL 是基于廣泛使用的數(shù)據(jù)庫(kù)產(chǎn)品 MySQL 的一個(gè)開源分支纽乱,在 MySQL 社區(qū)版的基礎(chǔ)上做了大量的性能與功能的優(yōu)化改進(jìn)。尤其適合電商昆箕、云計(jì)算以及金融等行業(yè)環(huán)境鸦列。最新的 AliSQL 版本不僅從其他開源分支比如:Percona,MariaDB鹏倘,WebScaleSQL 等社區(qū)汲取精華薯嗤,也沉淀了阿里巴巴多年在 MySQL 領(lǐng)域的經(jīng)驗(yàn)和解決方案。

Github主倉(cāng)庫(kù):

https://github.com/alibaba/AliSQL

騰訊開源軟件

1纤泵、Blade:現(xiàn)代構(gòu)建系統(tǒng)

期望的目標(biāo)是強(qiáng)大而好用骆姐,把程序員從構(gòu)建的繁瑣中解放出來(lái)。Blade 主要定位于 Linux 下的大型 C++ 項(xiàng)目,密切配合研發(fā)流程玻褪,比如單元測(cè)試肉渴,持續(xù)集成,覆蓋率統(tǒng)計(jì)等带射。

在騰訊公司“臺(tái)風(fēng)”云計(jì)算平臺(tái)開發(fā)過(guò)程中黄虱,為了解決 GNU Make,Autotools 的難用和繁瑣的問(wèn)題庸诱,開發(fā)了這個(gè)全新的構(gòu)建系統(tǒng)捻浦,整個(gè)系統(tǒng)基于多個(gè)聲明式的構(gòu)建腳本,在構(gòu)建腳本里桥爽,只需要聲明要構(gòu)建什么目標(biāo)朱灿,目標(biāo)的源代碼,以及其直接依賴的其它目標(biāo)钠四,不需要說(shuō)明如何構(gòu)建盗扒。大大降低了使用難度,提高了開發(fā)效率缀去。

Gitbub地址:

https://github.com/chen3feng/typhoon-blade

2侣灶、Appecker:自動(dòng)化測(cè)試框架

一款用于iOS 系列系統(tǒng)的自動(dòng)化測(cè)試框架。

Gitbub地址:

https://github.com/TencentOpen/Appecker

3缕碎、QcloudMna:追風(fēng)移動(dòng)加速

QcloudMna 移動(dòng)加速是騰訊云針對(duì)移動(dòng)端應(yīng)用(APP褥影、游戲)推出的加速產(chǎn)品,其主要功能包括:動(dòng)態(tài)數(shù)據(jù)加速咏雌、網(wǎng)絡(luò)流量?jī)?yōu)化凡怎、智能分析統(tǒng)計(jì),具有接入簡(jiǎn)單赊抖、多平臺(tái)支持统倒、客服支持等特點(diǎn)。

詳情:https://www.oschina.net/p/mna

4氛雪、Ctaxis:云排序

云排序用于提供海量數(shù)據(jù)排序服務(wù), 采用可擴(kuò)展的分布式存儲(chǔ)方案房匆。騰訊云排序服務(wù)主要面向騰訊開放平臺(tái)上的第三方應(yīng)用,應(yīng)用的用戶量跨越從0到千萬(wàn)級(jí)甚至上億的廣闊區(qū)間报亩, 在進(jìn)行海量數(shù)據(jù)的排序時(shí)浴鸿,經(jīng)常會(huì)面臨處理方式、處理性能等方面的問(wèn)題捆昏。

詳情:https://www.oschina.net/p/ctaxis

5赚楚、APT:安卓性能測(cè)試工具

安卓性能測(cè)試工具,安卓平臺(tái)高效性能測(cè)試套件,用于安卓平臺(tái)的基準(zhǔn)測(cè)試革半、競(jìng)品測(cè)試恨统。

APT是一個(gè)eclipse插件逃糟,可以實(shí)時(shí)監(jiān)控Android手機(jī)上多個(gè)應(yīng)用的CPU惊橱、內(nèi)存數(shù)據(jù)曲線尤仍,并保存數(shù)據(jù)二汛;另外還支持自動(dòng)獲取內(nèi)存快照遍烦、PMAP文件分析等俭嘁,方便開發(fā)人員自測(cè)或者測(cè)試人員完成性能測(cè)試,快速發(fā)現(xiàn)產(chǎn)品問(wèn)題服猪。

GitHub地址:

https://github.com/shawwinbin/APT

6供填、Koala:跨平臺(tái)圖形編譯工具

跨平臺(tái)圖形編譯工具,用于快速生成前端CSS 和 JS罢猪。

詳情:https://www.oschina.net/p/openkoala

7近她、TDW:騰訊分布式數(shù)據(jù)倉(cāng)庫(kù)

騰訊分布式數(shù)據(jù)倉(cāng)庫(kù),用于幫助企業(yè)低成本構(gòu)建大數(shù)據(jù)分析系統(tǒng)或數(shù)據(jù)倉(cāng)庫(kù)膳帕。

詳情:https://code.csdn.net/Tencent/tdw/tree/master

8粘捎、TscanCode:靜態(tài)代碼掃描工具

靜態(tài)代碼掃描工具,針對(duì)C/C++ 代碼的靜態(tài)代碼掃描解決方案危彩。

TscanCode旨在助力開發(fā)與測(cè)試人員從代碼層面挖掘問(wèn)題攒磨,將那些長(zhǎng)期困擾項(xiàng)目的諸如空指針宕機(jī)等問(wèn)題,扼殺于萌芽階段汤徽。支持用戶根據(jù)不同需求自定義配置檢查項(xiàng)娩缰,有極強(qiáng)的擴(kuò)展性和可維護(hù)性。平均掃描速度10W行/分鐘谒府。

詳情:https://www.oschina.net/p/tscancode

9漆羔、RapidJSON

一個(gè)C++ 的高性能 JSON 解析器及生成器,同時(shí)支持 SAX/DOM 風(fēng)格的 API狱掂。

GitHub地址:

https://github.com/TencentOpen/rapidjson

10演痒、Key-N-Value:高性能樹型協(xié)議處理引擎

KNV 是一個(gè)模式自由的高性能樹型協(xié)議處理引擎,是對(duì) Key-Value 的一個(gè)通用結(jié)構(gòu)化擴(kuò)展趋惨。

11鸟顺、WeTest助手:手機(jī)端輔助測(cè)試工具

WeTest助手是由WeTest(質(zhì)量開放平臺(tái)http://wetest.qq.com)自主研發(fā)的基于手機(jī)端的輔助測(cè)試工具,目前包括性能測(cè)試和遠(yuǎn)程調(diào)試兩大功能器虾, 能夠?yàn)槭钟蔚软?xiàng)目發(fā)現(xiàn)CPU讯嫂、內(nèi)存、FPS等性能問(wèn)題兆沙,并提供云端真機(jī)用于問(wèn)題在線調(diào)試欧芽,共計(jì)為公司內(nèi)外部項(xiàng)目服務(wù)5.4萬(wàn)次;

手游客戶端性能測(cè)試常用性能維度葛圃,CPU千扔,內(nèi)存憎妙,F(xiàn)PS,流量一次性全部收集曲楚,圖表化展示厘唾,數(shù)據(jù)可按場(chǎng)景化分類,并且支持離線和在線兩種模式龙誊, 地鐵上都可以做測(cè)試抚垃,Web上看報(bào)告。遠(yuǎn)程調(diào)試配合自研的云真機(jī)技術(shù)趟大,支持多點(diǎn)觸控鹤树、類手柄遙控,真實(shí)還原手游測(cè)試場(chǎng)景逊朽,極速流暢魂迄、極低延遲, 本地只需要一臺(tái)手機(jī)即可操控云端任何一臺(tái)手機(jī)惋耙。

支持ROOT和非ROOT安卓手機(jī)捣炬,支持越獄iOS系統(tǒng)。

GitHub地址:

https://github.com/Tencent/WeTest-Assistant

12绽榛、QT4i:iOS開發(fā)自動(dòng)化測(cè)試工具

iOS 開發(fā)自動(dòng)化測(cè)試工具湿酸,全面兼容 iOS 真機(jī)和模擬器,基于分布式技術(shù)灭美,高效并發(fā)執(zhí)行測(cè)試推溃。QT4i需要和QTAF一起使用。

GitHub地址:

https://github.com/tencent/QT4i

13届腐、QT4A:UI 測(cè)試自動(dòng)化測(cè)試解決方案

基于QTA 提供面向 Android 應(yīng)用的 UI 測(cè)試自動(dòng)化測(cè)試解決方案铁坎。

需要和QTAF一起使用。

詳情:

https://www.oschina.net/p/QT4A

14犁苏、Fanvas

SWF 轉(zhuǎn) HTML5 Canvas 動(dòng)畫硬萍。Fanvas 可以把 SWF(包括矢量和位圖)完美地轉(zhuǎn)化為 Canvas 動(dòng)畫,讓美術(shù)妹子一次制作围详,到處運(yùn)行朴乖。

GitHub地址:

https://github.com/TencentOpen/Fanvas

15HaboMalHunter:惡意軟件分析系統(tǒng)

HaboMalHunter是哈勃分析系統(tǒng) (https://habo.qq.com) 的開源子項(xiàng)目助赞,用于Linux平臺(tái)下進(jìn)行自動(dòng)化分析买羞、文件安全性檢測(cè)的開源工具。使用該工具能夠幫助安全分析人員簡(jiǎn)潔高效的獲取惡意樣本的靜態(tài)和動(dòng)態(tài)行為特征雹食。分析報(bào)告中提供了進(jìn)程畜普、文件、網(wǎng)絡(luò)和系統(tǒng)調(diào)用等關(guān)鍵信息群叶。

GitHub地址:

https://github.com/Tencent/HaboMalHunter

16吃挑、QTAF:跨平臺(tái)測(cè)試自動(dòng)化工具

QTAF 是一個(gè)跨平臺(tái)的測(cè)試自動(dòng)化工具钝荡,適用于后臺(tái)、原生或混合型客戶端應(yīng)用的測(cè)試儒鹿。

GitHub地址:

https://github.com/Tencent/QTAF

17WeDemo

微信團(tuán)隊(duì)開源的項(xiàng)目几晤,用于微信開發(fā)者進(jìn)行微信登錄约炎、分享功能開發(fā)時(shí)的參考Demo。

GitHub地址:

https://github.com/Tencent/WeDemo

18蟹瘾、GAutomator

GAutomator是一個(gè)針對(duì)Unity手游的UI自動(dòng)化測(cè)試框架圾浅。設(shè)計(jì)理念與使用方式,類似于Android的UIAutomator。GAutomator以Unity中的GameObject為操作對(duì)象憾朴,通過(guò)操作GameObject實(shí)現(xiàn)UI自動(dòng)化測(cè)試狸捕。基于GameObject的方式众雷,不存在手機(jī)分辨率適配的問(wèn)題灸拍,一份腳本能夠運(yùn)行在不同手機(jī)之上,基于GameObject的另外一個(gè)優(yōu)點(diǎn)為魯棒性較強(qiáng)砾省,游戲的UI界面經(jīng)常發(fā)生變化鸡岗,GameObject變化頻率相對(duì)較低。

GitHub地址:

https://github.com/tencent/GAutomator

19编兄、MSEC

毫秒服務(wù)引擎是騰訊的一個(gè)開源框架轩性,適用于在廉價(jià)機(jī)器組成的集群上開發(fā)和運(yùn)營(yíng)分布式后臺(tái)服務(wù)。

GitHub地址:

https://github.com/Tencent/MSEC

20狠鸳、Behaviac:行為樹解決方案

行為樹(Behavior Tree)解決方案揣苏。該方案包括編輯器(Designer)和運(yùn)行時(shí)庫(kù)(Runtime)。

GitHub地址:

https://github.com/Tencent/behaviac

21件舵、Blueking CMDB(藍(lán)鯨配置平臺(tái))

一款面向應(yīng)用的CMDB卸察,在 ITIL 體系里,CMDB 是構(gòu)建其它流程的基石铅祸,而在藍(lán)鯨智云體系里蛾派,配置平臺(tái)就扮演著基石的角色,為應(yīng)用提供了各種運(yùn)維場(chǎng)景的配置數(shù)據(jù)服務(wù)个少。

GitHub地址:

https://github.com/tencent/bk-cmdb

22洪乍、GT(隨身調(diào))

GT(隨身調(diào))是APP的隨身調(diào)試平臺(tái),它是直接運(yùn)行在手機(jī)上的“集成調(diào)試環(huán)境”(IDTE, Integrated Debug Environment)夜焦。

利用GT壳澳,僅憑一部手機(jī),無(wú)需連接電腦茫经,即可對(duì)APP進(jìn)行快速的性能測(cè)試(CPU巷波、內(nèi)存萎津、流量、電量抹镊、幀率/流暢度等等)锉屈、開發(fā)日志的查看、Crash日志查看垮耳、網(wǎng)絡(luò)數(shù)據(jù)包的抓取颈渊、APP內(nèi)部參數(shù)的調(diào)試、真機(jī)代碼耗時(shí)統(tǒng)計(jì)等终佛。

GitHub地址:

https://github.com/Tencent/GT

23俊嗽、weui-wxss:安卓/iOS手機(jī)端調(diào)測(cè)組件

安卓/iOS 手機(jī)端調(diào)測(cè)組件,用于安卓平臺(tái)的性能測(cè)試铃彰、競(jìng)品測(cè)試及僅憑一臺(tái)手機(jī)進(jìn)行 App 測(cè)試的場(chǎng)景绍豁。

GitHub地址:

https://github.com/weui/weui-wxss

24weui.js

WeUI 是由微信官方設(shè)計(jì)團(tuán)隊(duì)專為微信移動(dòng) Web 應(yīng)用設(shè)計(jì)的 UI 庫(kù)牙捉。weui.js是 WeUI 的輕量級(jí) js 封裝竹揍。

GitHub地址:

https://github.com/weui/weui.js/

25Teaf:高性能服務(wù)端框架

Tencent Easy ACE Framework邪铲,基于ACE的高性能輕量級(jí)服務(wù)框架鬼佣,單進(jìn)程多線程模型,支持select/epoll等多種網(wǎng)絡(luò)IO模型霜浴,同時(shí)支持tcp和udp協(xié)議晶衷,支持二進(jìn)制(pb等)和文本格式(json等,易于理解)阴孟,相對(duì)多進(jìn)程模型的框架來(lái)說(shuō)更易維護(hù)晌纫,更輕量。業(yè)務(wù)側(cè)只需要開發(fā)自己的邏輯處理即可實(shí)現(xiàn)高性能的業(yè)務(wù)后臺(tái)服務(wù)器永丝。已經(jīng)在騰訊互娛(IEG)大部分平臺(tái)類產(chǎn)品中成熟應(yīng)用锹漱,比如idip,游戲人生慕嚷,心悅哥牍,幫幫,新終端游戲中心aj喝检,cross等嗅辣,公司其他BG也有很多產(chǎn)品在使用。

GitHub地址:

https://github.com/Tencent/Teaf

26挠说、SQLCipher

SQLCipher 提供了對(duì) SQLite 數(shù)據(jù)庫(kù)的傳輸層進(jìn)行全面加密的工具澡谭,而通過(guò)使用 SQLCipher ,整個(gè)加密過(guò)程對(duì)客戶端是透明的损俭,無(wú)需改動(dòng)應(yīng)用程序蛙奖。(該項(xiàng)目是騰訊 fork Zetetic 公司的開源項(xiàng)目)

GitHub地址:

https://github.com/Tencent/sqlcipher

27潘酗、Tars:高性能RFC開發(fā)框架

基于名字服務(wù)使用Tars 協(xié)議的高性能 RPC 開發(fā)框架,同時(shí)配套一體化的服務(wù)治理平臺(tái)雁仲,幫助個(gè)人或者企業(yè)快速的以微服務(wù)的方式構(gòu)建自己穩(wěn)定可靠的分布式應(yīng)用仔夺。

Tars是騰訊從2008年到今天一直在使用的后臺(tái)邏輯層的統(tǒng)一應(yīng)用框架TAF(Total Application Framework),目前支持C++和Java兩種語(yǔ)言攒砖。該框架為用戶提供了涉及到開發(fā)缸兔、運(yùn)維、以及測(cè)試的一整套解決方案祭衩,幫助一個(gè)產(chǎn)品或者服務(wù)快速開發(fā)灶体、部署阅签、測(cè)試掐暮、上線。 它集可擴(kuò)展協(xié)議編解碼政钟、高性能RPC通信框架路克、名字路由與發(fā)現(xiàn)、發(fā)布監(jiān)控养交、日志統(tǒng)計(jì)精算、配置管理等于一體,通過(guò)它可以快速用微服務(wù)的方式構(gòu)建自己的穩(wěn)定可靠的分布式應(yīng)用碎连,并實(shí)現(xiàn)完整有效的服務(wù)治理灰羽。

目前該框架在騰訊內(nèi)部,各大核心業(yè)務(wù)都在使用鱼辙,頗受歡迎廉嚼,基于該框架部署運(yùn)行的服務(wù)節(jié)點(diǎn)規(guī)模達(dá)到上萬(wàn)個(gè)。

GitHub地址:

https://github.com/Tencent/Tars

28倒戏、WeFlow:前端開發(fā)工作流工具

一個(gè)高效怠噪、強(qiáng)大、跨平臺(tái)(macOS & Win)的前端開發(fā)工作流工具杜跷,核心基于 tmt-workflow 工作流傍念,代碼開源可定制。

GitHub地址:

https://github.com/Tencent/WeFlow

29葛闷、Pebble:分布式開發(fā)框架

基于該框架憋槐,可以讓開發(fā)者只需專注于業(yè)務(wù)邏輯的實(shí)現(xiàn),而不需要關(guān)注基礎(chǔ)功能的開發(fā)淑趾,如網(wǎng)絡(luò)通信秦陋,數(shù)據(jù)存儲(chǔ),集群管理等治笨。

GitHub地址:

https://github.com/TencentOpen/Pebble

30驳概、tmt-workflow:前端工作流程

基于Gulp(v4.0)赤嚼、高效、跨平臺(tái)(macOS & Win)顺又、可定制的前端工作流程更卒。

GitHub地址:

https://github.com/Tencent/tmt-workflow

31WeUI:基礎(chǔ)樣式庫(kù)

一套同微信原生視覺體驗(yàn)一致的基礎(chǔ)樣式庫(kù)稚照,為微信Web 開發(fā)量身設(shè)計(jì)蹂空,可以令用戶的使用感知更加統(tǒng)一。包含button果录、cell上枕、dialog、toast弱恒、article辨萍、icon等各式元素。

GitHub地址:

https://github.com/weui

32返弹、WCDB:移動(dòng)數(shù)據(jù)庫(kù)框架

騰訊開源的一個(gè)高效锈玉、完整、易用的移動(dòng)數(shù)據(jù)庫(kù)框架义起,基于SQLCipher拉背,支持 iOS、macOS 和 Android默终。

GitHub地址:

https://github.com/Tencent/wcdb

33椅棺、xLua

xLua 為 Unity3D 增加 Lua 腳本編程的能力,進(jìn)而提供代碼邏輯增量更新的可能齐蔽。

GitHub地址:

https://github.com/Tencent/xLua

34两疚、Libco:C/C++協(xié)程庫(kù)

Libco是微信后臺(tái)大規(guī)模使用的C/C++協(xié)程庫(kù),2013年至今穩(wěn)定運(yùn)行在微信后臺(tái)的數(shù)萬(wàn)臺(tái)機(jī)器上肴熏。Libco提供了完善的協(xié)程編程接口鬼雀、常用的Socket族函數(shù)Hook等,使得業(yè)務(wù)可用同步編程模型快速迭代開發(fā)蛙吏。

早期微信后臺(tái)因?yàn)闃I(yè)務(wù)需求復(fù)雜多變源哩、產(chǎn)品要求快速迭代等需求,大部分模塊都采用了半同步半異步模型鸦做。接入層為異步模型励烦,業(yè)務(wù)邏輯層則是同步的多進(jìn)程或多線程模型,業(yè)務(wù)邏輯的并發(fā)能力只有幾十到幾百泼诱。隨著微信業(yè)務(wù)的增長(zhǎng)坛掠,系統(tǒng)規(guī)模變得越來(lái)越龐大,每個(gè)模塊很容易受到后端服務(wù)/網(wǎng)絡(luò)抖動(dòng)的影響√胨ǎ基于這樣的背景舷蒲,微信開發(fā)了Libco,實(shí)現(xiàn)了對(duì)業(yè)務(wù)邏輯非侵入的異步化改造友多。

GitHub地址:

https://github.com/tencent/libco

35牲平、PhxPaxos:生產(chǎn)級(jí)paxos類庫(kù)

PhxPaxos是微信后臺(tái)團(tuán)隊(duì)自主研發(fā)的一套基于Paxos協(xié)議的多機(jī)狀態(tài)拷貝類庫(kù)。它以庫(kù)函數(shù)的方式嵌入到開發(fā)者的代碼當(dāng)中域滥,使得一些單機(jī)狀態(tài)服務(wù)可以擴(kuò)展到多機(jī)器纵柿,從而獲得強(qiáng)一致性的多副本以及自動(dòng)容災(zāi)的特性。PhxPaxos在微信服務(wù)里面經(jīng)過(guò)一系列的工程驗(yàn)證和大量的惡劣環(huán)境下的測(cè)試启绰,在一致性的保證上極為健壯昂儒。

PhxPaxos的特性包括使用基于消息傳遞機(jī)制的純異步工程架構(gòu)、每次寫盤使用fsync嚴(yán)格保證正確性委可、支持Checkpoint以及對(duì)PaxosLog的自動(dòng)清理渊跋、使用點(diǎn)對(duì)點(diǎn)流式協(xié)議進(jìn)行快速學(xué)習(xí)、支持跨機(jī)器的Checkpoint自動(dòng)拉取撤缴、內(nèi)置Master選舉功能刹枉、自適應(yīng)的過(guò)載保護(hù)等叽唱。

GitHub地址:

https://github.com/tencent-wechat/phxpaxos

36屈呕、PhxSQL:高可用、強(qiáng)一致的MySQL集群

PhxSQL是一個(gè)兼容MySQL棺亭、服務(wù)高可用虎眨、數(shù)據(jù)強(qiáng)一致的關(guān)系型數(shù)據(jù)庫(kù)集群。PhxSQL以單Master多Slave方式部署镶摘,在集群內(nèi)超過(guò)一半機(jī)器存活的情況下嗽桩、即可提供服務(wù),并且自身實(shí)現(xiàn)自動(dòng)Master切換凄敢、保證數(shù)據(jù)一致性碌冶。PhxSQL不依賴于ZooKeeper等任何第三方做存活檢測(cè)及選主。PhxSQL基于MySQL的一個(gè)分支Percona 5.6開發(fā)涝缝,功能和實(shí)現(xiàn)與MySQL基本一致扑庞。

MySQL主備在主機(jī)上支持完整SQL、全局事務(wù)拒逮、以repeatable read和serializable級(jí)別的事務(wù)隔離罐氨,在金融、帳號(hào)等關(guān)鍵業(yè)務(wù)中有巨大的價(jià)值滩援。但是MySQL傳統(tǒng)主備方案也有其缺點(diǎn)栅隐。最明顯的就是主機(jī)故障后的自動(dòng)換主和新舊主數(shù)據(jù)一致性,即所謂的一致性和可用性。為了解決這個(gè)問(wèn)題租悄,并同時(shí)完全兼容MySQL谨究,微信在MySQL的基礎(chǔ)上應(yīng)用Paxos,設(shè)計(jì)和開發(fā)了PhxSQL泣棋。

GitHub地址:

https://github.com/tencent-wechat/phxsql

37记盒、PhxRPC:RPC框架

PhxRPC是微信后臺(tái)團(tuán)隊(duì)推出的一個(gè)簡(jiǎn)潔小巧的RPC框架,編譯生成的庫(kù)只有450K(編譯只依賴第三方庫(kù)Protobuf)外傅。PhxRPC的特性如下:

使用Protobuf作為IDL用于描述RPC接口以及通信數(shù)據(jù)結(jié)構(gòu)纪吮。

基于Protobuf文件自動(dòng)生成Client以及Server接口,用于Client的構(gòu)建萎胰,以及Server的實(shí)現(xiàn)碾盟。

半同步半異步模式,采用獨(dú)立多IO線程技竟,通過(guò)Epoll管理請(qǐng)求的接入以及讀寫冰肴,工作線程采用固定線程池。IO線程與工作線程通過(guò)內(nèi)存隊(duì)列進(jìn)行交互榔组。

提供完善的過(guò)載保護(hù)熙尉,無(wú)需配置閾值,支持動(dòng)態(tài)自適應(yīng)拒絕請(qǐng)求搓扯。

提供簡(jiǎn)易的Client/Server配置讀入方式检痰。

基于lambda函數(shù)實(shí)現(xiàn)并發(fā)訪問(wèn)Server,可以非常方便地實(shí)現(xiàn)Google提出的 Backup Requests 模式锨推。

GitHub地址:

https://github.com/tencent-wechat/phxrpc

38铅歼、Mars:終端跨平臺(tái)網(wǎng)絡(luò)組件

Mars是微信官方的終端基礎(chǔ)組件,是一個(gè)結(jié)合移動(dòng)應(yīng)用所設(shè)計(jì)的基于Socket層的解決方案换可,在網(wǎng)絡(luò)調(diào)優(yōu)方面有更好的可控性椎椰,采用C++開發(fā)。目前已接入微信 Android沾鳄、iOS慨飘、Mac、Windows译荞、WP 等客戶端瓤的。

在微信中,任何網(wǎng)絡(luò)實(shí)現(xiàn)的bug都可能導(dǎo)致重大事故磁椒。例如微信的容災(zāi)實(shí)現(xiàn)堤瘤,如果因?yàn)榘姹镜膶?shí)現(xiàn)差異,導(dǎo)致某些版本上無(wú)法進(jìn)行容災(zāi)恢復(fù)浆熔,將會(huì)嚴(yán)重的影響用戶體驗(yàn)本辐。微信研發(fā)了統(tǒng)一的跨平臺(tái)的網(wǎng)絡(luò)基礎(chǔ)庫(kù)Mars來(lái)滿足發(fā)展的需要桥帆,一方面,基礎(chǔ)組件可以提高研發(fā)效率慎皱,另外一方面老虫,也可以提高系統(tǒng)的穩(wěn)健性。

在設(shè)計(jì)上茫多,Mars以跨平臺(tái)祈匙、跨業(yè)務(wù)為前提,遵從高可用天揖,高性能夺欲,負(fù)載均衡的設(shè)計(jì)原則。以網(wǎng)絡(luò)的可用性為例今膊,移動(dòng)互聯(lián)網(wǎng)有著丟包率高些阅、帶寬受限、延遲波動(dòng)斑唬、第三方影響等特點(diǎn)市埋,使得網(wǎng)絡(luò)的可用性,尤其是弱網(wǎng)絡(luò)下的可用性變得尤為關(guān)鍵恕刘。Mars 的STN組件作為基于 socket 層的網(wǎng)絡(luò)解決方案缤谎,在很多細(xì)節(jié)設(shè)計(jì)上會(huì)充分考慮弱網(wǎng)絡(luò)下的可用性。

GitHub地址:

https://github.com/Tencent/mars

39褐着、熱補(bǔ)丁技術(shù)Tinker

Tinker是微信官方的Android熱補(bǔ)丁解決方案坷澡,它支持動(dòng)態(tài)下發(fā)代碼、So庫(kù)以及資源献起,讓應(yīng)用能夠在不需要重新安裝的情況下實(shí)現(xiàn)更新洋访。

當(dāng)前市面的熱補(bǔ)丁方案有很多镣陕,其中比較出名的有阿里的AndFix谴餐、美團(tuán)的Robust以及QZone的超級(jí)補(bǔ)丁方案,但它們都存在無(wú)法解決的問(wèn)題呆抑,所以微信研發(fā)了自己的解決方案岂嗓。總的來(lái)說(shuō)鹊碍,AndFix作為native解決方案厌殉,首先面臨的是穩(wěn)定性與兼容性問(wèn)題,更重要的是它無(wú)法實(shí)現(xiàn)類替換侈咕,它是需要大量額外的開發(fā)成本的公罕。而Robust兼容性與成功率較高,但是它與AndFix一樣耀销,無(wú)法新增變量與類只能用做的bugFix方案楼眷。Qzone方案可以做到發(fā)布產(chǎn)品功能,但是它主要問(wèn)題是插樁帶來(lái)Dalvik的性能問(wèn)題,以及為了解決Art下內(nèi)存地址問(wèn)題而導(dǎo)致補(bǔ)丁包急速增大的罐柳。

Tinker的具體設(shè)計(jì)目標(biāo)如下:

開發(fā)透明:開發(fā)者無(wú)需關(guān)心是否在補(bǔ)丁版本掌腰,他可以隨意修改,不由框架限制张吉。

性能無(wú)影響:補(bǔ)丁框架不能對(duì)應(yīng)用帶來(lái)性能損耗齿梁。

完整支持:支持代碼,So 庫(kù)以及資源的修復(fù)肮蛹,可以發(fā)布功能勺择。

補(bǔ)丁大小較小:補(bǔ)丁大小應(yīng)該盡量的小伦忠,提高升級(jí)率酵幕。

穩(wěn)定,兼容性好:保證微信的數(shù)億用戶的使用缓苛,盡量減少反射芳撒。

GitHub地址:

https://github.com/Tencent/tinker

美團(tuán)點(diǎn)評(píng)開源軟件

1DBProxy:數(shù)據(jù)庫(kù)中間件

DBProxy是由美團(tuán)點(diǎn)評(píng)公司技術(shù)工程部DBA團(tuán)隊(duì)(北京)開發(fā)維護(hù)的一個(gè)基于MySQL協(xié)議的數(shù)據(jù)中間層未桥。它在奇虎360公司開源的Atlas基礎(chǔ)上笔刹,修改了部分bug,并且添加了很多特性冬耿。

通過(guò)數(shù)據(jù)庫(kù)中間件舌菜,可以對(duì)數(shù)據(jù)庫(kù)進(jìn)行水平擴(kuò)展,由原來(lái)單臺(tái)數(shù)據(jù)庫(kù)擴(kuò)展到多臺(tái)數(shù)據(jù)庫(kù)亦镶,數(shù)據(jù)庫(kù)中間件通過(guò)路由規(guī)則將數(shù)據(jù)的訪問(wèn)請(qǐng)求路由到其中一臺(tái)數(shù)據(jù)庫(kù)上日月,從而大大降低了數(shù)據(jù)訪問(wèn)的瓶頸和單臺(tái)數(shù)據(jù)庫(kù)的壓力。通過(guò)數(shù)據(jù)庫(kù)中間件還可以將DBA和研發(fā)進(jìn)行解耦缤骨,提升DBA運(yùn)維效率爱咬。

Github地址:

https://github.com/Meituan-Dianping/DBProxy

2SQLAdvisor:SQL優(yōu)化工具

SQLAdvisor 是由美團(tuán)點(diǎn)評(píng)公司北京DBA團(tuán)隊(duì)開發(fā)維護(hù)的 SQL 優(yōu)化工具:輸入SQL绊起,輸出索引優(yōu)化建議精拟。 它基于 MySQL 原生詞法解析,再結(jié)合 SQL 中的 where 條件以及字段選擇度虱歪、聚合條件蜂绎、多表 Join 關(guān)系等最終輸出最優(yōu)的索引優(yōu)化建議。目前 SQLAdvisor 在公司內(nèi)部大量使用笋鄙,較為成熟师枣、穩(wěn)定。

GitHub地址:https://github.com/Meituan-Dianping/SQLAdvisor

華為開源軟件

1萧落、HBase 的 Spark SQL Astro

Spark SQL on HBase package 項(xiàng)目又名 Astro践美,端到端整合了 Spark劳殖,Spark SQL和HBase的能力,有助于推動(dòng)幫助Spark進(jìn)入NoSQL的廣泛客戶群拨脉,并提供強(qiáng)大的在線查詢和分析以及在垂直企業(yè)大規(guī)模數(shù)據(jù)處理能力哆姻。

Apache HBase 是數(shù)據(jù)在 HDFS 上的 Key-Value 存儲(chǔ)。它用來(lái)給 Google 的 Big Table 建模玫膀,并提供了 API 用于查詢數(shù)據(jù)矛缨。這些數(shù)據(jù)通過(guò)它的“row keys”來(lái)組織、區(qū)分和發(fā)布帖旨。在每個(gè)分區(qū)上箕昭,數(shù)據(jù)被指定的“列”數(shù)據(jù)集合“列族”物理分區(qū)。這些數(shù)據(jù)模型是寬且零散的解阅,在這些表中列是動(dòng)態(tài)的落竹,零散的。

詳情:https://www.oschina.net/p/huawei-astro

2货抄、LiteOS:華為物聯(lián)網(wǎng)操作系統(tǒng)

Huawei LiteOS 是華為面向IoT領(lǐng)域述召,構(gòu)建的"統(tǒng)一物聯(lián)網(wǎng)操作系統(tǒng)和中間件軟件平臺(tái)",以輕量級(jí)(內(nèi)核小于10k)蟹地、低功耗(1節(jié)5號(hào)電池最多可以工作5年)积暖,快速啟動(dòng),互聯(lián)互通怪与,安全等關(guān)鍵能力夺刑,為開發(fā)者提供 "一站式" 完整軟件平臺(tái),有效降低開發(fā)門檻分别、縮短開發(fā)周期遍愿。

Huawei LiteOS 目前主要應(yīng)用于智能家居、穿戴式耘斩、車聯(lián)網(wǎng)沼填、智能抄表、工業(yè)互聯(lián)網(wǎng)等 IoT 領(lǐng)域的智能硬件上煌往。

詳情:https://www.oschina.net/p/liteos

GitHub地址:

https://github.com/Huawei/Huawei_LiteOS_Kernel

3倾哺、Apache CarbonData:Hadoop 原生文件格式

CarbonData 是一個(gè)為了更快的交互查詢而生的新的Hadoop原生文件格式,用于大數(shù)據(jù)的快速分析和多維度查詢hadoop本地?cái)?shù)據(jù)存儲(chǔ)設(shè)計(jì)刽脖。

在客戶基準(zhǔn)上,CarbonData已經(jīng)展示出管理運(yùn)行在非常低成本的硬件上的PB級(jí)別的數(shù)據(jù)忌愚,并且比目前的開源解決方案快了近10倍曲管。

詳情:https://www.oschina.net/p/carbondata

4ServiceComb:多功能微服務(wù)框架

ServiceComb 是華為開源的一套包含代碼框架生成硕糊,服務(wù)注冊(cè)發(fā)現(xiàn)院水,負(fù)載均衡腊徙,服務(wù)可靠性(容錯(cuò)熔斷,限流降級(jí)檬某,調(diào)用鏈追蹤)等功能的微服務(wù)框架撬腾。

ServiceComb 是華為 FusionCloud 解決方案中 PaaS 平臺(tái)的重要組成部分,內(nèi)置了高可靠性運(yùn)行恢恼、動(dòng)態(tài)治理等運(yùn)維階段的高級(jí)能力民傻。ServiceComb 目前已應(yīng)用于華為自身 IT 的多個(gè)核心業(yè)務(wù),幫助華為極大地提升了云原生應(yīng)用的開發(fā)效率场斑。

ServiceComb 包括應(yīng)用框架代碼生成漓踢,服務(wù)注冊(cè)發(fā)現(xiàn)、服務(wù)配置管理漏隐、服務(wù)監(jiān)控喧半、服務(wù)調(diào)用追蹤、多通信協(xié)議支持等功能青责,具有服務(wù)化契約增強(qiáng)挺据、響應(yīng)式編程范式及多語(yǔ)言 SDK 支持等優(yōu)勢(shì)特性。ServiceComb 基于開放的架構(gòu)脖隶,不僅可以支持開發(fā)者根據(jù)自身業(yè)務(wù)需求定制業(yè)務(wù)插件吴菠,而且還兼容多種業(yè)界流行的微服務(wù)框架。

詳情:https://www.oschina.net/p/servicecomb

5浩村、hindex:HBase 二級(jí)索引

hindex 是華為公司開發(fā)的純 Java 編寫的 HBase 二級(jí)索引做葵,兼容 Apache HBase 0.94.8。

當(dāng)前的特性如下:

多個(gè)表索引

多個(gè)列索引

基于部分列值的索引

使用索引掃描等于和范圍條件

批量加載數(shù)據(jù)來(lái)索引表(索引完成批量加載)

詳情:https://www.oschina.net/p/hindex

GitHub地址:

https://github.com/Huawei-Hadoop/hindex

6心墅、oct:開放容器測(cè)試框架

oct 是用于開放容器的測(cè)試用例和框架酿矢,用 Go 語(yǔ)言開發(fā)。

ocp-testing 項(xiàng)目的目標(biāo)是怎燥,通過(guò)提供全局測(cè)試框架給所有的容器項(xiàng)目瘫筐,來(lái)提高開放容器項(xiàng)目。測(cè)試包括铐姚,ocp 規(guī)范策肝,容器功能和容器性能。

詳情:https://www.oschina.net/p/oct

GitHub地址:

https://github.com/huawei-openlab/oct

7隐绵、streamDM:用于 Spark Streaming 的數(shù)據(jù)挖掘

streamDM之众,是由華為諾亞方舟實(shí)驗(yàn)室開源的使用 Spark Streaming 挖掘大數(shù)據(jù)的開源軟件。

大數(shù)據(jù)流學(xué)習(xí)(Big Data stream learning)比批量或離線學(xué)習(xí)更富有挑戰(zhàn)性依许,因?yàn)閿?shù)據(jù)在流動(dòng)的過(guò)程中不太可能保持同一種分布棺禾。而且,數(shù)據(jù)流中的每一個(gè)樣本只能被處理一次峭跳,否則它們就需要占用內(nèi)存進(jìn)行總結(jié)膘婶,同時(shí)該學(xué)習(xí)算法也必須非常高效缺前。

Spark Streaming是核心Spark API 的一個(gè)擴(kuò)展,它能讓多個(gè)源的數(shù)據(jù)流處理成為可能悬襟。Spark 是一個(gè)可擴(kuò)展可編程的框架衅码,用于大規(guī)模分布式數(shù)據(jù)集(也稱為彈性分布式數(shù)據(jù)集(RDD))處理。Spark Streaming 接收輸入的數(shù)據(jù)流后將數(shù)據(jù)分批脊岳,再由 Spark 引擎處理逝段,生成結(jié)果。

Spark Streaming 數(shù)據(jù)被編成一個(gè) DStreams 序列逸绎,內(nèi)在地表示成一個(gè) RDD 序列惹恃。

詳情:https://www.oschina.net/p/stream-dm

GitHub地址:

https://github.com/huawei-noah/streamDM/

8StreamCQL:流處理平臺(tái)查詢語(yǔ)言

StreamCQL作為華為FusionInsight產(chǎn)品的重要組件棺牧,提供了在分布式流處理平臺(tái)上的類SQL查詢能力巫糙,包括窗口計(jì)算等高級(jí)特性,在開源之前已經(jīng)在電信颊乘、金融等多個(gè)行業(yè)成功應(yīng)用参淹,簡(jiǎn)化開發(fā)工作量數(shù)倍。

StreamCQL是一個(gè)類SQL的聲明式語(yǔ)言乏悄,它用于在流(streams)和可更新關(guān)系(updatable relation)上的可持續(xù)查詢浙值,目的是在流處理平臺(tái)分布式計(jì)算能力之上,通過(guò)使用簡(jiǎn)易通用的類SQL語(yǔ)言檩小,使得業(yè)務(wù)邏輯的開發(fā)變得統(tǒng)一和簡(jiǎn)易开呐。在架構(gòu)上,除了支持主流的流處理平臺(tái)Storm规求,它支持?jǐn)U展到多種流處理引擎之上筐付,如Flink。在功能上阻肿,StreamCQL彌補(bǔ)了傳統(tǒng)流處理平臺(tái)上一些基本業(yè)務(wù)功能的缺失瓦戚,除了過(guò)濾、轉(zhuǎn)換等基本SQL能力之外, 還引入基于內(nèi)存窗口的計(jì)算丛塌、統(tǒng)計(jì)较解、關(guān)聯(lián)等能力,以及流數(shù)據(jù)的拆分赴邻、合并等功能印衔。后期StreamCQL的發(fā)展方向包括:模式匹配、CQLServer(CQL遠(yuǎn)程提交乍楚,多語(yǔ)言接口当编,JDBC接口)、可靠性增強(qiáng)等徒溪。

詳情:https://www.oschina.net/p/streamcql

GitHub地址:

https://github.com/HuaweiBigData/StreamCQL

9忿偷、96Boards:ARM 開放平臺(tái)規(guī)范

96Boards 是 ARM 開放平臺(tái)規(guī)范,是第一個(gè)定義 Cortex-A 開發(fā)板的開放規(guī)范臊泌,Cortex-A 是 ARM SoC 供應(yīng)商提供的低耗能鲤桥,小腳本 32 位和 64 位開發(fā)板。標(biāo)準(zhǔn)化擴(kuò)展 Peripheral I/O 總線渠概,顯示和相機(jī)茶凳,允許硬件生態(tài)系統(tǒng)開發(fā)一系列兼容組件的產(chǎn)品,在其生命周期可以在任意兼容 96Boards 的平臺(tái)上使用播揪。

詳情:https://www.oschina.net/p/96boards

寫給讀者

越來(lái)越多的公司正走向開源贮喧,編程語(yǔ)言、操作系統(tǒng)猪狈、框架箱沦、平臺(tái)、數(shù)據(jù)庫(kù)等方方面面開源軟件也越來(lái)越多雇庙,這些開源項(xiàng)目為我們的工作帶來(lái)很多方便谓形,可以直接“拿來(lái)”解決技術(shù)問(wèn)題,不用重復(fù)造輪子疆前,提高效率的同時(shí)也極大地降低了研發(fā)成本寒跳。

除了軟件可以開源之外,研發(fā)實(shí)踐也可以開源共享竹椒,第六屆TOP100全球軟件案例研究峰會(huì)將于11月9-12日在北京國(guó)家會(huì)議中心舉辦童太,甄選100個(gè)本年度最具行業(yè)代表性的軟件研發(fā)案例,現(xiàn)場(chǎng)解讀其解決方案和背后的技術(shù)邏輯胸完,幫助研發(fā)團(tuán)隊(duì)快速提高效能书释。

更多TOP100案例信息及日程請(qǐng)前往[官網(wǎng)]查閱。4天時(shí)間集中分享2017年最值得學(xué)習(xí)的100個(gè)研發(fā)案例實(shí)踐舶吗。本平臺(tái)共送出10張開幕式單天免費(fèi)體驗(yàn)票征冷,登錄TOP100summit官網(wǎng)即可申請(qǐng),數(shù)量有限誓琼,先到先得检激。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末羞芍,一起剝皮案震驚了整個(gè)濱河市放祟,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌吠昭,老刑警劉巖傲隶,帶你破解...
    沈念sama閱讀 218,858評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件饺律,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡跺株,警方通過(guò)查閱死者的電腦和手機(jī)复濒,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,372評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門脖卖,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人巧颈,你說(shuō)我怎么就攤上這事畦木。” “怎么了砸泛?”我有些...
    開封第一講書人閱讀 165,282評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵十籍,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我唇礁,道長(zhǎng)勾栗,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,842評(píng)論 1 295
  • 正文 為了忘掉前任盏筐,我火速辦了婚禮围俘,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘机断。我一直安慰自己楷拳,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,857評(píng)論 6 392
  • 文/花漫 我一把揭開白布吏奸。 她就那樣靜靜地躺著欢揖,像睡著了一般。 火紅的嫁衣襯著肌膚如雪奋蔚。 梳的紋絲不亂的頭發(fā)上她混,一...
    開封第一講書人閱讀 51,679評(píng)論 1 305
  • 那天,我揣著相機(jī)與錄音泊碑,去河邊找鬼坤按。 笑死,一個(gè)胖子當(dāng)著我的面吹牛馒过,可吹牛的內(nèi)容都是我干的臭脓。 我是一名探鬼主播,決...
    沈念sama閱讀 40,406評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼腹忽,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼来累!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起窘奏,我...
    開封第一講書人閱讀 39,311評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤嘹锁,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后着裹,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體领猾,經(jīng)...
    沈念sama閱讀 45,767評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,945評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了摔竿。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片面粮。...
    茶點(diǎn)故事閱讀 40,090評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖拯坟,靈堂內(nèi)的尸體忽然破棺而出但金,到底是詐尸還是另有隱情韭山,我是刑警寧澤郁季,帶...
    沈念sama閱讀 35,785評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站钱磅,受9級(jí)特大地震影響梦裂,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜盖淡,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,420評(píng)論 3 331
  • 文/蒙蒙 一年柠、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧褪迟,春花似錦冗恨、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,988評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至心俗,卻和暖如春傲武,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背城榛。 一陣腳步聲響...
    開封第一講書人閱讀 33,101評(píng)論 1 271
  • 我被黑心中介騙來(lái)泰國(guó)打工揪利, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人狠持。 一個(gè)月前我還...
    沈念sama閱讀 48,298評(píng)論 3 372
  • 正文 我出身青樓疟位,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親喘垂。 傳聞我的和親對(duì)象是個(gè)殘疾皇子甜刻,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,033評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容