但無論什么平臺(tái)柿扣，他們的學(xué)習(xí)曲線其實(shí)是類似的，都要經(jīng)歷差不多如下的環(huán)節(jié)：
學(xué)習(xí)對(duì)應(yīng)平臺(tái)的編程語言闺魏，如：C/C++未状，Java，Object C舷胜，Javascript 等
熟悉對(duì)應(yīng)平臺(tái)提供的 API娩践，如：UI 庫(kù)，網(wǎng)絡(luò)烹骨，文件翻伺，數(shù)據(jù)庫(kù)， 圖片處理沮焕，多媒體處理 等等
掌握平臺(tái)相關(guān)的特性吨岭、框架和原理，如：Windows 的 WINSOCK峦树，ODBC辣辫，WPF 等，Unix 的設(shè)計(jì)哲學(xué)魁巩，Android 的四大組件急灭，iOS 的 MVC 模式等等
通過具體的項(xiàng)目，熟悉和練手谷遂，達(dá)到可完成任意功能的開發(fā)
當(dāng)你已經(jīng)走到第 4 步了后葬馋，往往就會(huì)感覺遇到了瓶頸，產(chǎn)生如文章開頭的問題肾扰，下一步何去何從 畴嘶？
“基于平臺(tái)的 API 做應(yīng)用開發(fā)，并不是一個(gè)可以走得多遠(yuǎn)的方向集晚，真正有價(jià)值的地方在于與具體的業(yè)務(wù)方向結(jié)合”窗悯，比如：
網(wǎng)絡(luò)安全
音視頻
智能硬件
深度學(xué)習(xí)
大數(shù)據(jù)
其他（比如：金融、通信等）
2.音視頻開發(fā)包括哪些內(nèi)容
雖然一篇文章無法把音視頻開發(fā)的知識(shí)點(diǎn)都介紹清楚偷拔，但是大概的學(xué)習(xí)路線還是可以梳理一下的蒋院，我們先看看下面這張圖：
其實(shí)說白了亏钩，音視頻開發(fā)，就是要掌握?qǐng)D像悦污、音頻铸屉、視頻的基礎(chǔ)知識(shí)，并且學(xué)會(huì)如何對(duì)它們進(jìn)行采集切端、渲染彻坛、處理、傳輸?shù)纫幌盗械拈_發(fā)和應(yīng)用踏枣。
采集：它解決的是昌屉，數(shù)據(jù)從哪里來的問題
渲染：它解決的是，數(shù)據(jù)怎么展現(xiàn)的問題
處理：它解決的是茵瀑，數(shù)據(jù)怎么加工的問題
傳輸：它解決的是间驮，數(shù)據(jù)怎么共享的問題
每一個(gè)門類，都可以深挖马昨，衍生出一個(gè)又一個(gè)充滿技術(shù)挑戰(zhàn)的話題竞帽，比如：如何更高效地渲染畫面、如何提高音視頻的壓縮比鸿捧，如何優(yōu)化弱網(wǎng)下的音視頻數(shù)據(jù)傳輸?shù)鹊取?/p>
其實(shí)屹篓，音視頻開發(fā)的技術(shù)積累，也沒有那么難匙奴，帶著問題去 Google堆巧，帶著任務(wù)去實(shí)踐，一切都不是問題泼菌，我們就從上面說的 4 個(gè)方向谍肤，逐個(gè)探索一下，有哪些知識(shí)點(diǎn)哗伯，是要我們?nèi)チ私夂驼莆盏摹?/p>
2.1 采集
采集荒揣，它解決的是，數(shù)據(jù)從哪里來的問題焊刹，那么乳附，數(shù)據(jù)究竟從哪里來的呢 ？
其實(shí)無論在哪個(gè)平臺(tái)伴澄，圖像、視頻最初都是來自攝像頭阱缓，而音頻最初都是來自麥克風(fēng)非凌，因此，做音視頻采集荆针，就要掌握如下的技術(shù)知識(shí)：
1. 系統(tǒng)的攝像頭采集接口是什么敞嗡，怎么用 颁糟？
比如：
Windows：DirectShow Linux：V4L2 Android：Camera iOS：AVCaptureSession
2. 系統(tǒng)的攝像頭采集的參數(shù)怎么配置，都是什么含義 喉悴？
比如：分辨率棱貌、幀率、預(yù)覽方向箕肃、對(duì)焦婚脱、閃光燈 等
3. 系統(tǒng)的攝像頭輸出的圖像/視頻數(shù)據(jù)，是什么格式勺像，不同格式有什么區(qū)別 障贸？
比如：圖片：JPEG，視頻數(shù)據(jù)：NV21吟宦，NV12篮洁，I420 等
4. 系統(tǒng)的麥克風(fēng)采集接口是什么，怎么用 殃姓？
比如：
Windows：DirectShow Linux：ALSA & OSS Android：AudioRecord iOS：Audio Unit
5. 系統(tǒng)的麥克風(fēng)采集參數(shù)怎么配置袁波，都是什么含義 ？
比如：采樣率蜗侈，通道號(hào)篷牌，位寬 等
6. 系統(tǒng)的麥克風(fēng)輸出的音頻數(shù)據(jù)，是什么格式宛篇？
比如：PCM
2.2 渲染
渲染娃磺，它解決的是，數(shù)據(jù)怎么展現(xiàn)的問題叫倍，那么偷卧，數(shù)據(jù)究竟怎么展現(xiàn)呢 ？
其實(shí)無論在哪個(gè)平臺(tái)吆倦，圖像听诸、視頻最終都是要繪制到視圖上面，而音頻最終都是要輸出到揚(yáng)聲器蚕泽，因此晌梨，做音視頻渲染，就要掌握如下的技術(shù)知識(shí)：
1. 系統(tǒng)提供了哪些 API 可以繪制一張圖片或者一幀 YUV 圖像數(shù)據(jù)的 须妻？
比如：
Windows：DirectDraw, Direct3D, GDI仔蝌，OpenGL 等 Linux： GDI， OpenGL 等 Android：ImageView荒吏，SurfaceView敛惊，TextureView，OpenGL 等 iOS： CoreGraphics绰更，OpenGL 等
2. 系統(tǒng)提供了哪些 API 可以播放一個(gè) mp3 或者 pcm 數(shù)據(jù) 瞧挤？
比如：
Windows：DirectSound 等 Linux：ALSA & OSS 等 Android：AudioTrack 等 iOS： AudioQueue 等
2.3 處理
處理锡宋，它解決的是，數(shù)據(jù)怎么加工的問題特恬，那么执俩，數(shù)據(jù)究竟可以怎么加工呢 ？
首先癌刽，我們看看圖像/音視頻的數(shù)據(jù)可以做哪些加工 役首？
其實(shí)無論在哪個(gè)平臺(tái)，圖像和音視頻的加工妒穴，除了系統(tǒng)的 API宋税，大多數(shù)都會(huì)依賴一些跨平臺(tái)的第三方庫(kù)的，通過掌握這些第三方庫(kù)的原理和使用方法讼油，基本上就可以滿足日常音視頻處理工作了杰赛，這些庫(kù)包括但不限于：
1.圖像處理：OpenGL，OpenCV矮台，libyuv乏屯，ffmpeg 等
2.視頻編解碼：x264，OpenH264瘦赫，ffmpeg 等
3.音頻處理：speexdsp辰晕，ffmpeg 等
4.音頻編解碼：libfaac，opus确虱，speex含友，ffmpeg 等
因此，學(xué)習(xí)和掌握這些第三方庫(kù)的使用校辩，非常有必要窘问。?
2.4 傳輸
傳輸，它解決的是宜咒，數(shù)據(jù)怎么共享的問題惠赫，那么，數(shù)據(jù)究竟怎么共享呢 故黑？
共享儿咱，最重要的一點(diǎn)，就是協(xié)議场晶。
我覺得互聯(lián)網(wǎng)之所以能夠如此蓬勃地發(fā)展混埠，將整個(gè)世界都緊密聯(lián)系在一起诗轻，其實(shí)是離不開 W3C 這個(gè)委員會(huì)的巨大貢獻(xiàn)的，因?yàn)闊o論什么數(shù)據(jù)，要想在不同的國(guó)家使套、不同設(shè)備之間互聯(lián)互通鞠柄，離不開 “標(biāo)準(zhǔn)”，有了 “標(biāo)準(zhǔn)”厌杜，大家就能互相讀懂對(duì)方奉呛。
因此夯尽，研究音視頻傳輸，其實(shí)就是在研究協(xié)議匙握，具體有哪些協(xié)議呢 咆槽？
1.音視頻在傳輸前，怎么打包的圈纺，如：FLV秦忿，ts，mpeg4 等
2.直播推流蛾娶，有哪些常見的協(xié)議灯谣，如：RTMP，RSTP 等
3.直播拉流蛔琅，有哪些常見的協(xié)議胎许，如：RTMP，HLS罗售，HDL辜窑，RTSP 等
4.基于 UDP 的協(xié)議有哪些？如：RTP/RTCP莽囤，QUIC 等
互聯(lián)網(wǎng)環(huán)境下的音視頻的傳輸谬擦，是一個(gè)非常有挑戰(zhàn)和價(jià)值的方向，為了解決弱網(wǎng)下的傳輸延時(shí)朽缎、卡頓惨远，提高用戶體驗(yàn)，整個(gè)業(yè)界都在不斷地進(jìn)行著深入的探索和優(yōu)化话肖。?
