工作兩年了, 工作內(nèi)容和Camera相關(guān)的居多, 所以有必要對Android Camera流程進(jìn)行深入了解, 提高自己閱讀源碼能力以及對Android系統(tǒng)架構(gòu)的理解. 本文主要會講Android系統(tǒng)中, App打開Camera這一過程中, 到Framework以及HAL層的完整流程, 以及涉及的相關(guān)代碼路徑.
注: 本文流程為Camera API1到HAL1, 代碼以及路徑都基于高通平臺Android 7.1源碼, API2到HAL3大體流程和HAL1相近, 但API方面差異很大, 后續(xù)再補(bǔ)上.
總覽
先通過我自己畫的一張圖片, 來看下App從調(diào)用Camera.open()到HAL層的流程.
溫馨提示: 圖片太大, 請通過查看原圖來進(jìn)行瀏覽
源碼位置以及所屬模塊
frameworks/base/core/java/android/hardware/Camera.java
Camera.java為App直接調(diào)用的接口, 編譯為framework.jar
frameworks/base/core/jni/android_hardware_Camera.cpp
此部分為Java調(diào)用的JNI native部分代碼, 編譯為動態(tài)庫 libandroid_runtime.so
frameworks/av/camera/Camera.cpp
frameworks/av/camera/CameraBase.cpp
App連接到CameraService部分的Client, 編譯為動態(tài)庫 libcamera_client
frameworks/av/services/camera/libcameraservice/CameraService.cpp
frameworks/av/services/camera/libcameraservice/CameraService.h
這個(gè)就是CameraService的代碼了, App通過Binder來連接, 后面會詳細(xì)講一下連接過程比較難理解的地方, 編譯為動態(tài)庫 libcameraservice.so
frameworks/av/services/camera/libcameraservice/api1/CameraClient.cpp
這部分就是CameraService端的Client, 用于調(diào)用HAL層的接口, 編譯后同樣在 libcameraservice.so 中.
frameworks/av/services/camera/libcameraservice/device1/CameraHardwareInterface.h
Google定義的HAL接口, 由芯片廠商去實(shí)現(xiàn), 以上代碼是Google寫的Android系統(tǒng)代碼, HAL層及以下則是芯片廠商寫的代碼,
hardware/qcom/camera/QCamera2/HAL/QCamera2Factory.cpp
高通平臺特有代碼, 用于創(chuàng)建不同HAL版本的實(shí)例, 編譯為動態(tài)庫 camera.xxx.so, xxx代表平臺, 比如msm8953則編譯為 camera.msm8953.so
hardware/qcom/camera/QCamera2/HAL/QCamera2HWI.cpp
高通HAL的實(shí)現(xiàn)代碼, 即QCamera2HardwareInterface的縮寫, 上圖中的QCamera2HardwareInterface.cpp應(yīng)該為QCamera2HWI.cpp, 由于visio畫的圖源文件弄丟了, 所以沒法改, 但要注意, QCamera2HWI.cpp中定義的類名就是QCamera2HardwareInterface, 此部分代碼同樣是編譯到動態(tài)庫 camera.xxx.so 中.
hardware/qcom/camera/QCamera2/stack/mm-camera-interface/src/mm_camera_interface.c
高通mm-camera接口, HAL層再往下就是和驅(qū)動相關(guān)的mm-camera了
vendor/qcom/proprietary/mm-camera/mm-camera2/
高通mm-camera部分代碼, 由于我不是做驅(qū)動相關(guān)的, 對這部分不熟, 就不介紹了, mm-camera往下就是kernel部分了,就相當(dāng)于到了Android最底層.
hardware/libhardware/hardware.c
此部分代碼用來加載Camera的HAL層動態(tài)庫, 加載之前首先會在幾個(gè)列出的路徑下選擇對應(yīng)的so庫, 找到后通過dlopen進(jìn)行調(diào)用, 得到相關(guān)的句柄.
注意點(diǎn)
上面流程中, 有如下幾個(gè)點(diǎn)需要注意:
獲取CameraModule的流程
在上圖中, CameraService.h中, makeClient()過后, 會調(diào)用 CameraClient 的initialize(CameraModule *module)函數(shù), 其中CameraModule實(shí)例化則需要camera_module_t *rawModuel作為參數(shù), rawModule則是通過dlopen()方式和HAL層的動態(tài)庫關(guān)聯(lián)起來(camera.xxx.so), 因此HAL層和CameraService實(shí)際是通過dlopen()方式建立聯(lián)系的, 注意, 上面講的實(shí)例化CameraModuel流程是在開機(jī)的時(shí)候進(jìn)行的, 上面的圖片中流程中onFirstRef()就是在開機(jī)時(shí)候調(diào)用的.
Client和Service連接過程
Client和Service連接過程是我個(gè)人認(rèn)為整個(gè)流程中最難理解的部分, 之所以難, 是因?yàn)閷++方式實(shí)現(xiàn)進(jìn)程間通信流程不熟悉造成了, 下面就來看下連接過程:
1.首先在Camera.cpp中調(diào)用CameraBase.cpp的connect()函數(shù)
sp<Camera> Camera::connect(int cameraId, const String16& clientPackageName,
int clientUid, int clientPid)
{
return CameraBaseT::connect(cameraId, clientPackageName, clientUid, clientPid);
}
2.CameraBase.cpp connect()代碼
template <typename TCam, typename TCamTraits>
sp<TCam> CameraBase<TCam, TCamTraits>::connect(int cameraId,
const String16& clientPackageName,
int clientUid, int clientPid)
{
ALOGV("%s: connect", __FUNCTION__);
sp<TCam> c = new TCam(cameraId);
sp<TCamCallbacks> cl = c;
const sp<::android::hardware::ICameraService>& cs = getCameraService();
binder::Status ret;
if (cs != nullptr) {
TCamConnectService fnConnectService = TCamTraits::fnConnectService;
ret = (cs.get()->*fnConnectService)(cl, cameraId, clientPackageName, clientUid,
clientPid, /*out*/ &c->mCamera);
}
if (ret.isOk() && c->mCamera != nullptr) {
IInterface::asBinder(c->mCamera)->linkToDeath(c);
c->mStatus = NO_ERROR;
} else {
ALOGW("An error occurred while connecting to camera %d: %s", cameraId,
(cs != nullptr) ? "Service not available" : ret.toString8().string());
c.clear();
}
return c;
}
此部分代碼中要注意兩點(diǎn):
1). TCamTraits::fnConnectService就是ICameraService類中的connect()函數(shù)的函數(shù)指針, 因?yàn)樵贑amera.cpp中, 其定義如下:
CameraTraits<Camera>::TCamConnectService CameraTraits<Camera>::fnConnectService =
&::android::hardware::ICameraService::connect;
所以(cs.get()->*fnConnectService)(....)就是在調(diào)用CameraService的connect()函數(shù),
這部分調(diào)用也是通過Binder進(jìn)行的, 流程圖如下:
上面connect過程使用的Binder接口是ICameraService, Connect過程是為了得到ICamera在Client端的BpCamera實(shí)例, ICamera接口定義的方法才是具體對Camera進(jìn)行操作的.
需要特別注意的是, 在Android 7.1的源碼中你是找不到ICameraService.cpp源碼的, 但在Android 4.4.4中是存在的(framework/av/camera/下面), 這是因?yàn)锳ndroid 7.1中通過定義了ICameraService.aidl后, 編譯過程中會自動生成ICameraService.cpp文件, 生成的文件在Android編譯的out目錄下:
out/target/product/xxx/obj/SHARED_LIBRARIES/libcamera_client_intermediates/aidl-generated/src/aidl/android/hardware/ICameraService.cpp
注: xxx表示你lunch時(shí)選擇的product
2). 經(jīng)過第一步連接過后, 得到了一個(gè)ICamera對象指針 mCamera(實(shí)際代表BpCamera, 即客戶端的接口), 后續(xù)我們調(diào)用Camera的其他方法, 比如startPreview(), 都是通過mCamera進(jìn)行調(diào)用的.
Client和Service調(diào)用流程
connect完成后, 后續(xù)對camera的調(diào)用也是通過Binder進(jìn)行, 接口定義在ICamera.h, 調(diào)用流程和第一步連接的過程一致, 就是Android IPC的基本操作 簡而言之 就是 Camera.cpp -> ICamera.cpp(BpCamera) -> ICamera.cpp(BnCamera) -> CameraClient.cpp
這里需要注意的是, CameraClient.cpp是繼承自BnCamera的, 這也是為什么在CameraService中的connect()函數(shù)中, 可以直接將CameraClient賦值給ICamera
一些繼承關(guān)系如下:
//BnInterface<ICamera> 繼承自 ICamera BBinder
template<typename INTERFACE>
class BnInterface : public INTERFACE, public BBinder
// BnCamera 繼承自 BnInterface<ICamera>
class BnCamera: public BnInterface<ICamera>
// CameraService.h 中, Client繼承自BnCamera
class Client : public hardware::BnCamera, public BasicClient {...};
// CameraClient.h 中, CameraClient繼承自Client
class CameraClient : public CameraService::Client {...};
可以看出 CameraClient 是 ICamera 的子類
Status CameraService::connect(
const sp<ICameraClient>& cameraClient,
int cameraId,
const String16& clientPackageName,
int clientUid,
int clientPid,
/*out*/
sp<ICamera>* device) {
//部分代碼省略
sp<Client> client = nullptr;
ret = connectHelper<ICameraClient,Client>(cameraClient, id,
CAMERA_HAL_API_VERSION_UNSPECIFIED, clientPackageName, clientUid, clientPid, API_1,
/*legacyMode*/ false, /*shimUpdateOnly*/ false,
/*out*/client);
//部分代碼省略
/*client代表BnCamera, BpCamera中通過transact調(diào)到BnCamera,
然后再調(diào)用Client中定義的方法 */
*device = client;
return ret;
}
可以看到, 整個(gè)過程中主要涉及到兩個(gè)Binder接口, ICamera和ICameraService, ICamera中的接口用于控制Camera具體操作, 比如設(shè)置參數(shù), 打開/關(guān)閉預(yù)覽等等, 而ICameraService中的接口負(fù)責(zé)連接Camera, 查詢Camera信息(getNumberOfCameras() getCameraInfo()).
CameraService啟動
上面的流程沒有說明CameraService是怎么啟動的, 我們都知道Android系統(tǒng)的服務(wù)都是通過init.rc啟動的, CameraService也不例外, 相關(guān)代碼路徑如下:
frameworks/av/camera/cameraserver/
路徑下有個(gè)cameraserver.rc, 內(nèi)容如下:
service cameraserver /system/bin/cameraserver
class main
user cameraserver
group audio camera input drmrpc
ioprio rt 4
writepid /dev/cpuset/camera-daemon/tasks /dev/stune/top-app/tasks
可見啟動的是可執(zhí)行文件cameraserver, 這部分代碼就在main_cameraserver.cpp
int main(int argc __unused, char** argv __unused)
{
signal(SIGPIPE, SIG_IGN);
sp<ProcessState> proc(ProcessState::self());
sp<IServiceManager> sm = defaultServiceManager();
ALOGI("ServiceManager: %p", sm.get());
CameraService::instantiate();
ProcessState::self()->startThreadPool();
IPCThreadState::self()->joinThreadPool();
}
很簡單, 就是通過系統(tǒng)接口添加一個(gè)Service
整體架構(gòu)總結(jié)
從上面分析流程可以看出, Camera的整體代碼分為一下幾個(gè)部分:
- Java API, 提供給App調(diào)用的接口
- JNI, 因?yàn)榈讓雍陀布蚪坏赖亩际荂/C++, 所以JNI必不可少
- Camera Client, 此Client通過Binder連接到CameraService
- CameraService, 獨(dú)立的進(jìn)程, 單獨(dú)存在, 開機(jī)就會啟動
- CameraService 端的Client, 此Client中通過 CameraHardwareInterface 調(diào)用到HAL層
- HAL層, 芯片廠實(shí)現(xiàn)的部分代碼
- 驅(qū)動部分, 包含芯片廠的一些代碼和kernel代碼
其中流程中容易讓人產(chǎn)生疑問的還是Binder調(diào)用這部分, 要想加深對這部分的理解, 可以自己動手寫個(gè)C++ 實(shí)現(xiàn)的 Native Service, 可以參考我寫的一篇文章: C++實(shí)現(xiàn)Native Service并跨進(jìn)程調(diào)用
Android中還有很多類似的硬件都是用的這樣的架構(gòu), 基本是 Java -> JNI -> Service -> HAL -> 驅(qū)動, 在閱讀源碼過程中, 對流程有疑問的時(shí)候, 最好的方法是在關(guān)鍵函數(shù)打印一些Log, 實(shí)際跑下流程, 看看整體架構(gòu)的調(diào)用流程, 了解大體流程后, 根據(jù)需要再去摳一些細(xì)節(jié), 這樣效率會高一些.
