參考

Android soong build系統(tǒng)介紹：http://www.reibang.com/p/80013a768a45

Android build系統(tǒng)發(fā)展履歷

Android7.0以前：使用makefile來組織編譯構(gòu)建系統(tǒng)

Android7.0:為了改善make的build效率，將make工具變更為ninja，ninja依賴.ninja,就像make依賴makefile一樣紫皇。當(dāng)時Android7.0工程里面既存了大量的makefile漾岳，所以為了使用ninja，同時避免makefile大規(guī)模改造莹桅，開發(fā)了kati將makefile翻譯成.ninja文件

Android8.0 改造makefile昌执，引入Android.bp，build的過程還是使用ninja诈泼，目的是逐步替換掉make-makefile這一build系統(tǒng)
由于引入了bp文件懂拾，而最終的build過程依賴的還是.ninja文件，這需要一個轉(zhuǎn)換過程铐达，由此創(chuàng)建了Soong委粉，負責(zé)將Android.bp轉(zhuǎn)換為.ninja文件，同時完成選擇編譯娶桦、解析配置的功能贾节，如通過編譯開關(guān)進行選擇性編譯汁汗。

Android9.0 系統(tǒng)主體編譯過程已經(jīng)完全由Soong+Ninja+Kati控制，由Kati將Android.mk轉(zhuǎn)換為.ninja;由Soong將Android.bp轉(zhuǎn)換為.ninja,由Ninja讀取.ninja文件栗涂，完成最終的build過程知牌。

Soong也生成了一個androidmk程序，用來將Android.mk轉(zhuǎn)換為Android.bp文件

Android9.0 build啟動過程

Android系統(tǒng)編譯指令

source build/envsetup.sh
lunch 
make -jn

make命令執(zhí)行
envsetup.sh在build/envsetup.sh

envsetup.sh主要是用于初始化shell環(huán)境斤程，使其支持android build系統(tǒng)的特有命令：croot角寸、mgrep、cgrep忿墅、m扁藕、mm等，和build系統(tǒng)相關(guān)的主要是m疚脐、mm亿柑、mmm、mma棍弄、ma望薄、make，尤其是make

當(dāng)我們執(zhí)行make呼畸，在envsetup.sh初始化后的shell環(huán)境中痕支，執(zhí)行的是function make函數(shù)

function make()
{
    _wrap_build $(get_make_command "$@") "$@"
}

這里判斷當(dāng)前make是在build系統(tǒng)根目錄下，則執(zhí)行build/soong/soong_ui.bash --make-mode
注意：這里是echo蛮原，使用echo作為get_make_command返回值卧须，我們調(diào)用的是make -j8，
此時(get_make_command "@"展開成了build/soong/soong_ui.bash --make-mode -j8`

# _wrap_build()調(diào)用是故慈，調(diào)用的是_wrap_build(build/soong/soong_ui.bash --make-mode，-j8)
function _wrap_build()
{
    local start_time=$(date +"%s")
    "$@"
    local ret=$?
    ...
}
# 從調(diào)用的角度看框全，是get_make_command(-j8)
# 經(jīng)過get_make_command()函數(shù)處理后察绷，得到build/soong/soong_ui.bash --make-mode字符串
function get_make_command()
{
    # If we're in the top of an Android tree, use soong_ui.bash instead of make
    
    if [ -f build/soong/soong_ui.bash ]; then
        # Always use the real make if -C is passed in
        for arg in "$@"; do
            if [[ $arg == -C* ]]; then
                echo command make
                return
            fi
        done
        echo build/soong/soong_ui.bash --make-mode
    else
        echo command make
    fi
}

soong_ui.bash執(zhí)行

使用soong_build_go soong_ui android/soong/cmd/soong_ui來生成soong_ui程序
然后啟動exec "$(getoutdir)/soong_ui" "$@",這里$@即是--make-mode -j8

soong_ui.bash在build/soong/soong_ui.bash

# Save the current PWD for use in soong_ui
export ORIGINAL_PWD=${PWD}
export TOP=$(gettop)
source ${TOP}/build/soong/scripts/microfactory.bash

soong_build_go soong_ui android/soong/cmd/soong_ui

cd ${TOP}
exec "$(getoutdir)/soong_ui" "$@"

soong_ui build

這里soong_build_go soong_ui android/soong/cmd/soong_ui，其$1即是確定的bin名稱(soong_ui)
而package_name為android/soong/cmd/soong_ui

經(jīng)過下面的shell執(zhí)行結(jié)果津辩，即使用microfactory工具編譯了build/soong/cmd/soong_ui/main.go拆撼，生成了soong_ui程序
注意：是先生成的microfactory_Linux程序，進而使用microfactory_Linux生成soong_ui程序

# Arguments:
#  $1: name of the requested binary
#  $2: package name
function soong_build_go
{
    BUILDDIR=$(getoutdir) \
      SRCDIR=${TOP} \
      BLUEPRINTDIR=${TOP}/build/blueprint \
      EXTRA_ARGS="-pkg-path android/soong=${TOP}/build/soong" \
      build_go $@
}
source ${TOP}/build/blueprint/microfactory/microfactory.bash

build_go是位于microfactory.bash的shell函數(shù)喘沿，這里不再繼續(xù)深入了(也尚未完全掌握)

soong_ui執(zhí)行

build/soong/cmd/soong_ui/main.go

這里啟動build.FindSources闸度，遍歷源文件目錄樹中的Android.mk、Android.bp蚜印、cleanspec.mk莺禁，將其存放在out/.module_paths
├── Android.bp.list
├── Android.mk.list
├── CleanSpec.mk.list
├── files.db
└── TEST_MAPPING.list

接著啟動build.Build完成整個的build過程。

func main() {
    ...
    f := build.NewSourceFinder(buildCtx, config)
    defer f.Shutdown()
    build.FindSources(buildCtx, config, f)

    if os.Args[1] == "--dumpvar-mode" {
        dumpVar(buildCtx, config, os.Args[2:])
    } else if os.Args[1] == "--dumpvars-mode" {
        dumpVars(buildCtx, config, os.Args[2:])
    } else {
        toBuild := build.BuildAll
        if config.Checkbuild() {
            toBuild |= build.RunBuildTests
        }
        build.Build(buildCtx, config, toBuild)
    }
}

階段總結(jié)

經(jīng)過上述操作后窄赋，在out目錄生成了如下文件哟冬，這里總結(jié)性說明如下：

├── Android.mk
├── build_date.txt
├── build.trace.gz
├── CleanSpec.mk
├── .lock
├── .lock_build.trace.gz
├── .lock_soong.log
├── microfactory_Linux 用來生成soong_ui的程序
├── .microfactory_Linux_hash：microfactory_Linux build過程中判斷hash變化從而判斷是否啟動重新編譯
├── .microfactory_Linux_intermediates：生成microfactory_Linux用的中間文件
│ ├── github.com-google-blueprint-microfactory
│ │ └── github.com
│ │ └── google
│ │ └── blueprint
│ ├── main
│ │ ├── main.a
│ │ └── main.a.hash
│ └── src
│ └── microfactory.go
├── .microfactory_Linux.lock
├── .microfactory_Linux_version
├── .module_paths build.FindSources的執(zhí)行結(jié)果
│ ├── Android.bp.list
│ ├── Android.mk.list
│ ├── CleanSpec.mk.list
│ ├── files.db
│ └── TEST_MAPPING.list
├── ninja_build
├── .out-dir
├── soong
│ └── .soong.in_make
├── soong.log
├── soong_ui soong_ui程序
├── .soong_ui_hash soong_ui程序文件的hash
├── .soong_ui_intermediates 生成soong_ui程序的所用的文件楼熄、可以參考build/soong目錄
│ ├── android-soong-finder
│ ├── android-soong-finder-fs
│ ├── android-soong-shared
│ ├── android-soong-ui-build
│ ├── android-soong-ui-logger
│ ├── android-soong-ui-tracer
│ ├── github.com-google-blueprint-microfactory
│ └── main
├── .soong_ui.lock
└── .soong_ui.trace 記錄了soong_ui的生成過程

build.Build

build/soong/ui/build/build.go

build生成的trace日志在out/build.trace.gz里面

ninja的日志在out/ninja_log里面

soong_ui的日志在soong.log里面

從build.Build函數(shù)執(zhí)行中可以看到主要是有幾個大的Step：

1. runMakeProductConfig

2. runSoong:生成soong的工具鏈

3. runKati：生成build-**.ninja,運行step2生成的ckati，搜集所有的Android.mk文件生成ninja文件浩峡，也就是前面提到的 out/build-aosp_arm.ninja

4. createCombinedBuildNinjaFile：將out/soong/build.ninja 和out/build-**.ninja 合成為combined-aosp_arm.ninja

5. runNinja：使用ninja build整個系統(tǒng)

func Build(ctx Context, config Config, what int) {
    ...
    //在out目錄下創(chuàng)建Android.mk可岂、CleanSpec.mk、ninja_build
    SetupOutDir(ctx, config)
    //在out目錄下創(chuàng)建CaseCheck.txt和casecheck.txt
    checkCaseSensitivity(ctx, config)

    ensureEmptyDirectoriesExist(ctx, config.TempDir())

    if what&BuildProductConfig != 0 {
        // Run make for product config
        runMakeProductConfig(ctx, config)
    }

    ···

    if what&BuildSoong != 0 {
        // Run Soong
        runSoong(ctx, config)
    }

    if what&BuildKati != 0 {
        // Run ckati
        runKati(ctx, config)

        ioutil.WriteFile(config.LastKatiSuffixFile(), []byte(config.KatiSuffix()), 0777)
    } else {
        // Load last Kati Suffix if it exists
        if katiSuffix, err := ioutil.ReadFile(config.LastKatiSuffixFile()); err == nil {
            ctx.Verboseln("Loaded previous kati config:", string(katiSuffix))
            config.SetKatiSuffix(string(katiSuffix))
        }
    }

    // Write combined ninja file
    createCombinedBuildNinjaFile(ctx, config)

    if what&RunBuildTests != 0 {
        testForDanglingRules(ctx, config)
    }

    if what&BuildNinja != 0 {
        if !config.SkipMake() {
            installCleanIfNecessary(ctx, config)
        }

        // Run ninja
        runNinja(ctx, config)
    }
}

runMakeProductConfig

通過dumpMakeVars來設(shè)置條件變量翰灾，同時打印到屏幕上

    make_vars, err := dumpMakeVars(ctx, config, config.Arguments(), allVars, true)
    if err != nil {
        ctx.Fatalln("Error dumping make vars:", err)
    }

    // Print the banner like make does
    fmt.Fprintln(ctx.Stdout(), Banner(make_vars))

    // Populate the environment
    env := config.Environment()
    for _, name := range exportEnvVars {
        if make_vars[name] == "" {
            env.Unset(name)
        } else {
            env.Set(name, make_vars[name])
        }
    }

其運行結(jié)果缕粹，就是設(shè)置了如下條件變量：

============================================
PLATFORM_VERSION_CODENAME=REL
PLATFORM_VERSION=9
TARGET_PRODUCT=mini_emulator_x86_64
TARGET_BUILD_VARIANT=userdebug
TARGET_BUILD_TYPE=release
TARGET_ARCH=x86_64
TARGET_ARCH_VARIANT=x86_64
TARGET_2ND_ARCH=x86
TARGET_2ND_ARCH_VARIANT=x86_64
HOST_ARCH=x86_64
HOST_2ND_ARCH=x86
HOST_OS=linux
HOST_OS_EXTRA=Linux-4.15.0-65-generic-x86_64-Ubuntu-16.04.6-LTS
HOST_CROSS_OS=windows
HOST_CROSS_ARCH=x86
HOST_CROSS_2ND_ARCH=x86_64
HOST_BUILD_TYPE=release
BUILD_ID=PPR1.180610.011
OUT_DIR=out
============================================
set the Enviroment var: TARGET_PRODUCT
set the Enviroment var: TARGET_BUILD_VARIANT
unset the Enviroment var: TARGET_BUILD_APPS
unset the Enviroment var: CC_WRAPPER
unset the Enviroment var: CXX_WRAPPER
unset the Enviroment var: JAVAC_WRAPPER
unset the Enviroment var: CCACHE_COMPILERCHECK
unset the Enviroment var: CCACHE_SLOPPINESS
unset the Enviroment var: CCACHE_BASEDIR
unset the Enviroment var: CCACHE_CPP2

runSoong：

功能 生成soong工具鏈,其所生成的soong工具鏈，都放在out/soong目錄下
runSoong主要完成如下的工作：

1. 生成Android-mini_emulator_x86_64.mk,將所有的Android.mk匯集起來
2. 生成blueprint庫
3. 生成soong工具集
4. 生成minibp
5. 將所有的Android.bp最終轉(zhuǎn)義為build.ninja

在runSoong執(zhí)行前纸淮，其out/soong目錄的現(xiàn)狀是：

android/out/soong$ ls -a
.  ..  .soong.in_make  soong.variables  .temp

實現(xiàn)過程分析

android/out$ vi soong.log

2019/11/21 18:22:33.135936 build/soong/ui/build/exec.go:57: build/blueprint/bootstrap.bash [build/blueprint/bootstrap.bash -t]
2019/11/21 18:22:33.630439 build/soong/ui/build/exec.go:57: prebuilts/build-tools/linux-x86/bin/ninja [prebuilts/build-tools/linux-x86/bin/ninja -d keepdepfile -w dupbuild=err -j 8 -f out/soong/.minibootstrap/build.ninja]
2019/11/21 18:22:33.675051 build/soong/ui/build/exec.go:57: prebuilts/build-tools/linux-x86/bin/ninja [prebuilts/build-tools/linux-x86/bin/ninja -d keepdepfile -w dupbuild=err -j 8 -f out/soong/.bootstrap/build.ninja]

從上述日志分析平斩，主要的工作是三個：

1. 執(zhí)行build/blueprint/bootstrap.bash
2. 執(zhí)行ninja，輸入是out/soong/.minibootstrap/build.ninja
   ※ Run minibp to generate .bootstrap/build.ninja
3. 執(zhí)行ninja咽块，輸入是out/soong/.bootstrap/build.ninja

※ Build any bootstrap_go_binary rules and dependencies -- usually the primary builder and any build or runtime dependencies.

4. 使用soong_build,來生成build.ninja

※ Run the primary builder to generate build.ninja

andorid/out$ vi .ninja_log里面詳細記錄了ninja的執(zhí)行日志

結(jié)果
在runSoong執(zhí)行后绘面，其out/soong目錄的結(jié)果是：

.
├── Android-mini_emulator_x86_64.mk
├── .blueprint.bootstrap
├── .bootstrap
│   ├── bin
│   │   ├── bpglob
│   │   ├── gotestmain
│   │   ├── gotestrunner
│   │   ├── loadplugins
│   │   ├── soong_build
│   │   └── soong_env
│   ├── blueprint
│   │   ├── pkg
│   │   └── test
│   ├── blueprint-bootstrap
│   │   └── pkg
│   ├── blueprint-bootstrap-bpdoc
│   │   └── pkg
│   ├── blueprint-deptools
│   │   └── pkg
│   ├── blueprint-parser
│   │   ├── pkg
│   │   └── test
│   ├── blueprint-pathtools
│   │   ├── pkg
│   │   └── test
│   ├── blueprint-proptools
│   │   ├── pkg
│   │   └── test
│   ├── bpglob
│   │   └── obj
│   ├── build.ninja
│   ├── build.ninja.d
│   ├── gotestmain
│   │   └── obj
│   ├── gotestrunner
│   │   └── obj
│   ├── hidl-soong-rules
│   │   └── pkg
│   ├── loadplugins
│   │   └── obj
│   ├── soong
│   │   └── pkg
│   ├── soong-android
│   │   ├── pkg
│   │   └── test
│   ├── soong-art
│   │   └── pkg
│   ├── soong-bpf
│   │   └── pkg
│   ├── soong_build
│   │   ├── gen
│   │   └── obj
│   ├── soong-cc
│   │   ├── pkg
│   │   └── test
│   ├── soong-cc-config
│   │   ├── pkg
│   │   └── test
│   ├── soong-clang
│   │   └── pkg
│   ├── soong-clang-prebuilts
│   │   └── pkg
│   ├── soong_env
│   │   └── obj
│   ├── soong-env
│   │   └── pkg
│   ├── soong-fluoride
│   │   └── pkg
│   ├── soong-genrule
│   │   └── pkg
│   ├── soong-java
│   │   ├── pkg
│   │   └── test
│   ├── soong-java-config
│   │   └── pkg
│   ├── soong-java-config-error_prone
│   │   └── pkg
│   ├── soong-llvm
│   │   └── pkg
│   ├── soong-phony
│   │   └── pkg
│   ├── soong-python
│   │   ├── pkg
│   │   └── test
│   ├── soong-shared
│   │   └── pkg
│   ├── soong-vts-spec
│   │   └── pkg
│   └── soong-wayland-protocol-codegen
│       └── pkg
├── build.ninja
├── build.ninja.d
├── make_vars-mini_emulator_x86_64.mk
├── .minibootstrap
│   ├── build.ninja
│   ├── minibp
│   ├── .minibp_hash
│   ├── .minibp_intermediates
│   │   ├── github.com-google-blueprint
│   │   ├── github.com-google-blueprint-bootstrap
│   │   ├── github.com-google-blueprint-bootstrap-bpdoc
│   │   ├── github.com-google-blueprint-deptools
│   │   ├── github.com-google-blueprint-parser
│   │   ├── github.com-google-blueprint-pathtools
│   │   ├── github.com-google-blueprint-proptools
│   │   └── main
│   └── .minibp.lock
├── .out-dir
├── soong.config
├── .soong.environment
├── .soong.in_make
├── soong.variables
└── .temp

runKati

功能 將所有的Android.mk集合到一起，最終轉(zhuǎn)義生成build_**.ninja,如out/build-mini_emulator_x86_64.ninja
其主要實現(xiàn)是通過調(diào)用ckati工具來實現(xiàn)，注意其使用的輸入文件是build/make/core/main.mk,而幾個關(guān)鍵的環(huán)境變量設(shè)定是

BUILDING_WITH_NINJA=true 這里標記使用ninja魄衅，最終輸出.ninja文件
SOONG_ANDROID_MK=out/soong/Android-mini_emulator_x86_64.mk 這里使用soong輸出的mk文件，具體如何使用目前沒有深入研究
SOONG_MAKEVARS_MK=out/soong/make_vars-mini_emulator_x86_64.mk 這里使用soong輸出的mk文件晃虫，具體如何使用目前沒有深入研究

參考：具體的命令格式化如下

prebuilts/build-tools/linux-x86/bin/ckati 
--ninja 
--ninja_dir=out 
--ninja_suffix=-mini_emulator_x86_64 
--regen 
--ignore_optional_include=out/%.P 
--detect_android_echo 
--color_warnings 
--gen_all_targets 
--werror_find_emulator 
--kati_stats 
-f build/make/core/main.mk 
--use_find_emulator 
BUILDING_WITH_NINJA=true 
SOONG_ANDROID_MK=out/soong/Android-mini_emulator_x86_64.mk 
SOONG_MAKEVARS_MK=out/soong/make_vars-mini_emulator_x86_64.mk