機器學(xué)習(xí)模型文件，一般來說都是比較大的文件骇两，即使是能夠用在移動端的小型模型速种，動輒也要幾十上百兆。模型瘦身能夠?qū)⑽募笮〕杀犊s減脯颜，我們首先看一下如何進行模型瘦身哟旗，然后來研究一下瘦身后的影響：
一、如何瘦身
有英文閱讀能力的同學(xué)，可以看這篇官方文檔闸餐，然后可以跳過這個章節(jié)饱亮。
首先你需要安裝coremltools：
pip3 install -U coremltools
然后新建一個Python3文件，輸入一下內(nèi)容：
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# Copyright (c) 2019-01-17 10:41 - Larkin <yangchenlarkin@gmail.com>
import coremltools
import sys
def main():
if len(sys.argv) == 1:
print('請輸入模型文件路徑')
# Load a model, lower its precision, and then save the smaller model.
model_spec = coremltools.utils.load_spec(sys.argv[1])
model_fp16_spec = coremltools.utils.convert_neural_network_spec_weights_to_fp16(model_spec)
coremltools.utils.save_spec(model_fp16_spec, 'ModelFP16.mlmodel')
if __name__ == '__main__':
main()
最后運行腳本：
python3 main.py <mlmodel file path>
這里我們的<mlmodel file path>我們使用MobileNet.mlmodel文件舍沙，然后你再同名文件夾下可以得到一個名為ModelFP16.mlmodel的文件近上，我們將文件名修改為MobileNet16.mlmodel。
二拂铡、準(zhǔn)備一個iOS工程
我們新建一個Single View App壹无，名叫CoreML-FP16，到網(wǎng)上隨便找一張圖片感帅，和MobileNet.mlmodel以及MobileNet16.mlmodel一起拖到項目中去斗锭，我使用的是這張圖片：
找到main.m文件，加入如下代碼：
#import "MobileNet.h"
#import "MobileNet16.h"
#import <mach/mach_time.h>
UIImage *scaleImage(UIImage *image, CGFloat size) {
UIGraphicsBeginImageContextWithOptions(CGSizeMake(size, size), YES, 1);
CGFloat x, y, w, h;
CGFloat imageW = image.size.width;
CGFloat imageH = image.size.height;
if (imageW > imageH) {
w = imageW / imageH * size;
h = size;
x = (size - w) / 2;
y = 0;
} else {
h = imageH / imageW * size;
w = size;
y = (size - h) / 2;
x = 0;
}
[image drawInRect:CGRectMake(x, y, w, h)];
UIImage * scaledImage = UIGraphicsGetImageFromCurrentImageContext();
UIGraphicsEndImageContext();
return scaledImage;
}
CVPixelBufferRef pixelBufferFromCGImage(CGImageRef image) {
NSDictionary *options = @{
(NSString *)kCVPixelBufferCGImageCompatibilityKey : @YES,
(NSString *)kCVPixelBufferCGBitmapContextCompatibilityKey : @YES,
(NSString *)kCVPixelBufferIOSurfacePropertiesKey: [NSDictionary dictionary]
};
CVPixelBufferRef pxbuffer = NULL;
CGFloat frameWidth = CGImageGetWidth(image);
CGFloat frameHeight = CGImageGetHeight(image);
CVReturn status = CVPixelBufferCreate(kCFAllocatorDefault,
frameWidth,
frameHeight,
kCVPixelFormatType_32ARGB,
(__bridge CFDictionaryRef) options,
&pxbuffer);
assert(status == kCVReturnSuccess && pxbuffer != NULL);
CVPixelBufferLockBaseAddress(pxbuffer, 0);
void *pxdata = CVPixelBufferGetBaseAddress(pxbuffer);
assert(pxdata != NULL);
CGColorSpaceRef rgbColorSpace = CGColorSpaceCreateDeviceRGB();
CGContextRef context = CGBitmapContextCreate(pxdata,
frameWidth,
frameHeight,
8,
CVPixelBufferGetBytesPerRow(pxbuffer),
rgbColorSpace,
(CGBitmapInfo)kCGImageAlphaNoneSkipFirst);
assert(context);
CGContextConcatCTM(context, CGAffineTransformIdentity);
CGContextDrawImage(context, CGRectMake(0,
0,
frameWidth,
frameHeight),
image);
CGColorSpaceRelease(rgbColorSpace);
CGContextRelease(context);
CVPixelBufferUnlockBaseAddress(pxbuffer, 0);
return pxbuffer;
}
double MachTimeToMillisecond(uint64_t time) {
mach_timebase_info_data_t timebase;
mach_timebase_info(&timebase);
return (double)time * (double)timebase.numer / (double)timebase.denom /1e6;
}
double measureBlock(void (^block)(void)) {
if (!block) {
return 0;
}
uint64_t begin = mach_absolute_time();
block();
uint64_t end = mach_absolute_time();
return MachTimeToMillisecond(end - begin);
}
void logBlockTime(NSString *description, void (^block)(void)) {
double time = measureBlock(block);
NSLog(@"<%@>: time:%fms", description, time);
}
將main函數(shù)修改為：
int main(int argc, char * argv[]) {
UIImage *image = [UIImage imageNamed:@"cat.jpeg"];
UIImage *image224 = scaleImage(image, 224);
CVPixelBufferRef input = pixelBufferFromCGImage(image224.CGImage);
//TODO: do testing
}
三失球、文件大嗅恰：
我們分別打開MobileNet.mlmodel和MobileNet16.mlmodel，在描述中可以看到兩個文件的大小实苞，分別是17.1M和8.6M豺撑，確實是少了一倍。
四黔牵、性能測試：
我們添加如下函數(shù)：
void run_test(CVPixelBufferRef input) {
MLModelConfiguration *config = [[MLModelConfiguration alloc] init];
config.computeUnits = MLComputeUnitsCPUOnly;
MobileNet *cpuModel = [[MobileNet alloc] initWithConfiguration:config error:nil];
MobileNet16 *cpuModel16 = [[MobileNet16 alloc] initWithConfiguration:config error:nil];
config.computeUnits = MLComputeUnitsCPUAndGPU;
MobileNet *gpuModel = [[MobileNet alloc] initWithConfiguration:config error:nil];
MobileNet16 *gpuModel16 = [[MobileNet16 alloc] initWithConfiguration:config error:nil];
config.computeUnits = MLComputeUnitsAll;
MobileNet *allModel = [[MobileNet alloc] initWithConfiguration:config error:nil];
MobileNet16 *allModel16 = [[MobileNet16 alloc] initWithConfiguration:config error:nil];
logBlockTime(@"cpu", ^{
for (int i = 0; i < 100; i++) {
[cpuModel predictionFromImage:input error:nil];
}
});
logBlockTime(@"gpu", ^{
for (int i = 0; i < 100; i++) {
[gpuModel predictionFromImage:input error:nil];
}
});
logBlockTime(@"all", ^{
for (int i = 0; i < 100; i++) {
[allModel predictionFromImage:input error:nil];
}
});
logBlockTime(@"cpu16", ^{
for (int i = 0; i < 100; i++) {
[cpuModel16 predictionFromImage:input error:nil];
}
});
logBlockTime(@"gpu16", ^{
for (int i = 0; i < 100; i++) {
[gpuModel16 predictionFromImage:input error:nil];
}
});
logBlockTime(@"all16", ^{
for (int i = 0; i < 100; i++) {
[allModel16 predictionFromImage:input error:nil];
}
});
}
在main函數(shù)中調(diào)用他：
int main(int argc, char * argv[]) {
//...
//TODO: do testing
run_test(input);
}
我們得到以下結(jié)果：
這個結(jié)果嘛聪轿，咳咳。猾浦。陆错。好吧。跃巡。危号。
我們把CPUOnly去掉再看看：
只能說，如果你項目中使用的是CPUAndGPU素邪，那這個壓縮對運行效率還是有比較好的影響的外莲，但是如果你只能用CPU，這條路還是不走為好兔朦。
五偷线、準(zhǔn)確率測試：
我們參考二、使用Core ML加載.mlmodel模型文件中的iOS項目沽甥，在ObjectRecognition/ORViewController.m中添加如下代碼：
#pragma mark - predict
- (UIImage *)scaleImage:(UIImage *)image size:(CGFloat)size {
//參考：二声邦、使用Core ML加載.mlmodel模型文件
}
- (CVPixelBufferRef)pixelBufferFromCGImage:(CGImageRef)image {
//參考：二、使用Core ML加載.mlmodel模型文件
}
- (void)predict:(UIImage *)image {
UIImage *scaledImage = [self scaleImage:image size:224];
CVPixelBufferRef buffer = [self pixelBufferFromCGImage:scaledImage.CGImage];
NSError *error = nil;
MLModelConfiguration *config = [[MLModelConfiguration alloc] init];
config.computeUnits = MLComputeUnitsCPUAndGPU;
MobileNet16 *model16 = [[MobileNet16 alloc] initWithConfiguration:config error:&error];
if (error) {
NSLog(@"%@", error);
return;
}
MobileNet16Output *output16 = [model16 predictionFromImage:buffer error:&error];
if (error) {
NSLog(@"%@", error);
return;
}
MobileNet *model = [[MobileNet alloc] initWithConfiguration:config error:&error];
if (error) {
NSLog(@"%@", error);
return;
}
MobileNetOutput *output = [model predictionFromImage:buffer error:&error];
if (error) {
NSLog(@"%@", error);
return;
}
NSMutableArray *result = [NSMutableArray arrayWithCapacity:2];
[result addObject:@[@"MobileNet", output.classLabel]];
[result addObject:@[@"MobileNet16", output16.classLabel]];
self.array = result;
}
隨便拍一拍摆舟，得到以下八張測試結(jié)果：
我們可以發(fā)現(xiàn)亥曹，模型經(jīng)過壓縮后邓了，正確率并沒有很明顯的損失。當(dāng)然8張圖片可能并不能很好的說明問題媳瞪。手頭有大量數(shù)據(jù)集的同學(xué)骗炉，可以做一個進一步的測試。
上圖中有明顯的檢測錯誤的現(xiàn)象蛇受，但這并非我們關(guān)心的句葵。我們在評價壓縮模型算法的時候，我們通常關(guān)心壓縮后的正確率/召回率/查準(zhǔn)率損失了多少兢仰，而不是非常關(guān)心壓縮前正確率/召回率/查準(zhǔn)率原本是多少乍丈。
六、總結(jié)
- 蘋果官方提供的這個模型壓縮算法把将，可以將模型文件大小降低一半轻专。
這無論對于Coding階段就將模型集成到代碼中的方案，還是對于從服務(wù)端下載模型的方案來說秸弛，都是非常有利的铭若。 - 但是對于無法受用CPU的機型、操作系統(tǒng)來說递览，預(yù)測階段耗時的激增，無疑使得這個方案成了雞肋瞳腌。
- 這個方案對正確率的影響绞铃，目前來看可以忽略不計。當(dāng)然和需要大量的測試結(jié)果才能更加篤定的做出這個結(jié)論嫂侍。
總之儿捧，你能用CPUAndGPU，就可以放心的壓縮挑宠，如果只能用CPU菲盾，那還是別用這種方式了。
