本文介紹如何使用Ceres庫實現(xiàn)曲線擬合禁灼。
一、曲線擬合
所謂曲線擬合轿曙，就是給定一組x和y的值弄捕，它們大體上滿足一條曲線方程僻孝，但受噪聲影響，并不精確滿足方程守谓。在這種情況下求取曲線方程的參數(shù)穿铆。例如，給定100對x和y的值斋荞，把它們畫在坐標系上如圖所示：
假設(shè)我們事先知道（或者猜測）該曲線方程的形式為
那么就可以構(gòu)造一個最小二乘問題以估計其中的未知參數(shù)a荞雏、b和c。該最小二乘問題的代價函數(shù)為：
這是一個非線性優(yōu)化問題平酿，目標是求使上式最小的a凤优、b和c湿痢。
二谎痢、Ceres庫
Ceres是一個C++庫，用于求解通用的最小二乘問題携栋，因此非常適合上面介紹的曲線擬合柳刮。而且Ceres的使用也非常簡單挖垛，大體上分為如下三步：
- 定義代價函數(shù)；
- 構(gòu)建最小二乘問題秉颗，向問題中添加誤差項，此時會用到第一步的代價函數(shù)送矩；
- 配置求解器蚕甥，開始求解。
下面用一個實際的例子來說明栋荸。
三菇怀、使用Ceres庫實現(xiàn)曲線擬合
代碼下載地址：https://github.com/jingedawang/CeresCurveFitting
鑒于代碼很簡短，不妨先全部貼出來晌块，再仔細講解爱沟。
#include <iostream>
#include <opencv2/core/core.hpp>
#include <ceres/ceres.h>
#include <chrono>
#include <fstream>
using namespace std;
// 代價函數(shù)的計算模型
struct CURVE_FITTING_COST
{
CURVE_FITTING_COST ( double x, double y ) : _x ( x ), _y ( y ) {}
// 殘差的計算
template <typename T>
bool operator() (
const T* const abc, // 模型參數(shù)，有3維
T* residual ) const // 殘差
{
residual[0] = T ( _y ) - ceres::exp ( abc[0]*T ( _x ) *T ( _x ) + abc[1]*T ( _x ) + abc[2] ); // y-exp(ax^2+bx+c)
return true;
}
const double _x, _y; // x,y數(shù)據(jù)
};
int main ( int argc, char** argv )
{
double a=1.0, b=2.0, c=1.0; // 真實參數(shù)值
int N=100; // 數(shù)據(jù)點
double w_sigma=1.0; // 噪聲Sigma值
cv::RNG rng; // OpenCV隨機數(shù)產(chǎn)生器
double abc[3] = {0,0,0}; // abc參數(shù)的估計值
stringstream ss;
vector<double> x_data, y_data; // 數(shù)據(jù)
cout<<"generating data: "<<endl;
for ( int i=0; i<N; i++ )
{
double x = i/100.0;
x_data.push_back ( x );
y_data.push_back (
exp ( a*x*x + b*x + c ) + rng.gaussian ( w_sigma )
);
cout<<x_data[i]<<" "<<y_data[i]<<endl;
ss << x_data[i] << " " << y_data[i] << endl;
}
ofstream file("points.txt");
file << ss.str();
// 構(gòu)建最小二乘問題
ceres::Problem problem;
for ( int i=0; i<N; i++ )
{
problem.AddResidualBlock ( // 向問題中添加誤差項
// 使用自動求導匆背，模板參數(shù)：誤差類型呼伸，輸出維度，輸入維度钝尸，維數(shù)要與前面struct中一致
new ceres::AutoDiffCostFunction<CURVE_FITTING_COST, 1, 3> (
new CURVE_FITTING_COST ( x_data[i], y_data[i] )
),
nullptr, // 核函數(shù)括享，這里不使用，為空
abc // 待估計參數(shù)
);
}
// 配置求解器
ceres::Solver::Options options; // 這里有很多配置項可以填
options.linear_solver_type = ceres::DENSE_QR; // 增量方程如何求解
options.minimizer_progress_to_stdout = true; // 輸出到cout
ceres::Solver::Summary summary; // 優(yōu)化信息
chrono::steady_clock::time_point t1 = chrono::steady_clock::now();
ceres::Solve ( options, &problem, &summary ); // 開始優(yōu)化
chrono::steady_clock::time_point t2 = chrono::steady_clock::now();
chrono::duration<double> time_used = chrono::duration_cast<chrono::duration<double>>( t2-t1 );
cout<<"solve time cost = "<<time_used.count()<<" seconds. "<<endl;
// 輸出結(jié)果
cout<<summary.BriefReport() <<endl;
cout<<"estimated a,b,c = ";
for ( auto a:abc ) cout<<a<<" ";
cout<<endl;
return 0;
}
代碼中需要關(guān)注的有這么幾點：
- 定義代價函數(shù)的方式是自定義一個結(jié)構(gòu)體珍促。只需要在結(jié)構(gòu)體中實現(xiàn)
operator()方法铃辖，就算是給Ceres提供了一個調(diào)用接口，由Ceres內(nèi)部在合適的時候調(diào)用該方法計算代價函數(shù)猪叙。 - 構(gòu)建最小二乘問題時娇斩，需要將所有誤差項依次添加進去仁卷。而每個誤差項又是由前面定義的結(jié)構(gòu)體構(gòu)成的。需要注意的是犬第，每個誤差項需要指定代價函數(shù)求導的方法五督，有三種方法可供選擇：自動求導、數(shù)值求導和自行推導瓶殃。一般采用自動求導充包，既方便，又節(jié)約運行時時間遥椿。
- 以自動求導為例基矮，
ceres::AutoDiffCostFunction是個模板類，后兩個模板參數(shù)為輸出維度和輸入維度冠场，必須與前面定義的結(jié)構(gòu)體中的residual和abc的維度一樣家浇。 - 使用
ceres::Solver::Options配置求解器。這個類有許多字段碴裙，每個字段都提供了一些枚舉值供用戶選擇钢悲。所以需要時只要查一查文檔就知道怎么設(shè)置了。
程序的編譯就不贅述了舔株。該程序在0.00104641s內(nèi)運行完畢莺琳，迭代22次，最終將誤差從18249降到了50.97载慈。優(yōu)化結(jié)果為：
estimated a,b,c = 0.891943 2.17039 0.944142
最終擬合出的曲線如下圖所示惭等，還算比較完美了。
四办铡、參考資料
《視覺SLAM十四講》第6講 非線性優(yōu)化 高翔
Ceres Solver Ceres官網(wǎng)
Ceres優(yōu)化 徐尚
自動求導的二三事 Dark_Scope
Introduction to AUTOMATIC DIFFERENTIATION Alexey Radul
