如果參加一個比賽避乏，我們會在模型訓練的時候將數據分成訓練集和開發(fā)集爷耀。模型提交后，比賽方會提供測試集對結果進行預測拍皮。
一般來說我們訓練集上的模型評分會在86 ~ 88%左右歹叮，開發(fā)集上的評分為82 ~ 84%，但是到了實際的測試集上铆帽，模型評分可能只有72%左右咆耿。
技巧來了：
1、一般來說測試集的數據是不帶標簽的爹橱，但是測試集依然有特征X萨螺。
2、我們都不考慮訓練集和測試集的目標Y愧驱，人為創(chuàng)建一列目標值Z慰技，將訓練集中的Z都設為0，將測試集的目標Z都設為1组砚。
3吻商、尋找測試集的X和Z之間的映射。
4糟红、根據這個X和Z之間的映射艾帐，使用訓練集中的X預測Z，結果肯定是組0,1向量盆偿。
5柒爸、將預測值為1的數據提出來，作為我的開發(fā)集（用來驗證我們模型的數據集合）事扭，剩下預測為0的數據作為訓練集捎稚。在這個基礎上對我的訓練數據進行調優(yōu)。
這是一個在不做任何特征的情況下對模型調優(yōu)的一個技巧，一般可以將模型在真實環(huán)境中的評分提高一點點阳藻。大概72%提高到74%左右晰奖。
為什么谈撒？實際上我們做訓練的目的是為了找一找比賽中人家提供給我們的訓練數據和真實數據腥泥，哪些長得比較像。將更像真實測試數據的樣本放到開發(fā)集中作為調參的標準啃匿，從而能夠提高最終的評分蛔外。雖然沒有什么科學依據，但是確實比較有效溯乒，不登大雅之堂夹厌。
