elasticsearch2.1.1集成測試中遇到的問題總結(jié)

從elasticsearch1.6.2版本開始,項目組就開始進行基于elasticsearch的應(yīng)用開發(fā)舔稀,然而對于這些應(yīng)用的單元測試則相對落后——在搭建的es測試集群上跑測試用例。其實斗塘,es本身提供了易于使用地基礎(chǔ)的集成測試能力呻拌。在開始es功能的集成測試前,建議閱讀es測試官方文檔
項目使用的版本是2.1.1屠阻,下面遇到的問題都是針對此版本的。

1.elasticsearch中的jarHell問題

解決方案是在測試源碼目錄src/test/java中添加org.elasticsearch.bootstrap.JarHell類额各,源碼如下:

package org.elasticsearch.bootstrap;
import java.net.URL;
public class JarHell {
    private JarHell() {}
    public static void checkJarHell() throws Exception {}
    public static void checkJarHell(URL urls[]) throws Exception {}
    public static void checkVersionFormat(String targetVersion) {}
    public static void checkJavaVersion(String resource, String targetVersion) {}
    public static URL[] parseClassPath() {return new URL[]{};}
}

參考目錄:解決es2.1.1中jarHell問題

2.和EasyMock集成問題

進行單元測試時国觉,經(jīng)常使用mock對象,項目中主要使用的是EasyMockPowerMock虾啦。
如果測試類是繼承自ESIntegTestCase進行繼承測試時麻诀,要注意,如果使用@Before或者@After標識傲醉,則參考LuceneTestCase類中關(guān)于此的描述

 * For instance-level setup, use {@link Before} and {@link After} annotated
 * methods. If you override either {@link #setUp()} or {@link #tearDown()} in
 * your subclass, make sure you call <code>super.setUp()</code> and
 * <code>super.tearDown()</code>. This is detected and enforced.

3.設(shè)置elasticsearch集群實例的shard和replica數(shù)

對于shard個數(shù)和備份個數(shù)的設(shè)置蝇闭,要重載方法。

@Override
protected int numberOfShards() {
return 1;
}

@Override
protected int numberOfReplicas() {
return 0;
}

參考number of shards

4.給出elasticsearch集成測試的小例子

public class Alias {

    private AliasType aliasType;
    private MGIndex current;

    public Alias(AliasType aliasType) {
        this.aliasType = aliasType;
        current = MGIndexFactory.get(aliasType.getPrefix());
    }

    //對于每個shard設(shè)置界限值
    public boolean isNeedAdd(Client client) throws ClusterUnhealthException {
        // Check shard doc
        String index = current.getIndexName();
        IndicesStatsResponse stats = client.admin().indices().prepareStats(index).execute().actionGet();
        if (stats.getFailedShards() > 0) {
            throw new ClusterUnhealthException("Get shards stats failed");
        }

        int docThreshold = current.getDocThreshold();

        for (ShardStats st : stats.getShards()) {
            String info = String.format("%s contains %d files which's threshold is %d", index,
                            st.getStats().getDocs().getCount(), docThreshold);
            MGLogger.info(info);

            if (st.getStats().getDocs().getCount() > docThreshold)
                return true;
        }

        return false;
    }
}

其測試函數(shù)如下:

public class AliasTest extends ESIntegTestCase{
    Alias alias = null;

    @Before
    public void setUp() throws Exception {
        super.setUp();
        alias = new Alias(AliasType.ATTACHMENT);
    }

    @After
    public void tearDown() throws Exception {
        super.tearDown();
    }

    @Override
    protected int numberOfShards() {
        return 1;
    }

    @Override
    protected int numberOfReplicas() {
        return 0;
    }

    @Test
    public void testIsNeedAdd() throws Exception {
        indexRandom(true, false,
            client().prepareIndex("test", "type1", "1").setSource("field1", "王寧"),
            client().prepareIndex("test", "type1", "2").setSource("field1", "個人電話"),
            client().prepareIndex("test", "type1", "3").setSource("field1", "12")
        );

        refresh();
        MGIndex mgIndexMock = EasyMock.createMock(MGIndex.class);
        EasyMock.expect(mgIndexMock.getIndexName()).andReturn("test").times(2);
        EasyMock.expect(mgIndexMock.getDocThreshold()).andReturn(5).times(2);
        EasyMock.replay(mgIndexMock);
        alias.setCurrent(mgIndexMock);

        assertFalse(alias.isNeedAdd(client()));

        indexRandom(true, false,
            client().prepareIndex("test", "type1", "4").setSource("field1", "王寧"),
            client().prepareIndex("test", "type1", "5").setSource("field1", "個人電話"),
            client().prepareIndex("test", "type1", "6").setSource("field1", "12")
        );

        assertTrue(alias.isNeedAdd(client()));

        EasyMock.verify(mgIndexMock);
    }
}

測試用例AliasTest中硬毕,使用EasyMock來mock current對象呻引,通過繼承ESIntegTestCase來進行es功能的集成測試——構(gòu)筑一個只有一個shard無備份的集群,shard中文檔的個數(shù)大于5時吐咳,使得isNeedAdd的返回值為空逻悠。

5.PowerMock和ESIntegTestCase配合產(chǎn)生的問題

由于ESIntegTestCase的祖先LuceneTestCase使用@RunWith(RandomizedRunner.class)和PowerMock在mock static函數(shù)時,使用的@RunWith(PowerMockRunner.class)沖突韭脊,使用這種方法無法將es的集成測試和PowerMock mock static 函數(shù)的能力結(jié)合在一起童谒,嘗試了Bootstrap using a Junit RuleDelegate to another JUnit Runner仍沒解決ESIntegTestCase和PowerMock融合的問題,記錄留待解決沪羔。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末饥伊,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌撵渡,老刑警劉巖融柬,帶你破解...
    沈念sama閱讀 218,640評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件死嗦,死亡現(xiàn)場離奇詭異趋距,居然都是意外死亡,警方通過查閱死者的電腦和手機越除,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,254評論 3 395
  • 文/潘曉璐 我一進店門节腐,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人摘盆,你說我怎么就攤上這事翼雀。” “怎么了孩擂?”我有些...
    開封第一講書人閱讀 165,011評論 0 355
  • 文/不壞的土叔 我叫張陵狼渊,是天一觀的道長。 經(jīng)常有香客問我类垦,道長狈邑,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,755評論 1 294
  • 正文 為了忘掉前任蚤认,我火速辦了婚禮米苹,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘砰琢。我一直安慰自己蘸嘶,他們只是感情好,可當我...
    茶點故事閱讀 67,774評論 6 392
  • 文/花漫 我一把揭開白布陪汽。 她就那樣靜靜地躺著训唱,像睡著了一般。 火紅的嫁衣襯著肌膚如雪挚冤。 梳的紋絲不亂的頭發(fā)上雪情,一...
    開封第一講書人閱讀 51,610評論 1 305
  • 那天,我揣著相機與錄音你辣,去河邊找鬼巡通。 笑死,一個胖子當著我的面吹牛舍哄,可吹牛的內(nèi)容都是我干的宴凉。 我是一名探鬼主播,決...
    沈念sama閱讀 40,352評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼表悬,長吁一口氣:“原來是場噩夢啊……” “哼弥锄!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,257評論 0 276
  • 序言:老撾萬榮一對情侶失蹤籽暇,失蹤者是張志新(化名)和其女友劉穎温治,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體戒悠,經(jīng)...
    沈念sama閱讀 45,717評論 1 315
  • 正文 獨居荒郊野嶺守林人離奇死亡熬荆,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,894評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了绸狐。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片卤恳。...
    茶點故事閱讀 40,021評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖寒矿,靈堂內(nèi)的尸體忽然破棺而出突琳,到底是詐尸還是另有隱情,我是刑警寧澤符相,帶...
    沈念sama閱讀 35,735評論 5 346
  • 正文 年R本政府宣布拆融,位于F島的核電站,受9級特大地震影響啊终,放射性物質(zhì)發(fā)生泄漏镜豹。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,354評論 3 330
  • 文/蒙蒙 一孕索、第九天 我趴在偏房一處隱蔽的房頂上張望逛艰。 院中可真熱鬧,春花似錦搞旭、人聲如沸散怖。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,936評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽镇眷。三九已至,卻和暖如春翎嫡,著一層夾襖步出監(jiān)牢的瞬間欠动,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,054評論 1 270
  • 我被黑心中介騙來泰國打工惑申, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留具伍,地道東北人。 一個月前我還...
    沈念sama閱讀 48,224評論 3 371
  • 正文 我出身青樓圈驼,卻偏偏與公主長得像人芽,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子绩脆,可洞房花燭夜當晚...
    茶點故事閱讀 44,974評論 2 355

推薦閱讀更多精彩內(nèi)容