經過實測：1.09億的數(shù)據(jù)量進行中文檢索漓拾。ElasticSearch單機的檢索性能在0.005~5.6秒之間阁最，此檢索速度可滿足95%的業(yè)務場景（注意：每條ES文檔平均65個漢字，數(shù)據(jù)源取自幾千本小說骇两，大部分文檔在15~300個漢字之間速种，不然字數(shù)太多索引太大電腦存不下）。

前置文章

由于本文章的前置操作強依賴于另一篇文章低千，推薦閱讀：
萬字詳解PHP+Sphinx中文億級數(shù)據(jù)全文檢索實戰(zhàn)（實測億級數(shù)據(jù)0.1秒搜索耗時）

運行配置

和Sphinx環(huán)境保持一致配阵。
服務器配置：CentOS7.6 16核4G內存。固態(tài)硬盤示血。
ES配置：ElasticSearch 8.14.1單機棋傍，默認配置，使用IK分詞器的ik_max_word配置难审。不設置分片和副本數(shù)量瘫拣。

數(shù)據(jù)準備

和Sphinx用的數(shù)據(jù)源保持一致。
依舊是上次用的幾千本小說告喊，整合后的單個txt文件9.57個G拂铡，用\n間隔，作為一個ES文檔葱绒。
數(shù)據(jù)量為109 450 000條數(shù)據(jù)。

數(shù)據(jù)插入

• 創(chuàng)建索引與映射斗锭，并修改max_result_window參數(shù)

$params = [
    'index' => 'performance_test',
    'body'  => [
        'settings' => [
            'analysis' => [
                'analyzer' => [
                    'ik_analyzer' => [
                        'type'      => 'ik_max_word',
                    ],
                ],
            ],
        ],
        'mappings' => [
            'properties' => [
                'id' => [
                    'type'     => 'integer',
                ],
                'content' => [
                    'type'     => 'text',
                    'analyzer' => 'ik_analyzer',
                ],
            ],
        ],
    ],
];

$response = $client->indices()->create($params);
dd($response->asBool());


$params = [
    'index' => 'performance_test',
    'body'  => [
        'index' => [
            'max_result_window' => 2147483647 //用于控制在搜索查詢中可以檢索到的最大文檔數(shù)地淀，有符號int類型,最大可設置2^31 - 1，大了會有性能問題
        ]
    ]
];

$response = $client->indices()->putSettings($params);
dd($response->asBool());

• 插入數(shù)據(jù)

//這段代碼只確贬牵可批量插入帮毁，忽略精準的數(shù)據(jù)處理高可用問題实苞。
$start = microtime(true);
ini_set('memory_limit', '4096M');
set_time_limit(0);

include __DIR__ . './vendor/autoload.php';

$client = \Elasticsearch\ClientBuilder::create()->setHosts(['192.168.0.183:9200'])
    ->setBasicAuthentication('elastic', '123456')->build();


/**
 * @function 逐行讀取大文件
 * @param    $file_name string 文件名
 * @return   Generator|object
 */
function readLargeFile($file_name) {
    $file = fopen($file_name, 'rb');
    if (! $file) {
        return false;
    }

    while (! feof($file)) {
        $line = fgets($file);
        if ($line !== false) {
            yield $line;
        }
    }

    fclose($file);
}


// 使用生成器逐行讀取大文件
$file_resource = readLargeFile('E:/其它/一億行漢字文本.txt');
foreach ($file_resource as $loop => $line) {
    $loop ++;
    $from_charset = mb_detect_encoding($line, 'UTF-8, GBK, GB2312, BIG5, CP936, ASCII');
    $utf8_str     = @iconv($from_charset, 'UTF-8', $line);
    if(in_array($utf8_str, ["\n", "\r", "\n\r", "\r\n"])) {
        continue;
    }


    $params['body'][] = ['index' => ['_index' => 'performance_test', '_id' => $loop]];
    $params['body'][] = ['id' => $loop, 'content' => $utf8_str];


    if(count($params['body']) >= 100000) {
        $client->bulk($params); //忽略批量插入的錯誤
        $params = [];
    }
}

echo '插入耗時：' . bcsub(microtime(true), $start, 3) . '秒';

實測ES與Sphinx新增數(shù)據(jù)建索引速度對比

實測ES與Sphinx查詢性能對比

某些項烈疚，ElasticSearch搜索出來的結果遠超MySQL和Sphinx查詢的結果黔牵，這是分詞匯總的緣故。
而Sphinx使用的是SPH_MATCH_PHRASE格式爷肝，所以數(shù)量不會有ES那么多猾浦，若用SPH_MATCH_ANY，可能有更多的檢索結果灯抛。

實測ES與Sphinx并發(fā)性能對比

• 壓測方式 ：ab -c 1 -n 10~1000 127.0.0.1/temp/es/test.php
• 中文定值關鍵字為華盛頓已脓，英文定值關鍵字為XYZ，30位隨機中文或英文字符乏奥，由代碼生成（用代碼生成數(shù)據(jù)源摆舟，是避免引入更好的數(shù)據(jù)源帶來了性能誤差）。
• 由于ES IK分詞器比Sphinx中文分詞器分詞粒度更細邓了，所以并發(fā)下30位隨機中文字符檢索性能極具下降恨诱。

生成任意正整數(shù)個中文字符
function generateRandomChinese($length) {
    $result = '';
    for ($i = 0; $i < $length; $i++) {
        $result .= mb_convert_encoding('&#' . mt_rand(0x3e00, 0x9fa5) . ';', 'UTF-8', 'HTML-ENTITIES');
    }
    return $result;
}

生成任意正整數(shù)個英文字符
function generateRandomEnglish($length) {
    $result = '';
    for ($i = 0; $i < $length; $i++) {
        $result .= chr(mt_rand(97, 122)); // 小寫字母ASCII碼范圍: 97~122；大寫字母：65~90
    }
    return $result;
}

ES與Sphinx各項優(yōu)缺點直觀對比