netty-socketio-first

標(biāo)簽（空格分隔）： socket.io netty-socketio java springboot maven

目錄.png

背景：對(duì)話(huà)消息實(shí)時(shí)提醒功能開(kāi)發(fā)

詳細(xì)設(shè)計(jì)文本描述：

• 使用springBoot啟動(dòng)烛谊，容器啟動(dòng)完成后（使用CommandLineRunner或ApplicationRunner接口）本讥，啟動(dòng)netty_websocket服務(wù)歉甚。
• 客戶(hù)端登錄上線(xiàn)，在OnConnect監(jiān)聽(tīng)器事件中过蹂，線(xiàn)程池中使用Future的形式，執(zhí)行訂閱任務(wù)线定，訂閱任務(wù)線(xiàn)程阻塞罗岖，connect線(xiàn)程正常執(zhí)行。
• 關(guān)閉瀏覽器诅蝶、直接關(guān)閉客戶(hù)端程序、kill進(jìn)程募壕、主動(dòng)執(zhí)行disconnect方法都會(huì)導(dǎo)致立刻產(chǎn)生斷線(xiàn)事件调炬，在OnDisconnect監(jiān)聽(tīng)器事件中，取消訂閱舱馅，釋放訂閱任務(wù)線(xiàn)程資源缰泡。

架構(gòu)圖：

架構(gòu)圖.png

業(yè)務(wù)流程圖：

業(yè)務(wù)流程圖.png

相關(guān)準(zhǔn)備

• 1.網(wǎng)站的運(yùn)行環(huán)境
  netty-socketio 1.7.12
  socket.io 2.1.1
  java 1.8
  nginx 1.3+

• 2.相關(guān)配置描述（這里選擇的是正式上的配置）

  
  
  application-proshw.png

• 3.對(duì)參數(shù)的理解，大部分參考博客相關(guān)文檔代嗤，如有問(wèn)題棘钞，歡迎指正。

spring.server.maxThreads=5000
tomcat中支持的最大線(xiàn)程數(shù)干毅，因?yàn)閣ebsocket服務(wù)器在springboot中啟動(dòng)宜猜，redis的每一次訂閱都會(huì)阻塞，每個(gè)客戶(hù)端就至少產(chǎn)生一個(gè)線(xiàn)程硝逢，于是姨拥，就會(huì)設(shè)想連接數(shù)可能會(huì)受限于tomcat的線(xiàn)程數(shù)。具體實(shí)際測(cè)試結(jié)果渠鸽，一會(huì)下文給出叫乌。

netty_server_boss_count=12
netty_server_work_count=200
參考：
netty實(shí)戰(zhàn)之百萬(wàn)級(jí)流量NioEventLoopGroup線(xiàn)程數(shù)配置指出：
如果你的應(yīng)用服務(wù)的QPS只是幾百萬(wàn),那么parentGroup只需要設(shè)置為2,childGroup設(shè)置為4

netty_server_boss_count的默認(rèn)值為：服務(wù)器的物理核數(shù)
netty_server_work_count的默認(rèn)值不確定，但是網(wǎng)上一般設(shè)置100徽缚。
具體改為2憨奸，4的設(shè)置，目前還沒(méi)有經(jīng)過(guò)測(cè)試凿试，有待驗(yàn)證排宰。

• 4.nginx.conf的部分配置

upstream io_nodes {
    ip_hash; # 實(shí)際需求肯定采用這個(gè)策略，但是本地壓測(cè)使用的都是同一個(gè) ip红省，將會(huì)導(dǎo)致請(qǐng)求只分配到同一個(gè)服務(wù)器上
    server 10.0.0.222:7903;
    server 10.0.1.227:7905;
    server 10.0.2.82:7905;
}

server {
    listen 7903;
    server_name server.com;

    error_log  logs/error.log debug;
    access_log  logs/access.log;

    location / {
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header Host $http_host;
        proxy_set_header X-NginX-Proxy true;

        proxy_pass http://io_nodes;
        proxy_redirect off;

        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
    }
}

• 5.啟動(dòng)腳本run_boot.sh一部分

Tag="NettySocketApplication2.0"
App="netty-socketio-first-2.0.jar"
#MainClass="com.sinovoice.hcicloud.nettysocketiofirst.NettySocketioFirstApplication"
#Lib="/test/lib/"
#使用springBoot的日志框架文件配置中的路徑(/home/nettysocket/data/aicc/logs/foreignserver/log),需要新建好文件夾 
#所以這里指定到/dev/null额各，但是這樣子日志莫名奇妙的少了，就改成指定到固定文件 
#Log="/home/nettysocket/data/aicc/logs/foreignserver/log/foreignserver-2018-05-30-0.log"
echo $Tag
RETVAL="0"

./run_boot.sh start
./run_boot.sh stop
./run_boot.sh restart
./run_boot.sh status

備注：可以自行修改APP為實(shí)際名稱(chēng)

測(cè)試結(jié)果

這里使用網(wǎng)上推薦的websocket-bench進(jìn)行測(cè)試吧恃∠豪玻可以參考
使用websocket-bench進(jìn)行socket.io性能測(cè)試

• 具體測(cè)試命令：
  websocket-bench -a 2000 -c 1 -w 4 -k http://10.0.1.227:7903?ctiCode=106 -o opt.log

• 測(cè)試結(jié)果opt.log打印

  
  
  opt.log.png

• 參數(shù)簡(jiǎn)單描述：
  -a:一共的連接數(shù)
  -c:每秒的請(qǐng)求數(shù)
  -w:幾個(gè)工作線(xiàn)程執(zhí)行，這里我設(shè)置為測(cè)試服務(wù)器的物理核數(shù)
  -k:是否保持長(zhǎng)連接

• 遇到的問(wèn)題描述：

1. 改為類(lèi)似的測(cè)試語(yǔ)句
   websocket-bench -a 2000 -c 2 -w 8 -k http://127.0.1.227:7903?ctiCode=106 -o opt.log -v
   最后查看redis的連接數(shù)，始終達(dá)不到2000傲醉，有些連接被丟失蝇闭，反復(fù)修改代碼，反復(fù)測(cè)試（修改每秒的并發(fā)數(shù)）硬毕，穩(wěn)定的最大連接數(shù)始終維持在500呻引，只要-a>500，就會(huì)出現(xiàn)丟失吐咳÷哂疲基本定位問(wèn)題是由于redis的訂閱阻塞線(xiàn)程影響，但是沒(méi)有合適解決方案韭脊。目前還沒(méi)有正式上線(xiàn)童谒，只能等線(xiàn)上正式環(huán)境（坐席最大連接數(shù)基本在1000左右）的考驗(yàn)，看怎么解決沪羔。

預(yù)線(xiàn)上問(wèn)題描述：

1.websocket不支持F5轉(zhuǎn)發(fā)饥伊。AuthorizedHandler Blocked wrong request!
2.瀏覽器提示跨域問(wèn)題。因?yàn)榍捌谝才龅竭^(guò)蔫饰，但是單點(diǎn)連接就顯示沒(méi)有問(wèn)題琅豆，可能nginx的配置有問(wèn)題導(dǎo)致的。

沒(méi)有成功的nginx配置篓吁，使用的nginx 1.11.1,啟用sticky模塊的編譯茫因，以及使用負(fù)載均衡web查看狀態(tài)工具，nginx_upstream_check_module越除，但是訪(fǎng)問(wèn)就一直報(bào)跨域的錯(cuò)誤节腐，就放棄這種配置了。具體原因不詳摘盆。

upstream io_nodes {
    sticky;
    server 10.0.0.222:7903;
    server 10.0.1.227:7905;
    check interval=3000 rise=2 fall=5 timeout=1000 type=tcp;
}

server {
    listen 7903;
    server_name server.com;

    # 允許跨域
    #add_header Access-Control-Allow-Origin *;
    #add_header Access-Control-Allow-Methods 'GET, POST, OPTIONS';
    #add_header Access-Control-Allow-Headers 'DNT,X-Mx-ReqToken,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Authorization';
    #if ($request_method = 'OPTIONS') {
    #    return 204;
    #}


    error_log  logs/error.log debug;
    access_log  logs/access.log;


    location / {
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header Host $http_host;
        proxy_set_header X-NginX-Proxy true;

        proxy_pass http://io_nodes;
        proxy_redirect off;

        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";

    }
    location /nstatus {
        check_status;
        access_log off;
        #allow SOME.IP.ADD.RESS;
        #deny all;
    }
}

最后翼雀，github上查看具體實(shí)現(xiàn)代碼
netty-socketio-first