現(xiàn)象
filebeat的日志中出現(xiàn)
2019-04-23T14:28:30.304+0800 WARN transport/tcp.go:36 DNS lookup failure "systemlog-collect-2.novalocal": lookup systemlog-collect-2.novalocal: too many open files
2019-04-23T14:28:39.689+0800 ERROR pipeline/output.go:74 Failed to connect: lookup systemlog-collect-1.novalocal: too many open files
查看設置的max open files
進程的（最終以這個為準）：
[root]# cat /proc/<pid>/limits | grep "Max open files"
Max open files 1024 4096 files
系統(tǒng)配置的：
[root@hdp1-hadoop-datanode-6 ~]# ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 127966
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 32768
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 32768
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
解決方法：修改filebeat的限制
filebeat是通過systemd控制的，修改服務的 LimitNOFILE 配置即可
[Unit]
Description=filebeat
Documentation=https://www.elastic.co/guide/en/beats/filebeat/current/index.html
Wants=network-online.target
After=network-online.target
[Service]
LimitNOFILE=32768
ExecStart=/usr/share/filebeat/bin/filebeat -c /etc/filebeat/filebeat.yml
Restart=on-failure
[Install]
WantedBy=multi-user.target
重啟
systemctl daemon-reload
systemctl restart filebeat
查看打開數(shù) lsof
只有FD列中數(shù)字開頭的才算限制的范圍內(nèi)帽蝶。 “NODE”這個是文件inode盏浇，同一個文件可能會被打開多次节芥，那么就有多個句柄蒜危。
線程與進程：進程是資源的最小單位泰佳，直接使用lsof不加參數(shù)可以看到所有線程的打開文件题画，但從fd那列可以看到實際上是重復的
[root@hdp1-hadoop-datanode-6 ~]# lsof -c filebeat
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
filebeat 30309 root cwd DIR 253,0 4096 64 /
filebeat 30309 root rtd DIR 253,0 4096 64 /
filebeat 30309 root txt REG 253,0 47580429 36674332 /usr/share/filebeat/bin/filebeat
filebeat 30309 root mem REG 253,0 61752 1373 /usr/lib64/libnss_files-2.17.so
filebeat 30309 root mem REG 253,0 2116736 1355 /usr/lib64/libc-2.17.so
filebeat 30309 root mem REG 253,0 19344 1361 /usr/lib64/libdl-2.17.so
filebeat 30309 root mem REG 253,0 143352 1381 /usr/lib64/libpthread-2.17.so
filebeat 30309 root mem REG 253,0 155064 1348 /usr/lib64/ld-2.17.so
filebeat 30309 root 0r CHR 1,3 0t0 1028 /dev/null
filebeat 30309 root 1u unix 0xffff8800025a8000 0t0 348814743 socket
filebeat 30309 root 2u unix 0xffff8800025a8000 0t0 348814743 socket
filebeat 30309 root 3r CHR 1,9 0t0 1033 /dev/urandom
filebeat 30309 root 4u a_inode 0,9 0 5868 [eventpoll]
filebeat 30309 root 5w REG 253,0 86117783 768307 /matrix/data/logs/filebeat/filebeat
filebeat 30309 root 6u sock 0,7 0t0 2873047023 protocol: TCP
lsof的使用
https://www.cnblogs.com/peida/archive/2013/02/26/2932972.html
常用參數(shù)：
-a 列出打開文件存在的進程
-c<進程名> 列出指定進程所打開的文件
-g 列出GID號進程詳情
-d<文件號> 列出占用該文件號的進程
+d<目錄> 列出目錄下被打開的文件
+D<目錄> 遞歸列出目錄下被打開的文件
-n<目錄> 列出使用NFS的文件
-i<條件> 列出符合條件的進程篮灼。（4、6路操、協(xié)議疾渴、:端口、 @ip ）
-p<進程號> 列出指定進程號所打開的文件
-u 列出UID號進程詳情
golang設置max open files
package main
/*
#include <stdio.h>
#include <sys/time.h>
#include <sys/resource.h>
int rlimit_init() {
printf("setting rlimit\n");
struct rlimit limit;
if (getrlimit(RLIMIT_NOFILE, &limit) == -1) {
printf("getrlimit error\n");
return 1;
}
limit.rlim_cur = limit.rlim_max = 50000;
if (setrlimit(RLIMIT_NOFILE, &limit) == -1) {
printf("setrlimit error\n");
return 1;
}
printf("set limit ok\n");
return 0;
}
*/
import "C"
func main() {
C.rlimit_init()
}
或者： syscall 包（linux下）
package main
import (
"fmt"
"os"
"syscall"
)
func main() {
var rlim syscall.Rlimit
err := syscall.Getrlimit(syscall.RLIMIT_NOFILE, &rlim)
if err != nil {
fmt.Println("get rlimit error: " + err.Error())
os.Exit(1)
}
rlim.Cur = 50000
rlim.Max = 50000
err = syscall.Setrlimit(syscall.RLIMIT_NOFILE, &rlim)
if err != nil {
fmt.Println("set rlimit error: " + err.Error())
os.Exit(1)
}
}
