傳說有兩個(gè)烏鴉淑掌,名為 Huginn 和 Muninn蒿讥,它們被視為奧丁的左肩右臂。奧丁在黎明時(shí)送出 Huginn 和 Muninn 抛腕,它們飛到世界各地诈悍,然后在晚餐時(shí)間回來,告訴奧丁它們看到和聽到的一切兽埃,奧丁則賜予它們食物作為報(bào)酬∈释啵—— Huginn 命名的由來
Huginn
不記得什么時(shí)候 Star 的了柄错,只記得當(dāng)時(shí)看 README 很厲害的樣子,類似一個(gè)個(gè)人監(jiān)控助理類的軟件。大概就是一個(gè)加強(qiáng)版的 IFTTT售貌,可以監(jiān)控各種信息给猾,然后通知你。比起即刻App可訂制化更高點(diǎn)颂跨,需要的一些基本知識(shí)也更多些:Linux基本操作敢伸、CSS基本使用、Xpath基本使用恒削、JSON最基本知識(shí)……當(dāng)然比起自己寫爬蟲還是簡(jiǎn)單些池颈。
春節(jié)折騰了好久,主要麻煩在搭建钓丰,配置要求也比較高躯砰,至少要 0.5GB RAM + 0.5GB swap,但是在 VPS 上裝了很多次總是有各種各樣的問題(其實(shí)就是配置不夠)携丁,還是用 docker 省事琢歇,有域名的再隨便開個(gè) Nginx 轉(zhuǎn)發(fā)就好了。
Install Script
docker 安裝腳本
# Show commands executed
set -x
# Setup swap file so it works better on lower memory VMs
fallocate -l 4G /swapfile
chmod 600 /swapfile
mkswap /swapfile
swapon /swapfile
echo "/swapfile none swap sw 0 0" >> /etc/fstab
sysctl vm.swappiness=10
echo "vm.swappiness=10" >> /etc/sysctl.conf
useradd -s/bin/bash -m huginn
# Run the huginn docker container on port 3000, map the MySQL data to the host machine in /home/huginn/mysql-data
# So the data is persisted across runs/updates (handy)
mkdir /tmp/docker-huginn/
cd /tmp/docker-huginn/
docker run -d -p 3000:3000 -v /home/huginn/mysql-data:/var/lib/mysql cantino/huginn
Nginx 配置
server {
listen 0.0.0.0:80;
listen [::]:80 ipv6only=on;
server_name huginn.yourdomain.com;;
server_tokens off;
access_log /var/log/nginx/huginn-access.log;
error_log /var/log/nginx/huginn-error.log;
add_header Strict-Transport-Security max-age=63072000;
add_header X-Frame-Options DENY;
add_header X-Content-Type-Options nosniff;
gzip on;
rewrite_log on;
# use the application's 500.html page
error_page 500 502 503 504 /500.html;
# allow clients to upload large files (if necessary)
client_max_body_size 4G;
location / {
proxy_pass http://XXX.XXX.XXX.XXX:3000;
proxy_redirect off;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-Ssl on;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-Frame-Options SAMEORIGIN;
client_max_body_size 100m;
client_body_buffer_size 128k;
proxy_buffer_size 4k;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 64k;
}
add_header Strict-Transport-Security max-age=2592000;
}
利用 Huginn 為小說生成 Rss
抓取的筆趣閣的梦鉴,手機(jī)版格式簡(jiǎn)單點(diǎn)李茫,更好設(shè)置 Web Agent 一些。
終于沒有迷人的小廣告了肥橙,不過用 Feedly 有些延時(shí)魄宏。
Twitter,商品價(jià)格監(jiān)控什么的有空在研究吧快骗。
嘗鮮
雖然自用第三方平臺(tái)上總是有各種限制娜庇,但是作為嘗鮮還是很不錯(cuò)的選擇。
如果你對(duì) Huginn 有興趣方篮,不妨可以先到我在櫻花 docker 開的 Huginn 上試試名秀。
當(dāng)然熟人我也可以在自用的上面給你多開一個(gè)帳號(hào)。