描述
最近使用node實現(xiàn)了一個遠(yuǎn)程桌面監(jiān)控的應(yīng)用最易，分為服務(wù)端和客戶端童本，客戶端可以實時監(jiān)控服務(wù)端的桌面原探，并且可以通過鼠標(biāo)和鍵盤來控制服務(wù)端的桌面柴底。
這里因為我是用的同一臺電腦，所以監(jiān)控畫面是這樣的莫矗，當(dāng)然使用兩臺電腦一個跑客戶端飒硅，一個跑服務(wù)端才有意義。
原理
其實這個應(yīng)用的功能主要分為兩部分作谚，一是實現(xiàn)監(jiān)控三娩，即在客戶端可以看到服務(wù)端的桌面，這部分功能是通過定時截圖來實現(xiàn)的妹懒，比如服務(wù)端一秒截幾次圖雀监，然后通過socketio發(fā)送到客戶端，客戶端通過改變img的src來實現(xiàn)一幀幀的顯示最新的圖片眨唬，這樣就能看到動態(tài)的桌面了会前。監(jiān)控就是這樣實現(xiàn)的。
另一個功能是控制匾竿，即客戶端對監(jiān)控畫面的操作瓦宜，包括鼠標(biāo)和鍵盤的操作都可以在服務(wù)端的桌面真正的生效，這部分功能的實現(xiàn)是在electron的應(yīng)用中監(jiān)聽了所有的鼠標(biāo)和鍵盤事件岭妖，比如keydown临庇、keyup、keypress昵慌，mousedown假夺、mouseup、mousemove斋攀、click等已卷，然后通過socketio把事件傳遞到服務(wù)端，服務(wù)端通過 robot-js來執(zhí)行不同的事件蜻韭，這樣就能使得客戶端的事件在服務(wù)端觸發(fā)了悼尾。
實現(xiàn)
原理講完柿扣，我們來具體實現(xiàn)一下（源碼鏈接在這）肖方。
實現(xiàn)socket通信
首先闺魏，服務(wù)端和客戶端分別引入socket.io和socket.io-client, 分別初始化
服務(wù)端：
const app = new Koa();
const server = http.createServer(app.callback());
createSocketIO(server);
app.use((ctx): void => {
ctx.body = 'please connect use socket';
});
server.listen(port, (): void => {
console.log('server started at http://localhost:' + port);
});
//createSocketIO
const io = socketIO(server, {
pingInterval: 10000,
pingTimeout: 5000,
cookie: false
});
io.on('connect', (socket): void => {
socket.emit('msg', 'connected');
}
客戶端：
var socket = this.socket = io('http://' + this.ip + ':3000')
socket.on('msg', (msg) => {
console.log(msg)
})
socket.on('error', (err) => {
alert('出錯了' + err)
})
這樣，服務(wù)端和客戶端就通過socketio建立了鏈接俯画。
實現(xiàn)桌面監(jiān)控
之后我們首先要在服務(wù)端來截圖析桥，使用screenshot-desktop這個包
const screenshot = require('screenshot-desktop')
const SCREENSHOT_INTERVAL = 500;
export const createScreenshot = (): Promise<[string, Buffer]> => {
return screenshot({format: 'png'}).then((img): [string, Buffer] => {
return [ img.toString('base64'), img];
}).catch((err): {} => {
console.log('截圖失敗', err);
return err;
})
}
export const startScreenshotTimer = (callback): {} => {
return setInterval((): void => {
createScreenshot().then(([imgStr, img]): void => {
callback(['data:image/png;base64,' + imgStr, img]);
})
}, SCREENSHOT_INTERVAL)
}
然后通過socketio的emit來傳到客戶端：
startScreenshotTimer(([imgStr, img]): void => {
io.sockets.emit('screenshot', imgStr);
});
客戶端收到圖片后，設(shè)置到img的src上（這里是base64的圖片url）:
<img
class="screenshot"
:src="screenshot"
/>
data () {
return {
screenshot: ''
}
}
socket.on('screenshot', (data) => {
this.screenshot = data
})
其實這樣就已經(jīng)實現(xiàn)了桌面監(jiān)控了艰垂，有興趣的同學(xué)可以照著這個思路實現(xiàn)看看泡仗，并不是很麻煩。
當(dāng)然這樣的方案是有問題的猜憎，因為我們需要知道服務(wù)端桌面尺寸的大小娩怎，然后根據(jù)這個來調(diào)整客戶端顯示的圖片尺寸。
實現(xiàn)這個細(xì)節(jié)是使用的get-pixels這個庫胰柑，可以讀取本地圖片文件的寬度高度等信息截亦，所以我先把圖片寫入本地，然后又讀取出來柬讨，這樣獲取到的屏幕尺寸崩瓤。
interface ScreenSize {
width: number;
height: number;
}
function getScreenSize(img): Promise<ScreenSize> {
const imgPath = path.resolve(process.cwd(), './tmp.png');
fs.writeFileSync(imgPath, img);
return new Promise((resolve): void => {
getPixels(imgPath, function(err, pixels): void {
if(err) {
console.log("Bad image path")
return
}
resolve({
width: pixels.shape[0],
height: pixels.shape[1]
});
});
})
}
然后通過socektio傳遞給客戶端
getScreenSize(img).then(({ width, height}) => {
io.sockets.emit('screensize', {
width,
height
})
});
客戶端收到之后調(diào)整圖片大小就可以了
<img
class="screenshot"
:src="screenshot"
:style="screenshotStyle"
/>
data () {
return {
screenshot: '',
screenshotStyle: '',
}
}
socket.on('screensize', (screensize) => {
this.screenshotStyle = {'width': screensize.width + 'px', 'height': screensize.height + 'px'}
})
至此已經(jīng)實現(xiàn)了桌面監(jiān)控，并且圖片尺寸和服務(wù)端屏幕的尺寸是一致的踩官。
這里還有一個細(xì)節(jié)却桶，就是獲取到的圖片大小是物理像素，而客戶端設(shè)置的px是設(shè)備無關(guān)像素蔗牡，也就是要除以dpr才是px的值颖系。這里需要獲取dpr，因為目前只是在mac下用辩越，所以直接除以2了集晚。
實現(xiàn)遠(yuǎn)程控制
代碼寫到這里，客戶端的electron應(yīng)用中已經(jīng)可以實時顯示服務(wù)端的桌面了区匣。（當(dāng)然像輸入ip的彈框偷拔，以及electron-vue和typescript等和主要邏輯無關(guān)的細(xì)節(jié)就不展開了。）
接下來我們要實現(xiàn)遠(yuǎn)程控制亏钩，也就是監(jiān)聽事件莲绰，傳遞事件，執(zhí)行事件這幾部分姑丑。
首先我們定義一下傳遞的事件的格式：
interface MouseEvent {
type: string;
buttonType: string;
x: number;
y: number;
}
interface KeyboardEvent {
type: string;
keyCode: number;
keyName: string;
}
鼠標(biāo)事件MouseEvent焊虏，type為鼠標(biāo)事件的類型狐蜕，具體的值包括mousedown、mouseup筝蚕、mousemove、click的烁、dblclick，buttonType指的是鼠標(biāo)的左鍵還是右鍵，值為 left 或 right鲫尊，x和y是具體的坐標(biāo)。
鍵盤事件KeyboardEvent沦偎，type為鍵盤事件的類型疫向，具體的值包括keydown、keyup豪嚎、keypress搔驼，keyCode為鍵盤碼，keyName為鍵的名字侈询。
接下來我們要在客戶端監(jiān)聽事件：
<img
class="screenshot"
:src="screenshot"
:style="screenshotStyle"
@mousedown="handleMouseEvent"
@mousemove="handleMouseEvent"
@mouseup="handleMouseEvent"
@click="handleMouseEvent"
@dblclick="handleMouseEvent"
/>
window.onkeypress = window.onkeyup = window.onkeydown = this.handleKeyboardEvent
通過socekt把事件傳遞到服務(wù)端
handleKeyboardEvent (e) {
this.socket && this.socket.emit('userevent', {
type: 'keyboard',
event: {
type: e.type,
keyName: e.key,
keyCode: e.keyCode
}
})
},
handleMouseEvent (e) {
this.socket && this.socket.emit('userevent', {
type: 'mouse',
event: {
type: e.type,
buttonType: e.buttons === 2 ? 'right' : 'left',
x: e.offsetX,
y: e.offsetY
}
})
},
然后在服務(wù)端把事件取出來執(zhí)行舌涨，執(zhí)行事件使用的是robot-js：
const { Mouse, Point, Keyboard } = require('robot-js');
interface MouseEvent {
type: string;
buttonType: string;
x: number;
y: number;
}
interface KeyboardEvent {
type: string;
keyCode: number;
keyName: string;
}
export default class EventExecuter {
public mouse;
public keyboard;
public constructor(){
this.mouse = new Mouse();
this.keyboard = new Keyboard();
}
public executeKeyboardEvent(event: KeyboardEvent): void {
switch(event.type) {
case 'keydown':
this.keyboard.press(event.keyCode);
break;
case 'keyup':
this.keyboard.release(event.keyCode);
break;
case 'keypress':
this.keyboard.click(event.keyCode);
break;
default: break;
}
}
public executeMouseEvent(event): void {
Mouse.setPos(new Point(event.x, event.y));
const button = event.buttonType === 'left' ? 0 : 2
switch(event.type) {
case 'mousedown':
this.mouse.press(button);
break;
case 'mousemove':
break;
case 'mouseup':
this.mouse.release(button);
break;
case 'click':
this.mouse.click(button);
break;
case 'dblclick':
this.mouse.click(button);
this.mouse.click(button);
break;
default: break;
}
}
public exectue(eventInfo): void {
console.log(eventInfo);
switch (eventInfo.type) {
case 'keyboard':
this.executeKeyboardEvent(eventInfo.event);
break;
case 'mouse':
this.executeMouseEvent(eventInfo.event);
break;
default: break;
}
}
}
至此，桌面監(jiān)控和遠(yuǎn)程控制的客戶端還有服務(wù)端的部分扔字，以及兩端的通信都已經(jīng)實現(xiàn)了囊嘉。思路其實并不麻煩，但細(xì)節(jié)還是很多的啦租。有興趣的同學(xué)可以把代碼下下來跑跑試試哗伯，或者按著這個思路自己實現(xiàn)一遍，還是挺好玩的篷角。
源碼鏈接
歡迎反饋焊刹，歡迎star~
