簡(jiǎn)評(píng)：上個(gè)月的 Google 云會(huì)議上發(fā)布了 Video Intelligence API，開(kāi)發(fā)者可以通過(guò)單個(gè) API 請(qǐng)求輕松地分析視頻內(nèi)容扑浸，看看視頻中的每個(gè)場(chǎng)景發(fā)生了什么伞辛。
先上一個(gè) demo 給大家展示一下這個(gè) Vision API 的潛力仰禽，代碼已在 GitHub 開(kāi)源检诗。
使用 API 的元數(shù)據(jù)搜索大型視頻庫(kù)：
Video Intelligence API 簡(jiǎn)介
該 API 提供了一個(gè)預(yù)先訓(xùn)練好的模型甩鳄，可以告訴你視頻中每個(gè)場(chǎng)景發(fā)生的細(xì)粒度數(shù)據(jù)赔桌，比方說(shuō)視頻在 0:07s 中有一只狗供炎，像這樣：
視頻 API 就會(huì)告訴你這個(gè)場(chǎng)景里有一只狗，同時(shí)也會(huì)告訴你包含狗的其他所有場(chǎng)景疾党，以下是一個(gè)標(biāo)簽的 JSON 響應(yīng)：
{
"description": "Dog",
"language_code": "en-us",
"locations": [ {
"segment": {
"start_time_offset": 7090474,
"end_time_offset": 8758738
},
"confidence": 0.99793893,
"level": "SHOT_LEVEL"
}
此 JSON 能顯示該標(biāo)簽毫秒級(jí)的響應(yīng)音诫，對(duì)于視頻中相同片段，API 還會(huì)告訴我們狗的品種仿贬。開(kāi)發(fā)者除了直接在視頻中取幀纽竣，將其發(fā)送至 Vision API 外，其實(shí)還有個(gè)更好的方法茧泪。Vision API 是通過(guò)一個(gè)模型來(lái)分析視頻蜓氨，查看不同幀之間的關(guān)聯(lián)，如果視頻中有服裝和糖果的場(chǎng)景队伟，它可以告訴你這或許是一個(gè)萬(wàn)圣節(jié)的視頻穴吹，隨后，API 的鏡頭更改檢測(cè)功能會(huì)將視頻分解為不同場(chǎng)景嗜侮，再作為 JSON 對(duì)象返回港令。
更多詳情信息可以觀看 Ram Ramanathan，Juhyun Lee 和 Lynne Hurwitz 的演講锈颗。
工作原理
在后端顷霹，該應(yīng)用的視頻存儲(chǔ)在 Google Cloud Storage bucket。我寫了一個(gè)云功能击吱，每當(dāng)一個(gè)新的文件被添加時(shí)就會(huì)觸發(fā)淋淀。函數(shù)會(huì)先檢查這個(gè)文件是否是視頻，如果是視頻的話就將該文件發(fā)送到 Video API 進(jìn)行注釋覆醇。Vision API 允許根據(jù)請(qǐng)求選擇傳遞outputUri 參數(shù)朵纷，當(dāng) API 完成處理時(shí)炭臭，API 會(huì)寫入視頻注釋，然后再利用這一點(diǎn)將注釋 JSON 存儲(chǔ)在單獨(dú)的 Cloud Storage bucket 中袍辞。
前端是 Node.js鞋仍，使用了 ES6, Sass, Gulp, CanvasJS 和其他 客戶端 JS 工具。
你可以直接在瀏覽器中嘗試使用 Video API搅吁，而無(wú)需編寫任何代碼威创。如果你有要分析的視頻，可以注冊(cè) Video Intelligence API alpha似芝。開(kāi)發(fā)者 Twitter@SRobTweets那婉。
推薦閱讀：
- 2017 Google I/O 開(kāi)發(fā)者大會(huì) | 計(jì)算機(jī)視覺(jué)無(wú)處不在
- 極光開(kāi)源項(xiàng)目：「Aurora UI」，一個(gè)通用 IM 聊天 UI 組件党瓮，支持Android、iOS（swift/oc）盐类、react寞奸。
