Amazon Go的亮點(diǎn)
用戶進(jìn)入商店旷赖，穿過閘機(jī)的時(shí)候打開手機(jī)讓其識(shí)別，這時(shí)手機(jī)里的系統(tǒng)啟動(dòng)，并隨時(shí)準(zhǔn)備更新物品清單吼和。令人驚艷的部分就是，****在用戶拿走或放回物品的一瞬間骑素，手機(jī)里的系統(tǒng)會(huì)自動(dòng)更新清單炫乓。最后，用戶拿著物品滿意地離開献丑，手機(jī)自動(dòng)扣款末捣。
機(jī)器視覺箩做、深度學(xué)習(xí)算法和傳感器融合
“偵測物體互動(dòng)和移動(dòng)”（Detecting item interaction and movement）
“偵測物體互動(dòng)和移動(dòng)”（Detecting item interaction and movement）這份專利的摘要是：
用戶從一個(gè)貨架上拿起或放下一個(gè)物品邦邦，貨物管理系統(tǒng)可以偵測到這個(gè)動(dòng)作安吁，并且更新用戶移動(dòng)設(shè)備里的清單。
“物品從置物設(shè)備上的轉(zhuǎn)移”（Transitioning items from the materials handling facility）
“物品從置物設(shè)備上的轉(zhuǎn)移”（Transitioning items from the materials handling facility）這份專利的摘要是：
物品被識(shí)別燃辖，并且當(dāng)用戶正在拿起物品時(shí)鬼店，物品自動(dòng)與用戶發(fā)生關(guān)聯(lián)。 當(dāng)用戶進(jìn)入或穿過一個(gè)“轉(zhuǎn)移區(qū)”（Transition Area）黔龟，被拿起的物品將自動(dòng)轉(zhuǎn)移到用戶薪韩，而不需要用戶有任何的輸入。
這兩份專利文件都描繪了十分龐雜的應(yīng)用場景捌锭，包括：貨倉俘陷、船運(yùn)、零售市場等观谦，所以很多人當(dāng)初在看到這份文件時(shí)拉盾，都以為這是亞馬遜為自己的倉儲(chǔ)系統(tǒng)量身定制的，不過今天一切真相大白豁状。
這兩份專利分別講了什么捉偏？
總的來說就是，被識(shí)別的物體與用戶發(fā)生關(guān)聯(lián)泻红，能自動(dòng)更新清單夭禽，并在“轉(zhuǎn)移區(qū)”進(jìn)行自動(dòng)交易（“轉(zhuǎn)移區(qū)”在Amazon Go里指的就是商店的出口）。
我們可以從下面一張圖里谊路，一窺 Amazon Go 的基本原型讹躯。
從2份專利文件，一窺Amazon Go到底藏了什么黑科技缠劝？
- 208:攝像頭
圖中代號(hào)為208的物體都是攝像頭潮梯，大約有10多個(gè)（有一些被人體擋住）惨恭。208攝像頭分別置于天花板（如圖左右兩邊各有一個(gè)比較大的攝像頭）秉馏、貨架兩側(cè)和貨架內(nèi)部。文件里描述到脱羡，天花板上的208用來采集用戶和貨品的位置萝究、貨架兩側(cè)的208用來捕捉用戶的圖像和周圍的環(huán)境，貨架內(nèi)的208用來確定貨品的位置或用戶手的移動(dòng)（進(jìn)入和離開貨架）锉罐。
而從視頻里帆竹，我們隱約能夠看到安置在貨架內(nèi)部的攝像頭。
另外氓鄙，專利文件里還補(bǔ)充道：這里的攝像頭可以是多種類型的馆揉，可以是RGB攝像頭，或深度感知攝像頭抖拦。除了攝像頭之外升酣，也可以有其他輸入設(shè)備，比如壓力傳感器态罪、紅外傳感器噩茄、體積位移傳感器、光幕等等复颈。壓力傳感器可以偵測物品移出和進(jìn)入的時(shí)間绩聘，紅外傳感器可以用來區(qū)分用戶和的手和物品。
我們具體并不清楚Amazon Go到底在多大程度上使用了計(jì)算機(jī)視覺技術(shù)耗啦。比如說凿菩，當(dāng)用戶進(jìn)出商店時(shí)，都需要對用戶進(jìn)行識(shí)別帜讲，文件里反復(fù)提到可以用人臉識(shí)別技術(shù)實(shí)現(xiàn)衅谷，但是又會(huì)繼續(xù)補(bǔ)充說明可以通過手機(jī)等移動(dòng)設(shè)備來偵測。
Quora網(wǎng)友Anurag Ranjan是一位機(jī)器視覺和深度學(xué)習(xí)領(lǐng)域的準(zhǔn)PhD似将，他分析稱：
Amazon Go使用商店里的攝像頭識(shí)別出了用戶获黔，可能針對用戶拍了幾張照片，依靠一些標(biāo)準(zhǔn)的深度學(xué)習(xí)網(wǎng)絡(luò)形成了一幅特征圖在验，比如Resnet,玷氏、GoogLeNet 或者 VGG 這樣的∫干啵總之盏触，當(dāng)用戶踏進(jìn)店里的那一刻起，Amazon Go就知道用戶長什么樣了块饺。
但是根據(jù)專利和既有經(jīng)驗(yàn)來看耻陕，在整個(gè)過程中用計(jì)算機(jī)視覺來追蹤用戶，代價(jià)太高了刨沦。我們大致可以確定的是诗宣，貨架上的一排排攝像頭應(yīng)該就是對用戶進(jìn)行“動(dòng)作識(shí)別”，并且識(shí)別出物體是否被拿走（這里也或許是傳感器實(shí)現(xiàn)的）想诅。
不過整個(gè)過程中的難點(diǎn)是召庞，如何將物品與用戶進(jìn)行唯一綁定？
云從科技高級(jí)算法工程師周翔告訴雷鋒網(wǎng)来破，Amazon Go具體用到哪些技術(shù)篮灼，目前我們只能夠猜測，他提到可能的實(shí)現(xiàn)機(jī)制是：
通過手機(jī)做到了精準(zhǔn)定位人徘禁，然后物體的具體位置可以大概確定诅诱，一旦人附近的物品離開，同時(shí)最近的人的ID就會(huì)關(guān)聯(lián)這個(gè)物品ID送朱。
置物架肯定用到了壓力傳感器娘荡，一旦物品離開干旁，就會(huì)明確知道什么物品在什么地點(diǎn)離開，一旦物品回來炮沐，壓力傳感器同樣會(huì)感應(yīng)到争群。
深度學(xué)習(xí)可能是學(xué)習(xí)了人的購物習(xí)慣，可能用到計(jì)算機(jī)視覺做了人的動(dòng)作識(shí)別大年，然后根據(jù)物品與人的ID進(jìn)行關(guān)聯(lián)换薄，也就是二次確認(rèn)。同時(shí)分析一個(gè)人的購物喜好翔试，推測他會(huì)買的東西轻要，提前做一些預(yù)判。
周翔提出垦缅，可能Amazon Go根本沒有用到人臉識(shí)別的技術(shù)冲泥，“國外對人臉的隱私權(quán)是比較高的，未經(jīng)允許采集他人的人臉會(huì)被起訴的”失都。雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))也關(guān)注到柏蘑，在李飛飛的那篇推文下，有網(wǎng)友對此持抵觸態(tài)度粹庞，認(rèn)為如果是人臉采集咳焚，侵犯了自己的隱私。
Amazon Go的出現(xiàn)驚艷了很多人庞溜，不過并不是所有人對此表示歡迎革半，除了上文提到的隱私問題外，有不少人擔(dān)憂流码，如果這種技術(shù)大范圍普及（我們知道亞馬遜是多喜歡2B業(yè)務(wù)）又官，大量超市收銀員將會(huì)失去工作，畢竟亞馬遜在視頻里承諾要在 2017年初漫试，于西雅圖上線第一家Amazon Go六敬。
不過這種技術(shù)究竟有多少“實(shí)操性”，還是存在很多的疑惑的驾荣，例如：
如果好幾個(gè)人擠到一起買同一類東西（比如商場打折搶貨外构，這是經(jīng)常發(fā)生的），那么物品與人的ID關(guān)聯(lián)還能保持精準(zhǔn)嗎播掷？
如果用戶把商品放回的位置是錯(cuò)的呢审编，這樣也會(huì)被收費(fèi)嗎？
如果有人搞怪歧匈，將自己家空果汁瓶取代商店里的新鮮果汁垒酬，那么Amazon Go識(shí)別的出來嗎？
識(shí)別動(dòng)作靠如下步驟：
采集用戶的手進(jìn)入貨架平面前的圖像。
采集用戶的手離開貨架平面后的圖像勘究。
兩者對比矮湘，可以知道是拿出貨物還是放入貨物。
識(shí)別物品按照如下步驟：
- 識(shí)別被拿走的物品因?yàn)槲锲肥潜还蛦T人工放置的乱顾，所以該物品可以直接標(biāo)記到系統(tǒng)中板祝，因此不用圖像識(shí)別是何種物品（它已經(jīng)被人工識(shí)別了）宫静。用傳感器表示它被拿走即可走净。
- 在某些情況下，商品可能沒有被提起設(shè)置或者設(shè)置后被混亂了孤里，那么此時(shí)需要圖像識(shí)別該位置現(xiàn)有的商品與應(yīng)該有的商品是否一致伏伯。例如，物品 A 被放在 B 物品處捌袜，如果只有上面提到的那種方式處理说搅，就會(huì)被當(dāng)成物品 B，不過這種情況較少虏等。
- 如果是高置信度事件弄唧，可直接確認(rèn)，更新（增加）物品清單霍衫，否則還有顧客協(xié)作確認(rèn)的環(huán)節(jié)候引。
識(shí)別被放回的物品
- 在放回物品前，可以通過物品清單確定用戶與物品的關(guān)系敦跌，這些物品的圖片被儲(chǔ)存在系統(tǒng)內(nèi)澄干。
- 檢索圖片，與被放回物品進(jìn)行比較柠傍，識(shí)別物品麸俘。
- 高置信度即可判斷物品正確，更新（刪除）物品清單惧笛，否則還有顧客協(xié)作確認(rèn)的環(huán)節(jié)从媚。
- 被放回的物品會(huì)存在錯(cuò)放位置的情況，識(shí)別后通知雇員整理患整。
- 不管是拿走還是放回拜效，如果是低置信度事件，會(huì)被系統(tǒng)記錄分析并级。
陳維龍把 Amazon Go 系統(tǒng)“拆分”為三部分：人/貨架/進(jìn)出口拂檩。其中硬件軟件構(gòu)成如下表：
人
貨架
進(jìn)出口
硬件
手機(jī)
攝像頭/壓力/紅外/體積位傳感器/光幕
二維碼識(shí)別器/自動(dòng)門
軟件
專門應(yīng)用
庫存管理系統(tǒng)
定制系統(tǒng)
布局如下圖所示：
貨架墻壁上安裝多個(gè)攝像頭，多種傳感器埋在每層貨架的底部或頂部嘲碧。攝像頭負(fù)責(zé)拍照稻励，光幕/紅外傳感器負(fù)責(zé)制造一個(gè)水平面，如果用戶的手穿過此面表示用戶開始實(shí)施某種動(dòng)作，提高圖像分析效率望抽。壓力/紅外傳感器用來表示商品的位置和狀態(tài)加矛，為用戶的行為提供數(shù)據(jù)。
利用這些數(shù)據(jù)進(jìn)行深度學(xué)習(xí)煤篙，建立商品—?jiǎng)幼鳌说呐袆e模型斟览，提高系統(tǒng)反作弊/識(shí)別能力。
1辑奈，沃爾瑪?shù)摹癝can&Go"
沃爾瑪?shù)摹癝can&Go"項(xiàng)目主要是開發(fā)一款手機(jī)應(yīng)用苛茂，將客戶的手機(jī)變成掃描槍，客戶成了收銀員鸠窗，邊購物邊掃描妓羊，最后手機(jī)結(jié)賬。如下圖：
現(xiàn)存報(bào)道如下：
沃爾瑪推Scan&Go移動(dòng)支付應(yīng)用實(shí)現(xiàn)自助結(jié)賬服務(wù)| 行業(yè)志**
因?yàn)楸I損率過高（好像是從0.7%上升到3%以上）該項(xiàng)目最終失敗了稍计。對于薄利多銷的超市而言躁绸，損失過于巨大。
2臣嚣，掃描儀方案
12年的時(shí)候沃爾瑪在北京實(shí)施過另一個(gè)計(jì)劃净刮，給每個(gè)客戶發(fā)一個(gè)掃描儀，每臺(tái)購物車上安裝簡易終端（用于導(dǎo)航和展示商品）硅则，具體過程與上面介紹的方案類似淹父，失敗結(jié)果也是一樣的。
3抢埋，智能購物車方案
15年出現(xiàn)了”BuySmart超市智能購物車“弹灭，它與前面的區(qū)別在于用Pad更換了手機(jī)/掃描儀，而且提供了銷售數(shù)據(jù)分析功能揪垄。
報(bào)道如下：
BuySmart超市智能購物車：BuySmart超市智能購物車穷吮，你的時(shí)間我來負(fù)責(zé) - DEMO - 創(chuàng)業(yè)邦**
沃爾瑪?shù)摹癝can&Go"類方案失敗的關(guān)鍵在于沒能解決防盜防損問題，提供了一些華而不實(shí)或者后續(xù)才需要實(shí)現(xiàn)的功能饥努。
二：無人收銀機(jī)方案
先上圖：
無人機(jī)方案比較好理解捡鱼，和地鐵無人售票機(jī)一樣】崂ⅲ客戶購物完成走到無人收銀機(jī)前驾诈，將每個(gè)物品放入掃描，然后放錢結(jié)賬溶浴。便宜的機(jī)器是沒有防盜措施的乍迄，國外某些機(jī)器具有簡單的防盜措施，例如重力感應(yīng)士败。這個(gè)措施是很容易被破除的闯两，例如不掃描直接帶走褥伴，李代桃僵（重量一致）。
無人收銀機(jī)方案的關(guān)鍵是節(jié)約人工成本（限國外）漾狼，防盜防損技術(shù)基本沒有重慢，操作麻煩，不能完全非人工作業(yè)逊躁，完全不智能似踱。該方案在國外用的多，國內(nèi)嘛稽煤，深圳/上海/杭州等地都出現(xiàn)過核芽，基本上沒啥用途。
介紹如下：
國內(nèi)超市無人自助收銀系統(tǒng)為什么發(fā)展緩慢念脯？ | 知乎精選**
自助收銀機(jī)已登陸上海狞洋，你看好嗎弯淘？-搜狐**
三绿店，誠信超市方案
15年6月的時(shí)候，阿里搞了個(gè)無人誠信超市活動(dòng)庐橙，就是給便利店的員工放一天假假勿，客戶順便購買/拿商品，付不付錢态鳖，付多少錢全靠你自己转培。這種超市用腳想都知道沒戲，不過在國外還挺多浆竭，但也有特殊條件才行浸须。這種方案不要問我關(guān)鍵因素在哪～～～
報(bào)道如下：
無人超市試水 1天后恢復(fù)“有人”(組圖)**
在“無人超市”，體驗(yàn)美式信用--國際--人民網(wǎng)**
四邦泄，RFID方案
RFID是無線射頻識(shí)別**技術(shù)的縮寫删窒，它的使用方法是將標(biāo)簽貼在商品上，商品經(jīng)過一個(gè)區(qū)域可以自動(dòng)被感知標(biāo)簽顺囊，從而識(shí)別商品肌索。這與當(dāng)前的收銀員掃描過程類似，只是RFID技術(shù)能遠(yuǎn)距離（30m）批量識(shí)別特碳，這樣的話只要設(shè)立感應(yīng)裝置（出口）诚亚，任何經(jīng)過該出口的商品都能被識(shí)別。它的應(yīng)用場景是：你購物過程中自動(dòng)識(shí)別購物車中的物品午乓，完成購物后手機(jī)出現(xiàn)付款二維碼站宗，到收銀臺(tái)掃描付款即可。該方案沒有在超市應(yīng)用的主要原因是因?yàn)闃?biāo)簽成本太貴益愈，好像高達(dá)0.5元一個(gè)梢灭。不要以為0.5元很便宜，對超市而言，簡直貴死了或辖。沃爾瑪?shù)拿?5%左右瘾英，凈利在5%左右，超市大部分商品單價(jià)在10元左右颂暇，你想想缺谴，每個(gè)商品貼上0.5元的標(biāo)簽，光標(biāo)簽成本就是5%耳鸯。
Chaotic Moon Lab智能購物車：能帶路的"智能購物車"_網(wǎng)易新聞中心**
五湿蛔，Amzon Go方案
大家先看官方視頻：Amazon.com: : Amazon Go**。視頻下方有關(guān)于Amzon Go的簡單介紹县爬。
官方介紹說用于到了“technologies used in self-driving cars: computer vision,sensor fusion, and deep learning”（無人駕駛技術(shù)中的計(jì)算機(jī)視覺阳啥，感應(yīng)器融合和深度學(xué)習(xí)）。下面推測一下硬件及其位置：
計(jì)算機(jī)視覺應(yīng)該就是監(jiān)控?cái)z像頭及圖片分析技術(shù)财喳，所以攝像頭是必不可少的察迟。這個(gè)攝像頭不可能是用戶手機(jī)攝像頭，只能是亞馬遜自己的攝像頭耳高，因?yàn)橛脩羰謾C(jī)可以揣兜里扎瓶。攝像頭可安放的位置也只能是貨架和墻壁，因?yàn)橐臄z到商品和用戶（準(zhǔn)確的說應(yīng)該是手）泌枪，拍攝之后就可以分析圖片了概荷。 攝像頭大家都知道，真正關(guān)鍵的是圖片分析技術(shù)碌燕。一般的超市的監(jiān)控分析是如何完成的呢误证，答案是保安實(shí)時(shí)看。在Amzon Go方案中修壕，大概是利用圖片分析了物品的運(yùn)動(dòng)：物品離開貨架到進(jìn)入貨架的過程愈捅。
藍(lán)牙發(fā)射模塊的推測理由大概是這樣的：
手機(jī)能夠根據(jù)購物行為實(shí)時(shí)增刪虛擬購物車，所以必須有與手機(jī)通信的裝備/模塊叠殷，這樣的裝備/模塊必須是密集分布在貨架里改鲫。假設(shè)只有1個(gè)或少數(shù)幾個(gè)通信裝備/模塊，那么還需要解決向哪個(gè)顧客發(fā)送的問題林束，我認(rèn)為這個(gè)問題是比較難的像棘。如果是密集分布，那么一定區(qū)域（足夠泻啊）的的貨品對應(yīng)唯一的發(fā)生裝備/模塊缕题，在這足夠小的貨品區(qū)域中，一般而言不會(huì)同時(shí)存在兩個(gè)客戶胖腾。比如在能放4瓶酒的區(qū)域中烟零，會(huì)同時(shí)出現(xiàn)2個(gè)顧客太難了瘪松，一個(gè)顧客的體積就足以覆蓋這個(gè)區(qū)域。所以也就形成了一一對應(yīng)的關(guān)系锨阿。
重力或紅外感應(yīng)器的推測理由如下：
當(dāng)物品靜置時(shí)宵睦，視頻/圖片變動(dòng)不大，電腦可以實(shí)時(shí)分析墅诡。當(dāng)物品被拿動(dòng)時(shí)壳嚎，可以根據(jù)物品的運(yùn)動(dòng)區(qū)分原有物品是否在原地。這個(gè)運(yùn)動(dòng)的邊界就是貨架末早。因?yàn)閺墓嫉囊曨l來看烟馅，物品離架瞬間就被記錄了，所以它默認(rèn)物品離架等于購買然磷，原有物品放回原地等于不購買郑趁。從一個(gè)區(qū)域到另一個(gè)區(qū)域（跨越邊界）的圖片分析技術(shù)已經(jīng)應(yīng)用了。其中還有就是從圖片中識(shí)別物品（如果放回來的不一樣呢）姿搜，這個(gè)技術(shù)很難寡润，據(jù)說百度在國際上得獎(jiǎng)的圖片識(shí)別技術(shù)也只能是95%或98%，而且是有條件的痪欲。在超市這樣復(fù)雜環(huán)境中肯定沒法只靠這種技術(shù)悦穿。因此，識(shí)別物品跨界和識(shí)別物品就需要感應(yīng)器业踢。
那么為什么是紅外/重力感應(yīng)器呢？
因?yàn)槲覍?shí)在想不到還有別的簡單/低成本且符合條件的感應(yīng)器了礁扮。小時(shí)候看神偷電影都會(huì)有紅外激光保護(hù)寶物的鏡頭知举，紅外感應(yīng)就是識(shí)別物品進(jìn)入與否的方案。重力感應(yīng)也可以太伊，沒有重量的時(shí)候表示被拿起雇锡，有重量表示被放下。這個(gè)還只是解決了物品跨界問題僚焦，識(shí)別物品（是否是原來的）還沒有很好的解決锰提。
總結(jié)一下，Amzon Go用到了計(jì)算機(jī)視覺芳悲，感應(yīng)器融合和深度學(xué)習(xí)立肘，前兩者主要用于采集數(shù)據(jù)，后者用于數(shù)據(jù)分析和識(shí)別名扛，主要用的硬件有攝像頭/紅外或重力感應(yīng)器/藍(lán)牙發(fā)送器谅年。主要過程是通過監(jiān)控分析物品的運(yùn)動(dòng)，判斷用戶是否購買肮韧，感應(yīng)器采集數(shù)據(jù)融蹂，通過分析進(jìn)一步印證判斷旺订，最后通過藍(lán)牙進(jìn)行發(fā)送。
Ps：識(shí)別物品并沒有想象中的困難超燃，因?yàn)閿z像頭和感應(yīng)器對應(yīng)特定區(qū)域的物品区拳，相對而言難度降低很多。
這個(gè)方案本身可能難度不大意乓，但是能否取到應(yīng)有的效果劳闹，還不清楚。而且有個(gè)重大的問題，從視頻中判斷鉴未，售賣的商品存在極大的限制——必須是包裝完整的商品烹笔。普通超市中存在大量散裝商品，如水果菩颖，谷物等。
另外为障， @彭河森的評(píng)論好像蘊(yùn)含著什么
五種方案總結(jié)如下：
目前晦闰，超市防盜措施有：視頻監(jiān)控，人工巡邏鳍怨，收銀員核查呻右，電子標(biāo)簽感應(yīng)。
前三者大家都能理解鞋喇，到處都是攝像頭声滥，攝像頭后面是保安實(shí)時(shí)監(jiān)控。超市內(nèi)部有便衣巡邏侦香，營業(yè)員也起到監(jiān)督作用落塑。收銀員在收銀的時(shí)候能查出極少的掉包事件。電子標(biāo)簽感應(yīng)就是進(jìn)出門口的感應(yīng)防盜門罐韩。大概有30%的商品（單價(jià)高）會(huì)貼上標(biāo)簽憾赁，有的是硬標(biāo)，例如衣服上的散吵，有的是軟標(biāo)（貼在條形碼或者商品里面）龙考，識(shí)別軟標(biāo)的辦法是收銀員是否將商品掃描后在收銀臺(tái)上摩擦一下，摩擦的過程就是消磁矾睦，只有消磁了進(jìn)出防盜門才不會(huì)響晦款。所以總的來說，超市大部分防盜還是靠人顷锰，大部分商品是沒有任何防盜措施的柬赐，只要膽子大，直接揣口袋被發(fā)現(xiàn)的概率極低官紫。
從現(xiàn)狀和各種方案來看肛宋，實(shí)現(xiàn)無人超市的關(guān)鍵還是在于技術(shù)上配合防盜舉措州藕，實(shí)現(xiàn)低成本防盜。
