請(qing)留神，本(ben)文(wen)所表(biao)現的信息、用(yong)途及使(shi)用(yong)完整是Video-Touch客座作(zuo)者的概念(nian)。
你能夠(gou)看過(guo)一些科幻電影，片(pian)子(zi)(zi)中的人(ren)(ren)可以用身體(ti)舉措(cuo)去節(jie)制機器人(ren)(ren)。現在(zai)，借助古(gu)代計算機視覺跟機器人(ren)(ren)方式，咱(zan)們可能把這類體(ti)驗釀成理想，并(bing)且跟片(pian)子(zi)(zi)一樣出色奇奧。
受新(xin)冠(guan)病毒影響，正(zheng)在如斯(si)艱苦(ku)的期間，為了讓近(jin)程(cheng)節制跟近(jin)程(cheng)操縱變(bian)得切實(shi)可用，咱們開啟(qi)了VideoTouch名目。
Video-Touch是第一個人機交互(hu)體系。它容許多名(ming)用戶，正在(zai)世界任何處所經由過程(cheng)視頻(pin)通話使用（例如GoogleMeet、Zoom、Skype）對其停(ting)止節(jie)制。
咱們思量過，是不是有(you)(you)能(neng)夠只用(yong)本人(ren)的(de)(de)(de)手來近(jin)程(cheng)節制機(ji)器人(ren)，而沒有(you)(you)借助手套、操縱(zong)桿(gan)等任何(he)額定的(de)(de)(de)設備，同時(shi)沒有(you)(you)發生(sheng)較著的(de)(de)(de)耽誤。因而，咱們決意利用(yong)計算機(ji)視覺(jue)去(qu)及(ji)時(shi)辨(bian)認舉措，并及(ji)時(shi)傳送給機(ji)器人(ren)。正在MediaPipe的(de)(de)(de)資助下(xia)，咱們將其變成了理想。
操作系統大抵以下：
1.經由(you)過程視頻(pin)會(hui)議使(shi)用(yong)，正在用(yong)戶設(she)備上獲得(de)收集攝像(xiang)頭視頻(pin)，然后將其發送至機(ji)(ji)器人計算機(ji)(ji)；
食品分揀機器人的作用2.用戶的收(shou)集攝(she)像頭視頻串(chuan)流(liu)經由過程OBS虛(xu)構攝(she)像頭對象被捕(bu)捉到機器人的計算(suan)機顯示器上；
3.辨認(ren)模塊正在(zai)MediaPipe的資(zi)助下(xia)讀(du)取用戶的舉措跟手勢，并(bing)經由過程(cheng)ZeroMQ發(fa)送給(gei)下(xia)一個模塊；
4.正在(zai)舉措捕(bu)獲數據的根(gen)底上，機器臂及其抓手由(you)Python節制。
從計劃中可(ke)以(yi)清晰天看出(chu)，用戶正在(zai)(zai)操(cao)縱機(ji)器人(ren)(ren)時只需不變的(de)互聯網毗鄰(lin)跟一個視頻會議使(shi)用。一切(qie)的(de)如屏幕捕獲(huo)、手(shou)部追(zhui)蹤、手(shou)勢辨(bian)認跟機(ji)器人(ren)(ren)節制等(deng)計較(jiao)，皆可(ke)以(yi)正在(zai)(zai)Wi-Fi與機(ji)器人(ren)(ren)毗鄰(lin)的(de)零丁設(she)備上停止。接(jie)下來(lai)，咱們將對流水線的(de)各個環節停止具體解(jie)釋(shi)。
用(yong)戶(hu)可以(yi)利用(yong)任何(he)一(yi)臺可能實現(xian)跨設備傳輸(shu)視頻的軟(ruan)件。正在(zai)試驗中，咱們利用(yong)的是(shi)視頻會議的桌面使(shi)用(yong)。用(yong)戶(hu)正在(zai)其設備上呼喚(huan)一(yi)臺顯示器(qi)與機器(qi)人相連(lian)的計算機。如許(xu)，機器(qi)人便可以(yi)看到來自用(yong)戶(hu)收集攝像頭(tou)的視頻串流。
此(ci)刻(ke)，咱們須要某種機制(zhi)去把用戶的(de)(de)(de)視(shi)頻從視(shi)頻會(hui)議傳(chuan)送(song)到辨(bian)(bian)認(ren)模塊。咱們利用的(de)(de)(de)是OpenBroadcasterSoftware及(ji)其(qi)(qi)虛(xu)構(gou)攝像(xiang)頭對象去捕(bu)獲翻開視(shi)頻會(hui)議的(de)(de)(de)窗口。如(ru)許咱們便取得了一個虛(xu)構(gou)攝像(xiang)頭，它此(ci)刻(ke)有來自用戶收(shou)集攝像(xiang)頭的(de)(de)(de)幀及(ji)其(qi)(qi)怪異的(de)(de)(de)設備索(suo)引(yin)，可以(yi)正(zheng)在辨(bian)(bian)認(ren)模塊中進一步利用。
塑料自動分揀機器人辨認模塊
辨(bian)認模塊的(de)作用(yong)是(shi)捕獲用(yong)戶的(de)舉措(cuo)并(bing)將其傳送給機器人節制模塊。MediaPipe會(hui)正在此(ci)發揮作用(yong)。咱們為捕獲手部舉措(cuo)探求(qiu)了最無效、最正確(que)的(de)計算(suan)機視覺軟件。咱們發明(ming)了許多令人興(xing)奮(fen)的(de)解決方案，但事實(shi)證明(ming)，關(guan)于如斯存在挑(tiao)戰性的(de)使命，MediaPipe是(shi)獨一得當的(de)對(dui)象(xiang)。
咱們對MediaPipe手(shou)部(bu)追蹤模(mo)塊停(ting)止(zhi)了兩(liang)項要害點(dian)竄：增長(chang)了手(shou)勢辨(bian)認(ren)計(ji)算器并(bing)集成了ZeroMQ消息傳遞機制。
兩項要害點竄
正在前(qian)次發表文章的(de)時(shi)間，咱們有兩個(ge)版(ban)本的(de)手(shou)勢(shi)(shi)辨(bian)(bian)認(ren)實現。第一(yi)個(ge)版(ban)本以下圖(tu)3所(suo)示，一(yi)切的(de)計較均(jun)正在手(shou)部姿式辨(bian)(bian)認(ren)計算(suan)器內停(ting)止(zhi)(zhi)。計算(suan)器將特(te)點(dian)面(mian)(mian)作為輸入(ru)停(ting)止(zhi)(zhi)縮放，也就是(shi)說(shuo)，這些特(te)點(dian)面(mian)(mian)依據腳的(de)鴻溝框巨細停(ting)止(zhi)(zhi)標準化。接下來，它(ta)會(hui)辨(bian)(bian)認(ren)4種手(shou)勢(shi)(shi)：“挪(nuo)動”、“傾斜”、“抓取”跟“無手(shou)勢(shi)(shi)”（論文中的(de)“手(shou)指距離”手(shou)勢(shi)(shi)是(shi)實驗性內容，不包(bao)羅正在終極演示版(ban)中），并(bing)輸出手(shou)勢(shi)(shi)類稱號。只管這個(ge)版(ban)本非(fei)常(chang)穩(wen)重實用，但它(ta)只是(shi)基于簡略的(de)啟發式劃定規矩，如：“若是(shi)此(ci)特(te)點(dian)面(mian)(mian)［i］.x《特(te)點(dian)面(mian)(mian)［j］.x，那(nei)么它(ta)是(shi)一(yi)個(ge)‘挪(nuo)動’手(shou)勢(shi)(shi)”，并(bing)且關于手(shou)部扭轉那(nei)類現實生活中的(de)環境(jing)，此(ci)版(ban)本沒法(fa)辨(bian)(bian)認(ren)。
發表文章
為了減(jian)緩泛(fan)化(hua)不良的(de)問題，咱(zan)們實行(xing)了第二個(ge)(ge)版本(ben)。咱(zan)們正(zheng)在手動(dong)網(wang)絡跟加標簽的(de)1000個(ge)(ge)關鍵點的(de)數據集上(shang)鍛煉了來(lai)自(zi)scikit-learn的(de)梯度(du)晉升(sheng)分類(lei)(lei)(lei)器：“挪(nuo)動(dong)”、“傾(qing)斜”跟“抓取”類(lei)(lei)(lei)各(ge)有200個(ge)(ge)，而“無手勢”類(lei)(lei)(lei)有400個(ge)(ge)。趁便道一下，現(xian)在可以經由過程(cheng)比來(lai)宣布的(de)JestureAISDKrepo（注：咱(zan)們團隊部門成(cheng)員的(de)另一個(ge)(ge)名目）輕松(song)獲得此(ci)類(lei)(lei)(lei)數據散。
JestureAISDK
咱(zan)(zan)們利用縮放的(de)特(te)點(dian)(dian)(dian)面(mian)(mian)、樞紐間(jian)(jian)的(de)角度和成對的(de)特(te)點(dian)(dian)(dian)面(mian)(mian)距離作為模子的(de)輸入，去猜測(ce)手勢類(lei)。接下來，咱(zan)(zan)們測(ce)驗考試只傳送縮放的(de)特(te)點(dian)(dian)(dian)面(mian)(mian)，而(er)沒(mei)有傳送任何(he)角度跟距離，成果正(zheng)在(zai)200個關鍵(jian)點(dian)(dian)(dian)的(de)當(dang)地驗證集(ji)上取得了91%的(de)近(jin)似多類(lei)準確(que)率(lv)。關于這(zhe)個版本的(de)手勢分類(lei)器(qi)，另(ling)有一點(dian)(dian)(dian)是咱(zan)(zan)們沒(mei)法間(jian)(jian)接正(zheng)在(zai)C++中運轉scikit-learn模子，以(yi)是咱(zan)(zan)們用Python停(ting)止實現，作為機器(qi)人節制模塊(kuai)的(de)一部分。
頒發后，咱們立刻(ke)推(tui)出了一個正在Keras中鍛煉(lian)的(de)齊毗鄰(lin)神(shen)經網絡(luo)，它采取的(de)數據散與梯度晉升模(mo)子(zi)不異(yi)，而(er)失掉的(de)成果更好，準確(que)率到達(da)93%。咱們將(jiang)這(zhe)個模(mo)子(zi)轉換為TensorFlowLite格局，此刻(ke)咱們可以正在手部姿(zi)式辨(bian)認(ren)計算器中間接運(yun)轉手勢(shi)辨(bian)認(ren)ML模(mo)子(zi)。
失掉以后手部地位跟以后手勢類后，咱(zan)們須(xu)要將(jiang)其(qi)傳送給(gei)機器人(ren)節(jie)制(zhi)模(mo)(mo)塊(kuai)。停止那(nei)(nei)一(yi)步時(shi)，咱(zan)們借助了高性能的異(yi)步動靜功用(yong)庫ZeroMQ。為(wei)了正在C++中實現那(nei)(nei)一(yi)點，咱(zan)們利用(yong)了libzmq庫跟cppzmq標頭(tou)。應用(yong)要求-復興計劃(hua)：辨(bian)認模(mo)(mo)塊(kuai)C++代碼(ma)中的REP跟機器人(ren)節(jie)制(zhi)模(mo)(mo)塊(kuai)Python代碼(ma)中的REQ。
libzmq
京東分揀機器人多少錢cppzmq
要求-復興
是以(yi)，借(jie)助咱們點(dian)竄過的(de)手部追蹤模塊，此刻可能將運動(dong)捕獲信息及時傳送(song)給機器人。
機器人節制模塊
機器(qi)人節制模塊是一個Python劇(ju)本，它將手(shou)部特點面跟手(shou)勢類作為(wei)輸(shu)入，并(bing)輸(shu)出機器(qi)人挪(nuo)動下令。運(yun)轉該劇(ju)本的(de)計算機經由過程Wi-Fi與機器(qi)人毗鄰。咱們(men)的(de)試驗中利用了搭(da)載NvidiaGTX1050TiGPU的(de)MSI筆記(ji)本電腦。同時測驗考試正在(zai)IntelCorei7CPU上運(yun)轉全部體系(xi)，因(yin)為(wei)有高度優化的(de)MediaPipe計較圖(tu)實現(xian)，該運(yun)轉也(ye)是及時的(de)，耽誤可以(yi)忽(hu)略不計。
正在(zai)現(xian)階段的(de)(de)(de)(de)流水線中，咱(zan)們利(li)(li)用(yong)了(le)UniversalRobotics的(de)(de)(de)(de)6DoFUR10機(ji)器人。因為利(li)(li)用(yong)的(de)(de)(de)(de)抓手是雙指的(de)(de)(de)(de)，咱(zan)們沒有須要(yao)每一個(ge)特點面(mian)與(yu)機(ji)器人手指關鍵點的(de)(de)(de)(de)完全映射(she)，只須要(yao)腳中間的(de)(de)(de)(de)地位(wei)。借助此中間坐(zuo)標(biao)(biao)跟(gen)python-urx軟(ruan)件包，咱(zan)們此刻可能正在(zai)所需的(de)(de)(de)(de)方位(wei)跟(gen)標(biao)(biao)的(de)(de)(de)(de)目的(de)(de)(de)(de)上轉變(bian)機(ji)器人的(de)(de)(de)(de)速(su)率：正在(zai)每一幀上，咱(zan)們計較(jiao)以后(hou)手中心坐(zuo)標(biao)(biao)與(yu)前一幀坐(zuo)標(biao)(biao)之差(cha)，從而得出速(su)率變(bian)更矢量或角度。最初，此機(ji)制看起來與(yu)人們用(yong)操縱桿節制機(ji)器人的(de)(de)(de)(de)方法十(shi)分類(lei)似。
分揀機器人運用了哪些技術python-urx
高密度觸(chu)覺傳感器的觸(chu)覺感知(zhi)
分揀機器人agv系統靈活(huo)的(de)(de)支(zhi)(zhi)配要求(qiu)存(cun)在較下的(de)(de)空間分辨(bian)率跟對(dui)物體(ti)跟情(qing)況的(de)(de)高保真觸覺感知(zhi)。最新的(de)(de)傳感器數組非常適(shi)合機器人支(zhi)(zhi)配，由于(yu)它們可以很簡單地掛接到任何機器人末尾執行器上(shang)，并順應任何接觸面。
源宣布文章
Video-Touch嵌入了(le)一種高(gao)密度的(de)觸覺傳感(gan)(gan)器(qi)數(shu)組。它們裝(zhuang)置正(zheng)在雙指機(ji)器(qi)人(ren)抓(zhua)(zhua)手(shou)中。每(mei)一個指尖上皆(jie)掛接一個傳感(gan)(gan)器(qi)數(shu)組。單個電(dian)極數(shu)組可以(yi)感(gan)(gan)到5.8平(ping)方厘米的(de)幀面(mian)(mian)積(ji)，每(mei)幀分辨(bian)率為(wei)100面(mian)(mian)。感(gan)(gan)到頻次即是120赫茲。每(mei)一個面(mian)(mian)的(de)力檢測規模為(wei)1至9牛(niu)頓。是以(yi)，機(ji)器(qi)人(ren)以(yi)200面(mian)(mian)的(de)分辨(bian)率檢測施加正(zheng)在機(ji)器(qi)人(ren)手(shou)指抓(zhua)(zhua)取的(de)固體(ti)或(huo)柔性物體(ti)上的(de)壓(ya)力。
從傳感(gan)器(qi)數(shu)組處網絡的數(shu)據顛(dian)末處置懲罰后，以靜態手(shou)指打仗映射圖的情勢向用戶顯現。壓(ya)力傳感(gan)器(qi)數(shu)組讓用戶可能感(gan)知被抓物(wu)體(ti)的順應性(xing)、硬度、粗糙度、外形、標的目的等物(wu)理特(te)性(xing)。
圖(tu)8：多用戶機器(qi)臂(bei)節制功用。用戶可(ke)能正在(zai)通(tong)例的(de)視頻(pin)通(tong)話進(jin)程中履行COVID-19檢測［源視頻(pin)］
尾注
如(ru)此一來(lai)，借助MediaPipe跟機器(qi)(qi)人，咱(zan)們樹立了一個無效的(de)(de)多(duo)用(yong)戶機器(qi)(qi)人近(jin)程操作系(xi)(xi)統。正(zheng)在將來(lai)，近(jin)程操作系(xi)(xi)統的(de)(de)潛(qian)伏用(yong)途(tu)將包羅醫療(liao)檢(jian)測，和正(zheng)在難以進入的(de)(de)情況中停(ting)(ting)止(zhi)的(de)(de)試驗。該體系(xi)(xi)的(de)(de)多(duo)用(yong)戶功用(yong)辦理了無效近(jin)程協作的(de)(de)實際問題，容許(xu)正(zheng)在多(duo)人小組中停(ting)(ting)止(zhi)須要手動近(jin)程節(jie)制的(de)(de)名目事情。
咱們(men)(men)流(liu)水線的(de)(de)(de)另一(yi)個(ge)劣勢(shi)特(te)色(se)是，人們(men)(men)可以(yi)利用任何帶(dai)有(you)(you)攝像頭的(de)(de)(de)設(she)(she)備(bei)(bei)(bei)，例如手(shou)(shou)機，去節(jie)制(zhi)機器人。除機器臂，人們(men)(men)借可以(yi)操縱(zong)其他(ta)如，邊緣設(she)(she)備(bei)(bei)(bei)、移動機器人或無人機等(deng)硬件設(she)(she)備(bei)(bei)(bei)。當然，現階段的(de)(de)(de)解決方案存在必然的(de)(de)(de)局(ju)限性(xing)：延遲時間、z坐標的(de)(de)(de)應用，和手(shou)(shou)勢(shi)類型的(de)(de)(de)便利性(xing)皆有(you)(you)改善的(de)(de)(de)空間。咱們(men)(men)非常等(deng)候(hou)試用MediaPipe團隊的(de)(de)(de)更新，并等(deng)候(hou)著(zhu)測(ce)驗考試新類型的(de)(de)(de)抓手(shou)(shou)、雙手(shou)(shou)節(jie)制(zhi)，以(yi)至是全身(shen)節(jie)制(zhi)。
愿望(wang)那篇(pian)文章對你(ni)跟你(ni)的(de)事(shi)情有所資助(zhu)。珍重身體，保持編碼。十分感謝您的(de)存眷！
京東物流的分揀機器人怎么運作智能分揀機器人購買銷售分揀機器人公司