可以看到，啟動(dòng)慧拍功能后，Mavic Air化身成為用戶的隨行攝影師，不僅能夠跟隨用戶運(yùn)動(dòng)而運(yùn)動(dòng)，還能夠理解用戶的手勢(shì)來(lái)調(diào)整拍攝角度、拍攝距離和進(jìn)行拍攝動(dòng)作。起飛，跟隨，控制，拍攝，降落整個(gè)過(guò)程一氣呵成，在完全脫離遙控器的情況下，用戶依然可以對(duì)Mavic Air進(jìn)行靈活的操控。
根據(jù)實(shí)際評(píng)測(cè)使用中可以發(fā)現(xiàn)，啟動(dòng)慧拍模式后，通過(guò)手掌自如地控制6米外的Mavic Air進(jìn)行飛行和拍攝，如同實(shí)現(xiàn)了Phantom X中隔空操縱無(wú)人機(jī)，可謂相當(dāng)酷炫。另外，慧拍，或許會(huì)是熱愛(ài)戶外運(yùn)動(dòng)的用戶的福音——在進(jìn)行跑步、踢球、騎車(chē)、攀巖、滑雪等運(yùn)動(dòng)的時(shí)候，往往不太方便使用遙控器來(lái)操作無(wú)人機(jī)對(duì)自己進(jìn)行拍攝。而在這些場(chǎng)景下啟動(dòng)慧拍功能，這個(gè)問(wèn)題就能夠在較大程度上得到解決。
PhantomX概念片中，神盾局特工主演汪可盈手勢(shì)操縱無(wú)人機(jī)飛行
「慧拍」背后的技術(shù)
Mavic Air慧拍這一功能背后，是大疆在無(wú)人機(jī)自主飛行技術(shù)上的創(chuàng)新和突破。這涉及到多個(gè)學(xué)科、多個(gè)層面的深入技術(shù)積累和錘煉。具體來(lái)說(shuō)，包括物體檢測(cè)和跟蹤、手部手勢(shì)識(shí)別與跟蹤、肢體手勢(shì)識(shí)別、多傳感器融合定位、深度圖測(cè)距與建圖、路徑規(guī)劃、以及控制等技術(shù)，并且克服各個(gè)單點(diǎn)技術(shù)的缺陷，將它們有機(jī)地整合在一起。應(yīng)該說(shuō)，慧拍背后的技術(shù)，是大疆在計(jì)算機(jī)視覺(jué)、人工智能、機(jī)器人這顆技術(shù)樹(shù)上，點(diǎn)的最為全面的一次。
物體檢測(cè)與跟蹤
物體檢測(cè)，指的是找到畫(huà)面中的感興趣物體（比如行人、車(chē)輛、船只等）并框出來(lái)。目前采用的主流算法框架大都基于Faster R-CNN[1]。
物體跟蹤，指的是用戶選擇了要跟蹤的物體后，如果該物體以后移動(dòng)了、姿態(tài)變化了，依然能夠?qū)⑵湔业讲⒖虺鰜?lái)。其中GOTURN[2]算法能夠達(dá)到每秒100幀以上的處理速度。
手部手勢(shì)識(shí)別與跟蹤
一般常說(shuō)的手勢(shì)識(shí)別其實(shí)有兩種，一種是更關(guān)注于手部（手掌、手指關(guān)節(jié)），比如Deep Hand[3]可以識(shí)別用戶是否張開(kāi)手掌，比yeah；另外一種是則更關(guān)注于肢體與手臂的相對(duì)位置，比如類(lèi)似CPM[4]可以識(shí)別用戶平舉雙手、抬起單手等。從慧拍的實(shí)現(xiàn)方式上推測(cè)，或許是同時(shí)兼顧了上述兩種技術(shù)。另外，手勢(shì)跟蹤能夠利用上時(shí)序信息，將手勢(shì)識(shí)別的結(jié)果變得更加穩(wěn)定、可靠。
多傳感器融合定位
Mavic Air上具有視覺(jué)、IMU、TOF等多種傳感器，使用VIO技術(shù)進(jìn)行融合后，能夠構(gòu)成足夠的冗余，當(dāng)單一傳感器失效的時(shí)候，依然能夠較好地估計(jì)自己的姿態(tài)和位置。
深度圖測(cè)距與建圖
深度圖的產(chǎn)生方法有多種，比如可以通過(guò)TOF傳感器直接得到，也可以通過(guò)雙目立體視覺(jué)來(lái)計(jì)算得到，得到深度圖后，無(wú)人機(jī)能夠知道環(huán)境中各物體距離自身的遠(yuǎn)近，再配合多傳感器融合定位，能夠建立三維地圖，供后續(xù)避障或者軌跡規(guī)劃使用。
軌跡規(guī)劃
軌跡規(guī)劃，指的是用戶指定某個(gè)目標(biāo)地點(diǎn)，無(wú)人機(jī)需要結(jié)合自身定位和建好的地圖，推算出一條通往目標(biāo)地點(diǎn)的軌跡，為了最優(yōu)化路徑以及后續(xù)控制上的平滑，需要考慮滿足某些約束，比如考慮了最小化速度的導(dǎo)數(shù)等。
無(wú)人機(jī)控制
在軌跡規(guī)劃之后，需要通過(guò)控制算法改變無(wú)人機(jī)的飛行姿態(tài)，從而完成既定的軌跡，這部分常用的算法是PID控制算法。
在上述算法中，有不少算法需要耗費(fèi)巨大的計(jì)算資源，比如物體檢測(cè)與跟蹤、手部和肢體的姿勢(shì)識(shí)別等。能在Mavic Air緊湊的機(jī)身里面濃縮集成如此高密度和高計(jì)算強(qiáng)度的算法，并有機(jī)整合成慧拍功能，反映出來(lái)大疆在各個(gè)相關(guān)領(lǐng)域的深入積累。
「空中的L3自動(dòng)駕駛」——Mavic Air
大家可能會(huì)疑惑，Mavic Air又不是無(wú)人車(chē)，為何可以說(shuō)是“自動(dòng)駕駛”呢？其實(shí)，無(wú)人機(jī)與無(wú)人車(chē)雖然一個(gè)在天上飛，一個(gè)在地上跑，在動(dòng)力系統(tǒng)、控制系統(tǒng)、硬件平臺(tái)上確實(shí)需要因地制宜。但另一方面，這兩者的內(nèi)核都是要實(shí)現(xiàn)“無(wú)人”二字，即智能化程度要足夠高。而在無(wú)人機(jī)上的智能化，稱為自主飛行，在無(wú)人車(chē)上的智能化，稱為自動(dòng)駕駛。
自動(dòng)駕駛的等級(jí)一般劃分為L(zhǎng)0~L5。L0為完全受控駕駛，即完全靠人類(lèi)來(lái)駕駛；L1為駕駛輔助，一般我們常說(shuō)的“ADAS”屬于這個(gè)級(jí)別，能夠具有前向碰撞提醒、車(chē)道線偏離預(yù)警等功能，具有一定的安全提醒功能；L2稱為部分自動(dòng)駕駛，特斯拉使用的AutoPilot系統(tǒng)屬于這個(gè)級(jí)別，提供了自主巡航功能，能夠在較為簡(jiǎn)單的路況下自動(dòng)駕駛，但需要司機(jī)緊握方向盤(pán)以準(zhǔn)備隨時(shí)接管；L3是有條件的自動(dòng)駕駛，預(yù)計(jì)在今年4月開(kāi)售的全新奧迪A8宣稱它是首款實(shí)現(xiàn)了L3的量產(chǎn)車(chē)型，在限速60公里的條件下，能夠在較為復(fù)雜的路況下進(jìn)行自動(dòng)駕駛，并允許司機(jī)雙手離開(kāi)方向盤(pán)。L4與L5由于目前沒(méi)有對(duì)應(yīng)的量產(chǎn)車(chē)型，不在這里展開(kāi)。
仿照自動(dòng)駕駛的分級(jí)，可以給出自主飛行的分級(jí)，如下表所示：
在表格中可以看到，啟動(dòng)了慧拍功能的Mavic Air，在諸多核心技術(shù)加持下，已經(jīng)能夠達(dá)到L3的自主飛行。它在特定的場(chǎng)景下脫離遙控器使用，可類(lèi)比于在L3的自動(dòng)駕駛中允許司機(jī)的雙手離開(kāi)方向盤(pán)。
可以說(shuō)，大疆從來(lái)沒(méi)有停止過(guò)在計(jì)算機(jī)視覺(jué)、人工智能、機(jī)器人等的技術(shù)的探索，而這些技術(shù)構(gòu)成了大疆最為核心的競(jìng)爭(zhēng)力，足以在Mavic Air上支撐起了一整套“空中自動(dòng)駕駛”的解決方案——慧拍。
?