我們使用 Node.js 和 ARDrone 對直升機進行語音控製編程

在本教程中，我們將研究使用 Node.js 和 Web 語音 API 創建具有語音控制功能的無人機程式。 直升機 - Parrot ARDrone 2.0。

提醒： 對於“Habr”的所有讀者 - 使用“Habr”促銷代碼註冊任何 Skillbox 課程可享受 10 盧布的折扣。

技能箱推薦： 實踐課程 “移動開發者專業版”.

介紹

無人機太棒了。 我真的很喜歡玩我的四輪驅動器、拍攝照片和視頻，或者只是享受樂趣。 但無人機 (UAV) 的用途不僅僅是娛樂。 他們在電影院工作，研究冰川，並被軍隊和農業部門的代表使用。

在本教程中，我們將研究創建一個允許您控制無人機的程式。 使用語音命令。 是的，直升機會照你的指示去做。 文章最後有現成的無人機控製程式和影片。

鐵

我們需要以下內容：

• 鸚鵡ARDrone 2.0；
• 乙太網路電纜;
• 好麥克風。

開發和管理將在Windows/Mac/Ubuntu工作站上進行。 就我個人而言，我使用的是 Mac 和 Ubuntu 18.04。

Программноеобеспечение

從以下位置下載最新版本的 Node.js 官網.

還需要 最新版本的Google瀏覽器.

了解直升機

讓我們試著了解 Parrot ARDrone 的工作原理。 這架直升機有四個馬達。

相對的馬達以相同的方向工作。 一對順時針旋轉，另一對逆時針旋轉。 無人機透過改變相對於地球表面的傾斜角度、改變馬達的旋轉速度和其他幾種機動動作來移動。

正如我們在上圖中看到的，改變各種參數會導致飛行器運動方向的改變。 例如，降低或提高左右轉子的旋轉速度會產生滾動。 這允許無人機向前或向後飛行。

透過改變馬達的速度和方向，我們設定傾斜角度，使直升機能夠向其他方向移動。 其實現在的專案不需要研究空氣動力學，只要了解基本原理就可以了。

Parrot ARDrone 的工作原理

無人機是一個 Wi-Fi 熱點。 為了接收並向直升機發送命令，您需要連接到此點。 有許多不同的應用程式可以讓您控制四軸飛行器。 一切看起來都是這樣的：

連接無人機後，打開終端並telnet 192.168.1.1 - 這是直升機的IP。 對於 Linux，你可以使用 Linux 忙碌盒.

應用架構

我們的程式碼將分為以下幾個模組：

• 具有用於語音檢測的語音 API 的使用者介面；
• 過濾命令並與標準進行比較；
• 向無人機發送命令；
• 現場視訊直播。

只要有網路連接，API 就可以工作。 為了確保這一點，我們添加了乙太網路連接。

是時候創建一個應用程式了！

程式碼

首先，讓我們建立一個新資料夾並使用終端切換到它。

然後我們使用以下命令建立一個 Node 專案。

首先，我們安裝所需的依賴項。

npm安裝 

我們將支援以下命令：

• 脫掉;
• 降落;
• 向上－無人機上升半公尺並懸停；
• 向下 - 墜落半米並凍結；
• 向左 - 向左移動半公尺；
• 向右 - 向右移動半公尺；
• 旋轉——順時針旋轉90度；
• 向前-向前移動半米；
• back - 向後退半米；
• 停止。

這是允許您接受命令、過濾命令並控制無人機的程式碼。

const express = require('express');
const bodyparser = require('body-parser');
var arDrone = require('ar-drone');
const router = express.Router();
const app = express();
const commands = ['takeoff', 'land','up','down','goleft','goright','turn','goforward','gobackward','stop'];
 
var drone  = arDrone.createClient();
// disable emergency
drone.disableEmergency();
// express
app.use(bodyparser.json());
app.use(express.static(__dirname + '/public'));
 
router.get('/',(req,res) => {
    res.sendFile('index.html');
});
 
router.post('/command',(req,res) => {
    console.log('command recieved ', req.body);
    console.log('existing commands', commands);
    let command = req.body.command.replace(/ /g,'');
    if(commands.indexOf(command) !== -1) {
        switch(command.toUpperCase()) {
            case "TAKEOFF":
                console.log('taking off the drone');
                drone.takeoff();
            break;
            case "LAND":
                console.log('landing the drone');
                drone.land();
            break;
            case "UP":
                console.log('taking the drone up half meter');
                drone.up(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "DOWN":
                console.log('taking the drone down half meter');
                drone.down(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOLEFT":
                console.log('taking the drone left 1 meter');
                drone.left(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "GORIGHT":
                console.log('taking the drone right 1 meter');
                drone.right(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "TURN":
                console.log('turning the drone');
                drone.clockwise(0.4);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOFORWARD":
                console.log('moving the drone forward by 1 meter');
                drone.front(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOBACKWARD":
                console.log('moving the drone backward 1 meter');
                drone.back(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "STOP":
                drone.stop();
            break;
            default:
            break;    
        }
    }
    res.send('OK');
});
 
app.use('/',router);
 
app.listen(process.env.port || 3000);

下面是監聽使用者並向 Node 伺服器發送命令的 HTML 和 JavaScript 程式碼。

<!DOCTYPE html>
    <head>
        <meta charset="utf-8">
        <meta http-equiv="X-UA-Compatible" content="IE=edge">
        <title>Voice Controlled Notes App</title>
        <meta name="description" content="">
        <meta name="viewport" content="width=device-width, initial-scale=1">
        <link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/shoelace-css/1.0.0-beta16/shoelace.css">
        <link rel="stylesheet" href="styles.css">
 
    </head>
    <body>
        <div class="container">
 
            <h1>Voice Controlled Drone</h1>
            <p class="page-description">A tiny app that allows you to control AR drone using voice</p>
 
            <h3 class="no-browser-support">Sorry, Your Browser Doesn't Support the Web Speech API. Try Opening This Demo In Google Chrome.</h3>
 
            <div class="app">
                <h3>Give the command</h3>
                <div class="input-single">
                    <textarea id="note-textarea" placeholder="Create a new note by typing or using voice recognition." rows="6"></textarea>
                </div>    
                <button id="start-record-btn" title="Start Recording">Start Recognition</button>
                <button id="pause-record-btn" title="Pause Recording">Pause Recognition</button>
                <p id="recording-instructions">Press the <strong>Start Recognition</strong> button and allow access.</p>
 
            </div>
 
        </div>
 
        <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
        <script src="script.js"></script>
 
    </body>
</html>

還有用於處理語音命令的 JavaScript 程式碼，將它們傳送到 Node 伺服器。

try {
 var SpeechRecognition = window.SpeechRecognition || window.webkitSpeechRecognition;
 var recognition = new SpeechRecognition();
 }
 catch(e) {
 console.error(e);
 $('.no-browser-support').show();
 $('.app').hide();
 }
// other code, please refer GitHub source
recognition.onresult = function(event) {
// event is a SpeechRecognitionEvent object.
// It holds all the lines we have captured so far.
 // We only need the current one.
 var current = event.resultIndex;
// Get a transcript of what was said.
var transcript = event.results[current][0].transcript;
// send it to the backend
$.ajax({
 type: 'POST',
 url: '/command/',
 data: JSON.stringify({command: transcript}),
 success: function(data) { console.log(data) },
 contentType: "application/json",
 dataType: 'json'
 });
};

啟動應用程式

該程式可以如下啟動（重要的是要確保飛行器已連接到 Wi-Fi 並且乙太網路電纜已連接到電腦）。

在瀏覽器中開啟 localhost:3000，然後按一下「開始識別」。

我們嘗試控制無人機並且很高興。

從無人機播放視頻

在專案中，建立一個新檔案並將以下程式碼複製到其中：

const http = require("http");
const drone = require("dronestream");
 
const server = http.createServer(function(req, res) {
 
require("fs").createReadStream(__dirname + "/public/video.html").pipe(res);
 });
 
drone.listen(server);
 
server.listen(4000);

這是 HTML 程式碼，我們將其放置在 public 資料夾中。

<!doctype html>
 <html>
 <head>
 <meta http-equiv="content-type" content="text/html; charset=utf-8">
 <title>Stream as module</title>
 <script src="/dronestream/nodecopter-client.js" type="text/javascript" charset="utf-8"></script>
 </head>
 <body>
 <h1 id="heading">Drone video stream</h1>
 <div id="droneStream" style="width: 640px; height: 360px"> </div>
 
<script type="text/javascript" charset="utf-8">
 
new NodecopterStream(document.getElementById("droneStream"));
 
</script>
 
</body>
</html>

啟動並連接到 localhost:8080 以查看前置相機的影片。

有用的提示

• 在室內飛行這架無人機。
• 起飛前務必為無人機蓋上防護罩。
• 檢查電池是否已充電。
• 如果無人機表現異常，請將其按住並翻轉。 此操作將使直升機進入緊急模式，旋翼將立即停止。

準備好程式碼和演示

現場演示

下載

發生了！

寫程式然後看著機器開始服從會帶給你樂趣！ 現在我們已經弄清楚如何教無人機聽語音指令。 事實上，還有更多的可能性：使用者臉部辨識、自主飛行、手勢辨識等等。

您有什麼建議來改進該計劃？

技能箱推薦：

• 應用在線課程 《Python資料分析師》.
• 在線課程 《職業前端開發人員》.
• 實踐年課程 《PHP 開發者從 0 到 PRO》.

來源： www.habr.com