🥇我们使用 Node.js 和 ARDrone 对直升机进行语音控制编程

在本教程中，我们将研究使用 Node.js 和 Web 语音 API 创建具有语音控制功能的无人机程序。直升机 - Parrot ARDrone 2.0。

我们提醒： 对于“Habr”的所有读者 - 使用“Habr”促销代码注册任何 Skillbox 课程可享受 10 卢布的折扣。

技能箱推荐： 实践课程 “移动开发者专业版”.

介绍

无人机太棒了。我真的很喜欢玩我的四轮驱动器、拍摄照片和视频，或者只是享受乐趣。但无人机 (UAV) 的用途不仅仅是娱乐。他们在电影院工作，研究冰川，并被军队和农业部门的代表使用。

在本教程中，我们将研究创建一个允许您控制无人机的程序。使用语音命令。是的，直升机会按照你的指示去做。文章最后有现成的无人机控制程序和视频。

铁

我们需要以下内容：

鹦鹉ARDrone 2.0；
以太网电缆;
好麦克风。

开发和管理将在Windows/Mac/Ubuntu工作站上进行。就我个人而言，我使用的是 Mac 和 Ubuntu 18.04。

Программноеобеспечение

从以下位置下载最新版本的 Node.js 官方网站.

还需要最新版本的谷歌浏览器.

了解直升机

让我们尝试了解 Parrot ARDrone 的工作原理。这架直升机有四个电机。

相对的电机以相同的方向工作。一对顺时针旋转，另一对逆时针旋转。无人机通过改变相对于地球表面的倾斜角度、改变电机的旋转速度和其他几种机动动作来移动。

正如我们在上图中看到的，改变各种参数会导致飞行器运动方向的改变。例如，降低或提高左右转子的旋转速度会产生滚动。这允许无人机向前或向后飞行。

通过改变电机的速度和方向，我们设置倾斜角度，使直升机能够向其他方向移动。其实现在的项目不需要研究空气动力学，只需要了解基本原理就可以了。

Parrot ARDrone 的工作原理

无人机是一个 Wi-Fi 热点。为了接收并向直升机发送命令，您需要连接到此点。有许多不同的应用程序可以让您控制四轴飞行器。一切看起来都是这样的：

连接无人机后，打开终端并telnet 192.168.1.1 - 这是直升机的IP。对于 Linux，你可以使用 Linux 忙碌盒.

应用架构

我们的代码将分为以下几个模块：

具有用于语音检测的语音 API 的用户界面；
过滤命令并与标准进行比较；
向无人机发送命令；
现场视频直播。

只要有互联网连接，API 就可以工作。为了确保这一点，我们添加了以太网连接。

是时候创建一个应用程序了！

代码

首先，让我们创建一个新文件夹并使用终端切换到它。

然后我们使用以下命令创建一个 Node 项目。

首先，我们安装所需的依赖项。

npm安装

我们将支持以下命令：

脱掉;
降落;
向上——无人机上升半米并悬停；
向下 - 坠落半米并冻结；
向左 - 向左移动半米；
向右 - 向右移动半米；
旋转——顺时针旋转90度；
向前-向前移动半米；
back - 向后退半米；
停止。

这是允许您接受命令、过滤命令并控制无人机的代码。

const express = require('express');
const bodyparser = require('body-parser');
var arDrone = require('ar-drone');
const router = express.Router();
const app = express();
const commands = ['takeoff', 'land','up','down','goleft','goright','turn','goforward','gobackward','stop'];
 
var drone  = arDrone.createClient();
// disable emergency
drone.disableEmergency();
// express
app.use(bodyparser.json());
app.use(express.static(__dirname + '/public'));
 
router.get('/',(req,res) => {
    res.sendFile('index.html');
});
 
router.post('/command',(req,res) => {
    console.log('command recieved ', req.body);
    console.log('existing commands', commands);
    let command = req.body.command.replace(/ /g,'');
    if(commands.indexOf(command) !== -1) {
        switch(command.toUpperCase()) {
            case "TAKEOFF":
                console.log('taking off the drone');
                drone.takeoff();
            break;
            case "LAND":
                console.log('landing the drone');
                drone.land();
            break;
            case "UP":
                console.log('taking the drone up half meter');
                drone.up(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "DOWN":
                console.log('taking the drone down half meter');
                drone.down(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOLEFT":
                console.log('taking the drone left 1 meter');
                drone.left(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "GORIGHT":
                console.log('taking the drone right 1 meter');
                drone.right(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "TURN":
                console.log('turning the drone');
                drone.clockwise(0.4);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOFORWARD":
                console.log('moving the drone forward by 1 meter');
                drone.front(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOBACKWARD":
                console.log('moving the drone backward 1 meter');
                drone.back(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "STOP":
                drone.stop();
            break;
            default:
            break;    
        }
    }
    res.send('OK');
});
 
app.use('/',router);
 
app.listen(process.env.port || 3000);

下面是监听用户并向 Node 服务器发送命令的 HTML 和 JavaScript 代码。

<!DOCTYPE html>
    <head>
        <meta charset="utf-8">
        <meta http-equiv="X-UA-Compatible" content="IE=edge">
        <title>Voice Controlled Notes App</title>
        <meta name="description" content="">
        <meta name="viewport" content="width=device-width, initial-scale=1">
        <link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/shoelace-css/1.0.0-beta16/shoelace.css">
        <link rel="stylesheet" href="styles.css">
 
    </head>
    <body>
        <div class="container">
 
            <h1>Voice Controlled Drone</h1>
            <p class="page-description">A tiny app that allows you to control AR drone using voice</p>
 
            <h3 class="no-browser-support">Sorry, Your Browser Doesn't Support the Web Speech API. Try Opening This Demo In Google Chrome.</h3>
 
            <div class="app">
                <h3>Give the command</h3>
                <div class="input-single">
                    <textarea id="note-textarea" placeholder="Create a new note by typing or using voice recognition." rows="6"></textarea>
                </div>    
                <button id="start-record-btn" title="Start Recording">Start Recognition</button>
                <button id="pause-record-btn" title="Pause Recording">Pause Recognition</button>
                <p id="recording-instructions">Press the <strong>Start Recognition</strong> button and allow access.</p>
 
            </div>
 
        </div>
 
        <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
        <script src="script.js"></script>
 
    </body>
</html>

还有用于处理语音命令的 JavaScript 代码，将它们发送到 Node 服务器。

try {
 var SpeechRecognition = window.SpeechRecognition || window.webkitSpeechRecognition;
 var recognition = new SpeechRecognition();
 }
 catch(e) {
 console.error(e);
 $('.no-browser-support').show();
 $('.app').hide();
 }
// other code, please refer GitHub source
recognition.onresult = function(event) {
// event is a SpeechRecognitionEvent object.
// It holds all the lines we have captured so far.
 // We only need the current one.
 var current = event.resultIndex;
// Get a transcript of what was said.
var transcript = event.results[current][0].transcript;
// send it to the backend
$.ajax({
 type: 'POST',
 url: '/command/',
 data: JSON.stringify({command: transcript}),
 success: function(data) { console.log(data) },
 contentType: "application/json",
 dataType: 'json'
 });
};

启动应用程序

该程序可以按如下方式启动（重要的是要确保飞行器已连接到 Wi-Fi 并且以太网电缆已连接到计算机）。

在浏览器中打开 localhost:3000，然后单击“开始识别”。

我们尝试控制无人机并且很高兴。

从无人机播放视频

在项目中，创建一个新文件并将以下代码复制到其中：

const http = require("http");
const drone = require("dronestream");
 
const server = http.createServer(function(req, res) {
 
require("fs").createReadStream(__dirname + "/public/video.html").pipe(res);
 });
 
drone.listen(server);
 
server.listen(4000);

这是 HTML 代码，我们将其放置在 public 文件夹中。

<!doctype html>
 <html>
 <head>
 <meta http-equiv="content-type" content="text/html; charset=utf-8">
 <title>Stream as module</title>
 <script src="/dronestream/nodecopter-client.js" type="text/javascript" charset="utf-8"></script>
 </head>
 <body>
 <h1 id="heading">Drone video stream</h1>
 <div id="droneStream" style="width: 640px; height: 360px"> </div>
 
<script type="text/javascript" charset="utf-8">
 
new NodecopterStream(document.getElementById("droneStream"));
 
</script>
 
</body>
</html>

启动并连接到 localhost:8080 以查看前置摄像头的视频。

有用的提示

在室内飞行这架无人机。
起飞前务必给无人机盖上防护罩。
检查电池是否已充电。
如果无人机表现异常，请将其按住并翻转。此操作将使直升机进入紧急模式，旋翼将立即停止。

准备好代码和演示

现场演示

下载

事实证明！

编写代码然后看着机器开始服从会给你带来乐趣！现在我们已经弄清楚如何教无人机听语音命令。事实上，还有更多的可能性：用户面部识别、自主飞行、手势识别等等。

您有什么建议来改进该计划？

技能箱推荐：

应用在线课程《Python数据分析师》.

在线课程《职业前端开发人员》.

实践年课程《PHP 开发者从 0 到 PRO》.

来源： habr.com

我们使用 Node.js 和 ARDrone 对直升机进行语音控制编程

介绍

铁