🥇Програмираме гласово управление на коптера с помощта на Node.js и ARDrone

В това ръководство ще разгледаме създаването на програма за дрон с гласово управление на Node.js и Web speech API. Коптера е Parrot ARDrone 2.0.

Напомняме: за всички читатели на "Хабра" — отстъпка от 10 000 рубли при записване на всякакъв курс на Skillbox с промокод "Хабр".
Skillbox препоръчва: Практически курс «Мобилен разработчик PRO».

Въведение

Дроновете са удивителни. Много ми харесва да играя с моя коптер, заснемайки снимки и видеа или просто забавлявайки се. Но безпилотните летателни апарати (БЛА) не се използват само за развлекателни цели. Те работят в киното, изучават ледниците, използват се от военните и представителите на селскостопанския сектор.

В това ръководство ще разгледаме създаването на програма, която ще позволи управление на дрона с гласови команди. Да, коптерът ще прави това, което му кажете. В края на статията ще намерите готова програма и видео на управлението на БЛА.

Мануал по железо (PDF)

Нуждаем се от следното:

Parrot ARDrone 2.0;
Ethernet кабел;
добър микрофон.

Разработката и управлението ще се извършват на работни станции с Windows/Mac/Ubuntu. Лично аз работих с Mac и Ubuntu 18.04.

Програмно осигуряване

Трябва да изтеглите последната версия на Node.js от официалния сайт.

Също така е необходима последната версия на Google Chrome..

Разбираме коптера

Нека опитаме да разберем как работи Parrot ARDrone. Този коптер има четири мотора.

Противостоящите мотори работят в една посока. Едната двойка се върти по часовниковата стрелка, а другата — обратно. Дронът се движи благодарение на промяната на ъгъла на наклона спрямо земята, променяйки скоростта на въртене на моторите и извършвайки още няколко маневри.

Както виждаме на диаграмата по-горе, промяната на различни параметри води до промяна в посоката на движение на коптера. Например, намаляването или увеличаването на скоростта на въртене на левите и десните роторите създава наклон. Това позволява на дрона да лети напред или назад.

Променяйки скоростта и посоката на движение на моторите, задаваме ъгли на наклона, които позволяват на коптера да се движи в други посоки. Всъщност, за текущия проект не е нужно да изучаваме аеродинамика, просто трябва да разберем основните принципи.

Как работи Parrot ARDrone

Дронът представлява точка за достъп до Wi-Fi. За да получавате и изпращате команди на коптера, трябва да се свържете с тази точка. Има много разнообразни приложения, които позволяват управление на коптери. Изглежда всичко това приблизително по следния начин:

След като дронът е свързан, отваряме терминал и telnet 192.168.1.1 — това е IP адресът на коптера. За Linux можете да използвате Linux Busybox.

Архитектура на приложението

Нашият код ще бъде разделен на следните модули:

потребителски интерфейс с речеви API за разпознаване на глас;
филтриране на команди и сравнение с еталон;
изпращане на команди до дрон;
поточно видео предаване.

API работи при условие, че има интернет свързване. Затова добавяме Ethernet свързване.

Време е да създадем приложение!

Програмираме

Първо, нека създадем нова папка и да се прехвърлим на нея чрез терминала.

След това създаваме Node проект, използвайки следните команди.

Първо, инсталираме необходимите зависимости.

npm install

Ще поддържаме следните команди:

излитане;
кацане;
нагоре — дронът се издига на половин метър и остава на място;
надолу — спуска се на половин метър и остава на място;
вляво — движи се наляво на половин метър;
вдясно — движи се надясно на половин метър;
завиване — завива по часовниковата стрелка на 90 градуса;
напред — движи се напред на половин метър;
назад — движи се назад на половин метър;
стоп.

Ето кодът, който позволява приемане на команди, филтриране на тях и контрол на дрон.

const express = require('express');
const bodyparser = require('body-parser');
var arDrone = require('ar-drone');
const router = express.Router();
const app = express();
const commands = ['takeoff', 'land','up','down','goleft','goright','turn','goforward','gobackward','stop'];
 
var drone  = arDrone.createClient();
// disable emergency
drone.disableEmergency();
// express
app.use(bodyparser.json());
app.use(express.static(__dirname + '/public'));
 
router.get('/',(req,res) => {
    res.sendFile('index.html');
});
 
router.post('/command',(req,res) => {
    console.log('command received ', req.body);
    console.log('existing commands', commands);
    let command = req.body.command.replace(/ /g,'');
    if(commands.indexOf(command) !== -1) {
        switch(command.toUpperCase()) {
            case "TAKEOFF":
                console.log('taking off the drone');
                drone.takeoff();
            break;
            case "LAND":
                console.log('landing the drone');
                drone.land();
            break;
            case "UP":
                console.log('taking the drone up half a meter');
                drone.up(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "DOWN":
                console.log('taking the drone down half a meter');
                drone.down(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOLEFT":
                console.log('taking the drone left 1 meter');
                drone.left(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "GORIGHT":
                console.log('taking the drone right 1 meter');
                drone.right(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "TURN":
                console.log('turning the drone');
                drone.clockwise(0.4);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOFORWARD":
                console.log('moving the drone forward by 1 meter');
                drone.front(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOBACKWARD":
                console.log('moving the drone backward 1 meter');
                drone.back(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "STOP":
                drone.stop();
            break;
            default:
            break;    
        }
    }
    res.send('OK');
});
 
app.use('/',router);
 
app.listen(process.env.port || 3000);

Ето HTML и JavaScript код, който слуша потребителя и изпраща команда на Node сървър.

<!DOCTYPE html>
    <head>
        <meta charset="utf-8">
        <meta http-equiv="X-UA-Compatible" content="IE=edge">
        <title>Приложение за бележки с гласово управление</title>
        <meta name="description" content="">
        <meta name="viewport" content="width=device-width, initial-scale=1">
        <link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/shoelace-css/1.0.0-beta16/shoelace.css">
        <link rel="stylesheet" href="styles.css">
 
    </head>
    <body>
        <div class="container">
 
            <h1>Дрон с гласово управление</h1>
            <p class="page-description">Малко приложение, което ви позволява да управлявате AR дрон с глас</p>
 
            <h3 class="no-browser-support">Съжаляваме, браузърът ви не поддържа Web Speech API. Опитайте да отворите тази демонстрация в Google Chrome.</h3>
 
            <div class="app">
                <h3>Дайте командата</h3>
                <div class="input-single">
                    <textarea id="note-textarea" placeholder="Създайте нова бележка, като пишете или използвате разпознаване на глас." rows="6"></textarea>
                </div>    
                <button id="start-record-btn" title="Започнете записване">Започнете разпознаване</button>
                <button id="pause-record-btn" title="Спиране на записването">Спиране на разпознаването</button>
                <p id="recording-instructions">Натиснете <strong>Започнете разпознаване</strong> бутона и разрешете достъп.</p>
 
            </div>
 
        </div>
 
        <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
        <script src="script.js"></script>
 
    </body>
</html>

И още JavaScript код за работа с гласови команди, изпращайки ги на сървър Node.

try {
 var SpeechRecognition = window.SpeechRecognition || window.webkitSpeechRecognition;
 var recognition = new SpeechRecognition();
 }
 catch(e) {
 console.error(e);
 $('.no-browser-support').show();
 $('.app').hide();
 }
// other code, please refer GitHub source
recognition.onresult = function(event) {
// event is a SpeechRecognitionEvent object.
// It holds all the lines we have captured so far.
 // We only need the current one.
 var current = event.resultIndex;
// Get a transcript of what was said.
var transcript = event.results[current][0].transcript;
// send it to the backend
$.ajax({
 type: 'POST',
 url: '\/command\/',
 data: JSON.stringify({command: transcript}),
 success: function(data) { console.log(data) },
 contentType: "application\/json",
 dataType: 'json'
 });
};

Стартираме приложението

Програмата може да се стартира по следния начин (важно е да се уверите, че коптерът е свързан към Wi-Fi, а Ethernet кабелът е свързан към компютъра).

Отваряме localhost:3000 в браузъра и кликваме върху Start Recognition.

Опитваме се да управляваме дрона и се наслаждаваме.

Видео стрийминг от дрона

В проекта създаваме нов файл и копираме този код там:

const http = require("http");
const drone = require("dronestream");
 
const server = http.createServer(function(req, res) {
 
require("fs").createReadStream(__dirname + "\/public\/video.html").pipe(res);
 });
 
drone.listen(server);
 
server.listen(4000);

А ето HTML кода, който разполагаме в папката public.

<!doctype html>
 <html>
 <head>
 <meta http-equiv="content-type" content="text/html; charset=utf-8">
 <title>Предаване като модул</title>
 <script src="/dronestream/nodecopter-client.js" type="text/javascript" charset="utf-8"></script>
 </head>
 <body>
 <h1 id="heading">Дроново видео предаване</h1>
 <div id="droneStream" style="width: 640px; height: 360px"> </div>
 
<script type="text/javascript" charset="utf-8">
 
new NodecopterStream(document.getElementById("droneStream"));
 
</script>
 
</body>
</html>

Стартираме и се свързваме с localhost:8080, за да гледаме видеото от предната камера.

Полезни съвети

Управлявайте този дрон в закрито помещение.
Винаги слагайте защитен капак на дронa преди излитане.
Проверете дали батерията е заредена.
Ако дронът се държи странно, дръжте го отдолу и го обърнете. Това действие ще вкара коптера в авариен режим и роторите незабавно ще спрат.

Готов код и демонстрация

ЖИВА ДЕМО

СВАЛИ

Става!

Да напишеш код и след това да наблюдаваш как машината започва да се подчинява, ще ти донесе удоволствие! Сега се запознахме с това как да научим дрона да разпознава гласови команди. Всъщност възможностите са много повече: разпознаване на лицето на потребителя, автономни полети, разпознаване на жестове и много друго.

Какво можете да предложите за подобряване на програмата?

Skillbox препоръчва:

Онлайн курс „Анализатор на данни с Python“.

Онлайн курс «Професия frontend-разработчик».

Практически годишен курс «PHP разработчик от 0 до PRO».

Източник: habr.com