В това ръководство ще разгледаме създаването на програма за дрон с гласово управление на Node.js и Web speech API. Коптерът е Parrot ARDrone 2.0.
Напомняме: за всички читатели на «Хабра» — отстъпка от 10 000 рубли при записване на всеки курс Skillbox с промокод «Хабр».
Skillbox препоръчва: Практически курс .
Въведение
Дроновете са удивителни. Много ми харесва да играя с моя коптер, записвайки снимки и видеа или просто да се забавлявам. Но безпилотните летателни апарати (БПЛА) не се използват само за развлечение. Те работят в киноиндустрията, изследват ледници, използват се от военните и представители на селскостопанския сектор.
В това ръководство ще разгледаме създаването на програма, която ще позволи управление на дрона. с помощта на гласови команди. Да, коптерът ще прави това, което му казвате. В края на статията ще намерите готова програма и видео за управление на БПЛА.
Желязо
Нуждаем се от следното:
- Parrot ARDrone 2.0;
- Ethernet кабел;
- добър микрофон.
Разработката и управлението ще се извършват на работни станции с Windows/Mac/Ubuntu. Лично аз работих с Mac и Ubuntu 18.04.
Софтуерът
Изтеглете последната версия на Node.js от .
Също така е необходима .
Разглеждаме коптера
Нека опитаме да разберем как работи Parrot ARDrone. Този коптер има четири мотора.
Спротивляващите се мотори работят в една посока. Една двойка се върти по часовниковата стрелка, а другата — обратно. Дронът се движи, като променя ъгъла на наклона спрямо повърхността на земята, скоростта на въртене на моторите и още няколко маневрени движения.
Както виждаме на диаграмата по-горе, промяната на различни параметри води до смяна на посоката на движение на коптера. Например, намаляването или увеличаването на скоростта на въртене на левия и десния ротор създава наклон. Това позволява на дрона да лети напред или назад.
Чрез промяна на скоростта и посоката на движение на моторите, задаваме ъглите на наклона, позволяващи на коптера да извършва движения в други посоки. Всъщност, за текущия проект не е нужно да проучваме аеродинамика, просто е важно да разберем основните принципи.
Как работи Parrot ARDrone
Дронът представлява Wi-Fi точка за достъп. За да получавате и изпращате команди към коптера, е необходимо да се свържете с тази точка. Има много разнообразни приложения, позволяващи управление на коптерите. Всичко това изглежда приблизително така:
След като дронът е свързан, отворете терминала и напишете telnet 192.168.1.1 — това е IP адресът на коптера. За Linux можете да използвате .
Архитектура на приложението
Нашият код ще бъде разделен на следните модули:
- потребителски интерфейс с речеви API за разпознаване на глас;
- филтриране на команди и сравняване с еталон;
- изпращане на команди до дрон;
- налична е директна видео транслация.
API работи при условие, че има интернет свързаност. За да я осигурим, добавяме Ethernet свързаност.
Време е да създадем приложение!
Кодираме
Нека първо създадем нова папка и да се преместим в нея с терминала.
След това ще създадем Node проект, използвайки следните команди.
Първо инсталираме необходимите зависимости.
npm install
Ще поддържаме следните команди:
- излитане;
- кацане;
- нагоре — дронът се издига на половин метър и остава във въздуха;
- надолу — спуска се на половин метър и остава във въздуха;
- наляво — движи се наляво на половин метър;
- надясно — движи се надясно на половин метър;
- завъртане — завърта се по часовниковата стрелка на 90 градуса;
- напред — движи се напред на половин метър;
- назад — движи се назад на половин метър;
- стоп.
Ето кода, който позволява приемането на команди, филтрирането им и управлението на дрон.
const express = require('express');
const bodyparser = require('body-parser');
var arDrone = require('ar-drone');
const router = express.Router();
const app = express();
const commands = ['takeoff', 'land', 'up', 'down', 'goleft', 'goright', 'turn', 'goforward', 'gobackward', 'stop'];
var drone = arDrone.createClient();
// деактивиране на спешен режим
drone.disableEmergency();
// express
app.use(bodyparser.json());
app.use(express.static(__dirname + '/public'));
router.get('/', (req, res) => {
res.sendFile('index.html');
});
router.post('/command', (req, res) => {
console.log('приета команда ', req.body);
console.log('съществуващи команди', commands);
let command = req.body.command.replace(/ /g, '');
if (commands.indexOf(command) !== -1) {
switch (command.toUpperCase()) {
case "TAKEOFF":
console.log('излитане на дрона');
drone.takeoff();
break;
case "LAND":
console.log('кацане на дрона');
drone.land();
break;
case "UP":
console.log('издигане на дрона на половин метър');
drone.up(0.2);
setTimeout(() => {
drone.stop();
clearTimeout();
}, 2000);
break;
case "DOWN":
console.log('спускане на дрона на половин метър');
drone.down(0.2);
setTimeout(() => {
drone.stop();
clearTimeout();
}, 2000);
break;
case "GOLEFT":
console.log('движение на дрона наляво с 1 метър');
drone.left(0.1);
setTimeout(() => {
drone.stop();
clearTimeout();
}, 1000);
break;
case "GORIGHT":
console.log('движение на дрона надясно с 1 метър');
drone.right(0.1);
setTimeout(() => {
drone.stop();
clearTimeout();
}, 1000);
break;
case "TURN":
console.log('завиване на дрона');
drone.clockwise(0.4);
setTimeout(() => {
drone.stop();
clearTimeout();
}, 2000);
break;
case "GOFORWARD":
console.log('движение на дрона напред с 1 метър');
drone.front(0.1);
setTimeout(() => {
drone.stop();
clearTimeout();
}, 2000);
break;
case "GOBACKWARD":
console.log('движение на дрона назад с 1 метър');
drone.back(0.1);
setTimeout(() => {
drone.stop();
clearTimeout();
}, 2000);
break;
case "STOP":
drone.stop();
break;
default:
break;
}
}
res.send('OK');
});
app.use('/', router);
app.listen(process.env.port || 3000);Ето HTML и JavaScript код, който слуша потребителя и изпраща команда на Node сървъра.
<!DOCTYPE html>
<head>
<meta charset="utf-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<title>Приложение за бележки с гласово управление</title>
<meta name="description" content="">
<meta name="viewport" content="width=device-width, initial-scale=1">
<link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/shoelace-css/1.0.0-beta16/shoelace.css">
<link rel="stylesheet" href="styles.css">
</head>
<body>
<div class="container">
<h1>Дрон с гласово управление</h1>
<p class="page-description">Малко приложение, което ви позволява да контролирате AR дрон с глас</p>
<h3 class="no-browser-support">Съжалявам, вашият браузър не поддържа Web Speech API. Опитайте да отворите този демонстрационен вариант в Google Chrome.</h3>
<div class="app">
<h3>Дайте командата</h3>
<div class="input-single">
<textarea id="note-textarea" placeholder="Създайте нова бележка, като пишете или използвате разпознаване на глас." rows="6"></textarea>
</div>
<button id="start-record-btn" title="Започнете записването">Започнете разпознаването</button>
<button id="pause-record-btn" title="Пауза на записването">Пауза на разпознаването</button>
<p id="recording-instructions">Натиснете <strong>Започнете разпознаването</strong> бутона и разрешете достъпа.</p>
</div>
</div>
<script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
<script src="script.js"></script>
</body>
</html>И още JavaScript код за работа с гласови команди, изпращайки ги на Node сървър.
опитайте {
var SpeechRecognition = window.SpeechRecognition || window.webkitSpeechRecognition;
var recognition = new SpeechRecognition();
}
catch(e) {
console.error(e);
$('.no-browser-support').show();
$('.app').hide();
}
// друг код, моля, вижте източника в GitHub
recognition.onresult = function(event) {
// event е обект на SpeechRecognitionEvent.
// Той съдържа всички редове, които сме уловили до момента.
// Нуждаем се само от текущия.
var current = event.resultIndex;
// Вземете транскрипция на казаното.
var transcript = event.results[current][0].transcript;
// изпращаме го към бекенда
$.ajax({
type: 'POST',
url: '\/command\/',
data: JSON.stringify({command: transcript}),
success: function(data) { console.log(data) },
contentType: "application\/json",
dataType: 'json'
});
};Стартираме приложението
Програмата може да бъде стартирана по следния начин (важно е да се уверите, че дронът е свързан към Wi-Fi и Ethernet кабелът е свързан към компютъра).
Отваряме localhost:3000 в браузъра и кликваме върху Start Recognition.
Опитваме да управляваме дрона и се радва.
Излъчване на видео от дрона
В проекта създаваме нов файл и копираме този код в него:
const http = require("http");
const drone = require("dronestream");
const server = http.createServer(function(req, res) {
require("fs").createReadStream(__dirname + "\/public\/video.html").pipe(res);
});
drone.listen(server);
server.listen(4000);А ето HTML кода, който поставяме в папката public.
<!doctype html>
<html>
<head>
<meta http-equiv="content-type" content="text/html; charset=utf-8">
<title>Предаване като модул</title>
<script src="/dronestream/nodecopter-client.js" type="text/javascript" charset="utf-8"></script>
</head>
<body>
<h1 id="heading">Дроново видео предаване</h1>
<div id="droneStream" style="width: 640px; height: 360px"> </div>
<script type="text/javascript" charset="utf-8">
new NodecopterStream(document.getElementById("droneStream"));
</script>
</body>
</html>Стартираме и се свързваме с localhost:8080, за да гледаме видео от фронталната камера.
Полезни съвети
- Управлявайте този дрон на закрито.
- Винаги слагайте защитната капа на дронa преди да излети.
- Проверете дали батерията е заредена.
- Ако дронът се държи странно, задръжте го отдолу и го обърнете. Това действие ще преведе дронa в аварийен режим и ротора ще спре незабавно.
Готов код и демонстрация
Успя!
Да напишете код и след това да наблюдавате как машината започва да ви слуша, ще ви донесе удоволствие! Сега разбрахме как да научим дрона да слуша гласови команди. Всъщност възможностите са много повече: разпознаване на лицето на потребителя, автономни полети, разпознаване на жестове и много други.
Какви предложения имате за подобряване на програмата?
Skillbox препоръчва:
- Прикладен онлайн курс .
- Онлайн курс .
- Практически годишен курс .
Източник: habr.com
