В този урок ще разгледаме създаването на програма за дрон с гласово управление с помощта на Node.js и API за уеб реч. Хеликоптер - Parrot ARDrone 2.0.
Напомняме ви: за всички читатели на "Habr" - отстъпка от 10 000 рубли при записване във всеки курс Skillbox, използвайки промоционалния код на "Habr".
Skillbox препоръчва: Практически курс .
въведение
Дроновете са невероятни. Наистина ми харесва да играя с моя четворка, да правя снимки и видеоклипове или просто да се забавлявам. Но безпилотните летателни апарати (UAV) се използват за нещо повече от просто забавление. Те работят в киното, изучават ледници и се използват от военни и представители на селскостопанския сектор.
В този урок ще разгледаме създаването на програма, която ще ви позволи да управлявате дрон. използване на гласови команди. Да, хеликоптерът ще направи това, което му кажете. В края на статията има готова програма и видео за управление на UAV.
желязо
Имаме нужда от следното:
- Parrot ARDrone 2.0;
- Ethernet кабел;
- добър микрофон.
Разработката и управлението ще се извършват на работни станции с Windows/Мак/UbuntuЛично аз работих с Mac и Ubuntu 18.04.
Программное обеспечение
Изтеглете най-новата версия на Node.js от .
Също така е необходимо .
Разбиране на хеликоптера
Нека се опитаме да разберем как работи Parrot ARDrone. Този хеликоптер има четири двигателя.
Противоположните двигатели работят в една и съща посока. Едната двойка се върти по посока на часовниковата стрелка, другата - обратно. Дронът се движи чрез промяна на ъгъла на наклон спрямо повърхността на земята, промяна на скоростта на въртене на двигателите и няколко други маневрени движения.
Както виждаме на диаграмата по-горе, промяната на различни параметри води до промяна в посоката на движение на коптера. Например, намаляването или увеличаването на скоростта на въртене на левия и десния ротор създава ролка. Това позволява на дрона да лети напред или назад.
Чрез промяна на скоростта и посоката на двигателите, ние задаваме ъгли на наклон, които позволяват на хеликоптера да се движи в други посоки. Всъщност за настоящия проект няма нужда да изучавате аеродинамика, просто трябва да разберете основните принципи.
Как работи Parrot ARDrone
Дронът е Wi-Fi гореща точка. За да получавате и изпращате команди към хеликоптера, трябва да се свържете с тази точка. Има много различни приложения, които ви позволяват да управлявате квадрокоптери. Всичко изглежда така:
След като дронът е свързан, отворете терминала и въведете telnet 192.168.1.1 - това е IP адресът на хеликоптера. Linux Можете да използвате .
Архитектура на приложението
Нашият код ще бъде разделен на следните модули:
- потребителски интерфейс с речеви API за гласово разпознаване;
- филтриране на команди и сравняване със стандарт;
- изпращане на команди към дрона;
- видео предаване на живо.
API работи, докато има интернет връзка. За да гарантираме това, добавяме Ethernet връзка.
Време е да създадете приложение!
Код
Първо, нека създадем нова папка и да превключим към нея с помощта на терминала.
След това създаваме проект Node, като използваме командите по-долу.
Първо инсталираме необходимите зависимости.
npm инсталиране
Ще поддържаме следните команди:
- Махам от себе си, събличам;
- кацане;
- нагоре - дронът се издига на половин метър и кръжи;
- надолу - пада на половин метър и замръзва;
- наляво - отива половин метър наляво;
- надясно - отива половин метър надясно;
- въртене - върти се по часовниковата стрелка на 90 градуса;
- напред - върви напред половин метър;
- гръб - връща се на половин метър назад;
- Спри се.
Ето кода, който ви позволява да приемате команди, да ги филтрирате и да управлявате дрона.
const express = require('express');
const bodyparser = require('body-parser');
var arDrone = require('ar-drone');
const router = express.Router();
const app = express();
const commands = ['takeoff', 'land','up','down','goleft','goright','turn','goforward','gobackward','stop'];
var drone = arDrone.createClient();
// disable emergency
drone.disableEmergency();
// express
app.use(bodyparser.json());
app.use(express.static(__dirname + '/public'));
router.get('/',(req,res) => {
res.sendFile('index.html');
});
router.post('/command',(req,res) => {
console.log('command recieved ', req.body);
console.log('existing commands', commands);
let command = req.body.command.replace(/ /g,'');
if(commands.indexOf(command) !== -1) {
switch(command.toUpperCase()) {
case "TAKEOFF":
console.log('taking off the drone');
drone.takeoff();
break;
case "LAND":
console.log('landing the drone');
drone.land();
break;
case "UP":
console.log('taking the drone up half meter');
drone.up(0.2);
setTimeout(() => {
drone.stop();
clearTimeout();
},2000);
break;
case "DOWN":
console.log('taking the drone down half meter');
drone.down(0.2);
setTimeout(() => {
drone.stop();
clearTimeout();
},2000);
break;
case "GOLEFT":
console.log('taking the drone left 1 meter');
drone.left(0.1);
setTimeout(() => {
drone.stop();
clearTimeout();
},1000);
break;
case "GORIGHT":
console.log('taking the drone right 1 meter');
drone.right(0.1);
setTimeout(() => {
drone.stop();
clearTimeout();
},1000);
break;
case "TURN":
console.log('turning the drone');
drone.clockwise(0.4);
setTimeout(() => {
drone.stop();
clearTimeout();
},2000);
break;
case "GOFORWARD":
console.log('moving the drone forward by 1 meter');
drone.front(0.1);
setTimeout(() => {
drone.stop();
clearTimeout();
},2000);
break;
case "GOBACKWARD":
console.log('moving the drone backward 1 meter');
drone.back(0.1);
setTimeout(() => {
drone.stop();
clearTimeout();
},2000);
break;
case "STOP":
drone.stop();
break;
default:
break;
}
}
res.send('OK');
});
app.use('/',router);
app.listen(process.env.port || 3000);И тук е HTML и JavaScript кодът, който слуша потребителя и изпраща команда до сървъра на Node.
<!DOCTYPE html>
<head>
<meta charset="utf-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<title>Voice Controlled Notes App</title>
<meta name="description" content="">
<meta name="viewport" content="width=device-width, initial-scale=1">
<link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/shoelace-css/1.0.0-beta16/shoelace.css">
<link rel="stylesheet" href="styles.css">
</head>
<body>
<div class="container">
<h1>Voice Controlled Drone</h1>
<p class="page-description">A tiny app that allows you to control AR drone using voice</p>
<h3 class="no-browser-support">Sorry, Your Browser Doesn't Support the Web Speech API. Try Opening This Demo In Google Chrome.</h3>
<div class="app">
<h3>Give the command</h3>
<div class="input-single">
<textarea id="note-textarea" placeholder="Create a new note by typing or using voice recognition." rows="6"></textarea>
</div>
<button id="start-record-btn" data-gt-translate-attributes='["title"]' title="Start Recording">Start Recognition</button>
<button id="pause-record-btn" data-gt-translate-attributes='["title"]' title="Pause Recording">Pause Recognition</button>
<p id="recording-instructions">Press the <strong>Start Recognition</strong> button and allow access.</p>
</div>
</div>
<script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
<script src="script.js"></script>
</body>
</html>И също така JavaScript код за работа с гласови команди, изпращайки ги към Node сървъра.
try {
var SpeechRecognition = window.SpeechRecognition || window.webkitSpeechRecognition;
var recognition = new SpeechRecognition();
}
catch(e) {
console.error(e);
$('.no-browser-support').show();
$('.app').hide();
}
// other code, please refer GitHub source
recognition.onresult = function(event) {
// event is a SpeechRecognitionEvent object.
// It holds all the lines we have captured so far.
// We only need the current one.
var current = event.resultIndex;
// Get a transcript of what was said.
var transcript = event.results[current][0].transcript;
// send it to the backend
$.ajax({
type: 'POST',
url: '/command/',
data: JSON.stringify({command: transcript}),
success: function(data) { console.log(data) },
contentType: "application/json",
dataType: 'json'
});
};Стартирайте приложението
Програмата може да бъде стартирана по следния начин (важно е да се уверите, че хеликоптерът е свързан към Wi-Fi и Ethernet кабелът е свързан към компютъра).
Отворете localhost:3000 в браузъра и щракнете върху Старт на разпознаването.
Опитваме се да контролираме дрона и сме доволни.
Излъчване на видео от дрон
В проекта създайте нов файл и копирайте този код там:
const http = require("http");
const drone = require("dronestream");
const server = http.createServer(function(req, res) {
require("fs").createReadStream(__dirname + "/public/video.html").pipe(res);
});
drone.listen(server);
server.listen(4000);И ето HTML кода, поставяме го в публичната папка.
<!doctype html>
<html>
<head>
<meta http-equiv="content-type" content="text/html; charset=utf-8">
<title>Stream as module</title>
<script src="/dronestream/nodecopter-client.js" type="text/javascript" charset="utf-8"></script>
</head>
<body>
<h1 id="heading">Drone video stream</h1>
<div id="droneStream" style="width: 640px; height: 360px"> </div>
<script type="text/javascript" charset="utf-8">
new NodecopterStream(document.getElementById("droneStream"));
</script>
</body>
</html>Стартирайте и се свържете с localhost:8080, за да видите видео от предната камера.
Полезни съвети
- Летете с този дрон на закрито.
- Винаги поставяйте защитното покритие на вашия дрон преди излитане.
- Проверете дали батерията е заредена.
- Ако дронът се държи странно, задръжте го и го обърнете. Това действие ще постави коптера в авариен режим и роторите ще спрат незабавно.
Готов код и демонстрация
Се случи!
Ще ви достави удоволствие да пишете код и след това да гледате как машината започва да се подчинява! Сега разбрахме как да научим дрон да слуша гласови команди. Всъщност има много повече възможности: разпознаване на лицето на потребителя, автономни полети, разпознаване на жестове и много други.
Какво можете да предложите за подобряване на програмата?
Skillbox препоръчва:
- Приложен онлайн курс .
- Онлайн курс .
- Практически годишен курс .
Източник: www.habr.com
