У гэтым тутарыяле мы разбяром стварэнне праграмы для робата са сваёй нагі з галасавым кіраваннем на Node.js і Web speech API. Коптар - Parrot ARDrone 2.0.
Нагадваем: для ўсіх чытачоў "Хабра" - зніжка 10 000 рублёў пры запісе на любы курс Skillbox па промакодзе "Хабр".
Skillbox рэкамендуе: Практычны курс .
Увядзенне
Дроны цудоўныя. Мне вельмі падабаецца гуляць са сваім коптарам, запісваючы фота і відэа ці проста забаўляючыся. Але беспілотныя апараты (БПЛА) выкарыстоўваюцца не толькі для забаўкі. Яны працуюць у кінематографе, вывучаюць леднікі, прымяняюцца ваеннымі і прадстаўнікамі сельскагаспадарчай сферы.
У гэтым тутарыяле мы разбяром стварэнне праграмы, якая дазволіць кіраваць робатам. выкарыстоўваючы галасавыя каманды. Так, коптар будзе рабіць тое, што вы яму гаворыце. У канцы артыкула - гатовая праграма і відэа кіравання БПЛА.
жалеза
Нам патрэбна наступнае:
- Parrot ARDrone 2.0;
- Ethernet-кабель;
- добры мікрафон.
Распрацоўка і кіраванне будзе весціся на працоўных станцыях з Windows/Mac/Ubuntu. Асабіста я працаваў з Mac і Ubuntu 18.04/XNUMX.
Праграмнае забеспячэнне
Загрузіце апошнюю версію Node.js з .
Таксама патрэбна .
Разбіраемся з коптэрам
Давайце паспрабуем зразумець, як працуе Parrot ARDrone. У гэтага коптара ёсць чатыры матора.
Процістаялы маторы працуюць у адным кірунку. Адна пара круціцца па гадзіннікавай стрэлцы, іншая - супраць. Перамяшчаецца робат за кошт змены кута нахілу адносна паверхні зямлі, змены хуткасці кручэння матораў і яшчэ некалькіх манеўраных рухаў.
Як мы бачым на дыяграме вышэй, змена розных параметраў прыводзіць да змены кірунку руху коптара. Напрыклад, памяншэнне або павелічэнне хуткасці кручэння левага і правага ротараў ствараюць нахіл. Гэта дазваляе робат са сваёй нагі ляцець наперад або назад.
Змяняючы хуткасць і кірунак руху матораў, мы задаем куты нахілу, якія дазваляюць коптару здзяйсняць рух у іншых кірунках. Уласна, для бягучага праекту аэрадынаміку вывучаць не трэба, проста варта зразумець асноўныя прынцыпы.
Як працуе Parrot ARDrone
Дрон уяўляе сабой кропку доступу Wi-Fi. Для таго каб атрымліваць і адпраўляць каманды коптару, неабходна да гэтай кропкі падключыцца. Ёсць шмат разнастайных прыкладанняў, якія дазваляюць кіраваць коптарамі. Выглядае ўсё гэта прыкладна так:
Як толькі дрон падлучаны, адчыняны тэрмінал і telnet 192.168.1.1 – гэта IP коптара. Для Linux можна выкарыстоўваць .
Архітэктура прыкладання
Наш код будзе падзелены на наступныя модулі:
- карыстацкі інтэрфейс з маўленчым API для выяўлення голасу;
- фільтраванне каманд і супастаўленне з эталонам;
- адпраўка каманд дрону;
- прамая трансляцыя відэа.
API працуе пры ўмове наяўнасці інтэрнэт-падлучэння. Каб яго забяспечыць, мы і дадаем падлучэнне па Ethernet.
Час ствараць дадатак!
Кадзім
Для пачатку створым новую тэчку і пераключымся на яе пры дапамозе тэрмінала.
Затым ствараем Node-праект, выкарыстоўваючы ўказаныя ніжэй каманды.
Для пачатку ўсталёўваны патрабаваныя залежнасці.
ная ўстаноўка
Будзем падтрымліваць наступныя каманды:
- ўзлёт;
- пасадка;
- уверх - робат паднімаецца на паўметра і завісае;
- ўніз - апускаецца на паўметра і завісае;
- налева - ідзе налева на паўметра;
- направа - ідзе направа на паўметра;
- паварот паварочваецца па гадзіннікавай стрэлцы на 90 градусаў;
- наперад - ідзе наперад на паўметра;
- назад - ідзе назад на паўметра;
- стоп.
Вось код, які дазваляе прымаць каманды, фільтраваць іх і кантраляваць робат.
const express = require('express');
const bodyparser = require('body-parser');
var arDrone = require('ar-drone');
const router = express.Router();
const app = express();
const commands = ['takeoff', 'land','up','down','goleft','goright','turn','goforward','gobackward','stop'];
var drone = arDrone.createClient();
// disable emergency
drone.disableEmergency();
// express
app.use(bodyparser.json());
app.use(express.static(__dirname + '/public'));
router.get('/',(req,res) => {
res.sendFile('index.html');
});
router.post('/command',(req,res) => {
console.log('command recieved ', req.body);
console.log('existing commands', commands);
let command = req.body.command.replace(/ /g,'');
if(commands.indexOf(command) !== -1) {
switch(command.toUpperCase()) {
case "TAKEOFF":
console.log('taking off the drone');
drone.takeoff();
break;
case "LAND":
console.log('landing the drone');
drone.land();
break;
case "UP":
console.log('taking the drone up half meter');
drone.up(0.2);
setTimeout(() => {
drone.stop();
clearTimeout();
},2000);
break;
case "DOWN":
console.log('taking the drone down half meter');
drone.down(0.2);
setTimeout(() => {
drone.stop();
clearTimeout();
},2000);
break;
case "GOLEFT":
console.log('taking the drone left 1 meter');
drone.left(0.1);
setTimeout(() => {
drone.stop();
clearTimeout();
},1000);
break;
case "GORIGHT":
console.log('taking the drone right 1 meter');
drone.right(0.1);
setTimeout(() => {
drone.stop();
clearTimeout();
},1000);
break;
case "TURN":
console.log('turning the drone');
drone.clockwise(0.4);
setTimeout(() => {
drone.stop();
clearTimeout();
},2000);
break;
case "GOFORWARD":
console.log('moving the drone forward by 1 meter');
drone.front(0.1);
setTimeout(() => {
drone.stop();
clearTimeout();
},2000);
break;
case "GOBACKWARD":
console.log('moving the drone backward 1 meter');
drone.back(0.1);
setTimeout(() => {
drone.stop();
clearTimeout();
},2000);
break;
case "STOP":
drone.stop();
break;
default:
break;
}
}
res.send('OK');
});
app.use('/',router);
app.listen(process.env.port || 3000);А вось HTML-і JavaScript-код, які слухае карыстача і адпраўляе каманду на Node-сервер.
<!DOCTYPE html>
<head>
<meta charset="utf-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<title>Voice Controlled Notes App</title>
<meta name="description" content="">
<meta name="viewport" content="width=device-width, initial-scale=1">
<link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/shoelace-css/1.0.0-beta16/shoelace.css">
<link rel="stylesheet" href="styles.css">
</head>
<body>
<div class="container">
<h1>Voice Controlled Drone</h1>
<p class="page-description">A tiny app that allows you to control AR drone using voice</p>
<h3 class="no-browser-support">Sorry, Your Browser Doesn't Support the Web Speech API. Try Opening This Demo In Google Chrome.</h3>
<div class="app">
<h3>Give the command</h3>
<div class="input-single">
<textarea id="note-textarea" placeholder="Create a new note by typing or using voice recognition." rows="6"></textarea>
</div>
<button id="start-record-btn" title="Start Recording">Start Recognition</button>
<button id="pause-record-btn" title="Pause Recording">Pause Recognition</button>
<p id="recording-instructions">Press the <strong>Start Recognition</strong> button and allow access.</p>
</div>
</div>
<script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
<script src="script.js"></script>
</body>
</html>І яшчэ JavaScript-код для таго, каб працаваць з галасавымі камандамі, адпраўляючы іх на сервер Node.
try {
var SpeechRecognition = window.SpeechRecognition || window.webkitSpeechRecognition;
var recognition = new SpeechRecognition();
}
catch(e) {
console.error(e);
$('.no-browser-support').show();
$('.app').hide();
}
// other code, please refer GitHub source
recognition.onresult = function(event) {
// event is a SpeechRecognitionEvent object.
// It holds all the lines we have captured so far.
// We only need the current one.
var current = event.resultIndex;
// Get a transcript of what was said.
var transcript = event.results[current][0].transcript;
// send it to the backend
$.ajax({
type: 'POST',
url: '/command/',
data: JSON.stringify({command: transcript}),
success: function(data) { console.log(data) },
contentType: "application/json",
dataType: 'json'
});
};Запускаем дадатак
Праграму можна запусціць наступным чынам (важна пераканацца, што коптар падлучаны да Wi-Fi, а Ethernet-кабель падлучаны да кампутара).
Адкрываем localhost:3000 у браўзэры і клікаем Start Recognition.
Спрабуем кіраваць робатам і радуемся.
Трансляцыя відэа з робата
У праекце ствараем новы файл і які капіюецца туды гэты код:
const http = require("http");
const drone = require("dronestream");
const server = http.createServer(function(req, res) {
require("fs").createReadStream(__dirname + "/public/video.html").pipe(res);
});
drone.listen(server);
server.listen(4000);А вось HTML-код, яго размяшчаем усярэдзіне тэчкі public.
<!doctype html>
<html>
<head>
<meta http-equiv="content-type" content="text/html; charset=utf-8">
<title>Stream as module</title>
<script src="/dronestream/nodecopter-client.js" type="text/javascript" charset="utf-8"></script>
</head>
<body>
<h1 id="heading">Drone video stream</h1>
<div id="droneStream" style="width: 640px; height: 360px"> </div>
<script type="text/javascript" charset="utf-8">
new NodecopterStream(document.getElementById("droneStream"));
</script>
</body>
</html>Запускаем і падлучаемся да localhost:8080 для прагляду відэа з франтальнай камеры.
Карысныя парады
- Кіруйце гэтым робатам у памяшканні.
- Заўсёды апранайце ахоўнае вечка на робат перад узлётам.
- Праверце, ці зараджаны акумулятар.
- Калі робат паводзіць сябе дзіўна, утрымлівайце яго знізу і перавярніце. Гэта дзеянне перавядзе коптар у аварыйны рэжым, і ротары неадкладна спыняцца.
Гатовы код і дэманстрацыя
Атрымалася!
Напісаць код і затым назіраць, як машына пачынае слухацца, даставіць вам задавальненне! Цяпер мы разабраліся ў тым, як навучыць робат слухаць галасавыя каманды. Насамрэч магчымасцяў значна больш: распазнанне асобы карыстача, аўтаномныя палёты, распазнанне жэстаў і шматлікае іншае.
Што вы можаце прапанаваць для паляпшэння праграмы?
Skillbox рэкамендуе:
- Прыкладны анлайн-курс .
- Анлайн-курс .
- Практычны гадавы курс .
Крыніца: habr.com