V tomto návode sa pozrieme na vytvorenie programu pre dron s hlasovým ovládaním pomocou Node.js a Web speech API. Copter - Parrot ARDrone 2.0.
Pripomíname vám: pre všetkých čitateľov „Habr“ - zľava 10 000 rubľov pri registrácii do akéhokoľvek kurzu Skillbox pomocou propagačného kódu „Habr“.
Skillbox odporúča: Praktický kurz .
Úvod
Drony sú úžasné. Veľmi ma baví hrať sa so svojou štvorkolkou, fotografovať a natáčať videá alebo sa len tak zabávať. Bezpilotné lietadlá (UAV) sa však používajú nielen na zábavu. Pracujú v kine, študujú ľadovce, využíva ich armáda a predstavitelia poľnohospodárskeho sektora.
V tomto návode sa pozrieme na vytvorenie programu, ktorý vám umožní ovládať dron. pomocou hlasových príkazov. Áno, helikoptéra urobí to, čo jej prikážete. Na konci článku je pripravený program a video ovládania UAV.
železo
Potrebujeme nasledovné:
- Parrot ARDrone 2.0;
- Ethernetový kábel;
- dobrý mikrofón.
Vývoj a správa bude prebiehať na pracovných staniciach s Windows/Mac/Ubuntu. Osobne som pracoval s Mac a Ubuntu 18.04.
Softvér
Stiahnite si najnovšiu verziu Node.js z .
Tiež potrebné .
Pochopenie helikoptéry
Pokúsme sa pochopiť, ako Parrot ARDrone funguje. Táto helikoptéra má štyri motory.
Protiľahlé motory pracujú v rovnakom smere. Jeden pár sa otáča v smere hodinových ručičiek, druhý proti smeru hodinových ručičiek. Dron sa pohybuje zmenou uhla sklonu vzhľadom k povrchu zeme, zmenou rýchlosti otáčania motorov a niekoľkými ďalšími manévrovateľnými pohybmi.
Ako môžeme vidieť na obrázku vyššie, zmena rôznych parametrov vedie k zmene smeru pohybu vrtuľníka. Napríklad zníženie alebo zvýšenie rýchlosti otáčania ľavého a pravého rotora vytvára rolu. To umožňuje dronu lietať dopredu alebo dozadu.
Zmenou rýchlosti a smeru motorov nastavujeme uhly náklonu, ktoré umožňujú helikoptére pohybovať sa v iných smeroch. V skutočnosti pre súčasný projekt nie je potrebné študovať aerodynamiku, stačí pochopiť základné princípy.
Ako funguje Parrot ARDrone
Dron je Wi-Fi hotspot. Aby ste mohli prijímať a odosielať príkazy do helikoptéry, musíte sa pripojiť k tomuto bodu. Existuje mnoho rôznych aplikácií, ktoré vám umožňujú ovládať kvadrokoptéry. Celé to vyzerá asi takto:
Hneď ako je dron pripojený, otvorte terminál a telnet 192.168.1.1 - to je IP vrtuľníka. Pre Linux môžete použiť .
Architektúra aplikácie
Náš kód bude rozdelený do nasledujúcich modulov:
- užívateľské rozhranie s rečovým API na detekciu hlasu;
- filtrovanie príkazov a porovnávanie so štandardom;
- posielanie príkazov do dronu;
- živé video vysielanie.
Rozhranie API funguje, pokiaľ existuje internetové pripojenie. Aby sme to zabezpečili, pridávame ethernetové pripojenie.
Je čas vytvoriť aplikáciu!
kód
Najprv si vytvorte nový priečinok a prepnite sa doň pomocou terminálu.
Potom pomocou nižšie uvedených príkazov vytvoríme projekt Node.
Najprv nainštalujeme požadované závislosti.
npm install
Budeme podporovať nasledujúce príkazy:
- vzlietnuť;
- pristátie;
- hore - dron sa zdvihne o pol metra a vznáša sa;
- dole - spadne pol metra a zamrzne;
- doľava - ide pol metra doľava;
- doprava - ide o pol metra doprava;
- rotácia - otáča sa v smere hodinových ručičiek o 90 stupňov;
- dopredu - ide dopredu o pol metra;
- späť - vráti sa o pol metra;
- Prestaň.
Tu je kód, ktorý vám umožní prijímať príkazy, filtrovať ich a ovládať dron.
const express = require('express');
const bodyparser = require('body-parser');
var arDrone = require('ar-drone');
const router = express.Router();
const app = express();
const commands = ['takeoff', 'land','up','down','goleft','goright','turn','goforward','gobackward','stop'];
var drone = arDrone.createClient();
// disable emergency
drone.disableEmergency();
// express
app.use(bodyparser.json());
app.use(express.static(__dirname + '/public'));
router.get('/',(req,res) => {
res.sendFile('index.html');
});
router.post('/command',(req,res) => {
console.log('command recieved ', req.body);
console.log('existing commands', commands);
let command = req.body.command.replace(/ /g,'');
if(commands.indexOf(command) !== -1) {
switch(command.toUpperCase()) {
case "TAKEOFF":
console.log('taking off the drone');
drone.takeoff();
break;
case "LAND":
console.log('landing the drone');
drone.land();
break;
case "UP":
console.log('taking the drone up half meter');
drone.up(0.2);
setTimeout(() => {
drone.stop();
clearTimeout();
},2000);
break;
case "DOWN":
console.log('taking the drone down half meter');
drone.down(0.2);
setTimeout(() => {
drone.stop();
clearTimeout();
},2000);
break;
case "GOLEFT":
console.log('taking the drone left 1 meter');
drone.left(0.1);
setTimeout(() => {
drone.stop();
clearTimeout();
},1000);
break;
case "GORIGHT":
console.log('taking the drone right 1 meter');
drone.right(0.1);
setTimeout(() => {
drone.stop();
clearTimeout();
},1000);
break;
case "TURN":
console.log('turning the drone');
drone.clockwise(0.4);
setTimeout(() => {
drone.stop();
clearTimeout();
},2000);
break;
case "GOFORWARD":
console.log('moving the drone forward by 1 meter');
drone.front(0.1);
setTimeout(() => {
drone.stop();
clearTimeout();
},2000);
break;
case "GOBACKWARD":
console.log('moving the drone backward 1 meter');
drone.back(0.1);
setTimeout(() => {
drone.stop();
clearTimeout();
},2000);
break;
case "STOP":
drone.stop();
break;
default:
break;
}
}
res.send('OK');
});
app.use('/',router);
app.listen(process.env.port || 3000);A tu je kód HTML a JavaScript, ktorý počúva používateľa a odošle príkaz na server Node.
<!DOCTYPE html>
<head>
<meta charset="utf-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<title>Voice Controlled Notes App</title>
<meta name="description" content="">
<meta name="viewport" content="width=device-width, initial-scale=1">
<link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/shoelace-css/1.0.0-beta16/shoelace.css">
<link rel="stylesheet" href="styles.css">
</head>
<body>
<div class="container">
<h1>Voice Controlled Drone</h1>
<p class="page-description">A tiny app that allows you to control AR drone using voice</p>
<h3 class="no-browser-support">Sorry, Your Browser Doesn't Support the Web Speech API. Try Opening This Demo In Google Chrome.</h3>
<div class="app">
<h3>Give the command</h3>
<div class="input-single">
<textarea id="note-textarea" placeholder="Create a new note by typing or using voice recognition." rows="6"></textarea>
</div>
<button id="start-record-btn" title="Start Recording">Start Recognition</button>
<button id="pause-record-btn" title="Pause Recording">Pause Recognition</button>
<p id="recording-instructions">Press the <strong>Start Recognition</strong> button and allow access.</p>
</div>
</div>
<script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
<script src="script.js"></script>
</body>
</html>A tiež kód JavaScript na prácu s hlasovými príkazmi a ich odosielanie na server Node.
try {
var SpeechRecognition = window.SpeechRecognition || window.webkitSpeechRecognition;
var recognition = new SpeechRecognition();
}
catch(e) {
console.error(e);
$('.no-browser-support').show();
$('.app').hide();
}
// other code, please refer GitHub source
recognition.onresult = function(event) {
// event is a SpeechRecognitionEvent object.
// It holds all the lines we have captured so far.
// We only need the current one.
var current = event.resultIndex;
// Get a transcript of what was said.
var transcript = event.results[current][0].transcript;
// send it to the backend
$.ajax({
type: 'POST',
url: '/command/',
data: JSON.stringify({command: transcript}),
success: function(data) { console.log(data) },
contentType: "application/json",
dataType: 'json'
});
};Spustenie aplikácie
Program je možné spustiť nasledovne (je dôležité sa uistiť, že koptéra je pripojená k Wi-Fi a ethernetový kábel pripojený k počítaču).
Otvorte localhost:3000 v prehliadači a kliknite na tlačidlo Spustiť rozpoznávanie.
Snažíme sa ovládať dron a sme šťastní.
Vysielanie videa z dronu
V projekte vytvorte nový súbor a skopírujte tam tento kód:
const http = require("http");
const drone = require("dronestream");
const server = http.createServer(function(req, res) {
require("fs").createReadStream(__dirname + "/public/video.html").pipe(res);
});
drone.listen(server);
server.listen(4000);A tu je HTML kód, umiestnime ho do verejného priečinka.
<!doctype html>
<html>
<head>
<meta http-equiv="content-type" content="text/html; charset=utf-8">
<title>Stream as module</title>
<script src="/dronestream/nodecopter-client.js" type="text/javascript" charset="utf-8"></script>
</head>
<body>
<h1 id="heading">Drone video stream</h1>
<div id="droneStream" style="width: 640px; height: 360px"> </div>
<script type="text/javascript" charset="utf-8">
new NodecopterStream(document.getElementById("droneStream"));
</script>
</body>
</html>Spustite a pripojte sa k localhost:8080, aby ste mohli sledovať video z prednej kamery.
Užitočné tipy
- Lietajte s týmto dronom v interiéri.
- Pred vzlietnutím vždy nasaďte na dron ochranný kryt.
- Skontrolujte, či je batéria nabitá.
- Ak sa dron chová zvláštne, podržte ho a prevráťte. Táto akcia uvedie helikoptéru do núdzového režimu a rotory sa okamžite zastavia.
Pripravený kód a demo
Stalo!
Napísanie kódu a následné sledovanie, ako stroj začne poslúchať, vám prinesie potešenie! Teraz sme prišli na to, ako naučiť dron počúvať hlasové povely. V skutočnosti existuje oveľa viac možností: rozpoznávanie tváre používateľa, autonómne lety, rozpoznávanie gest a oveľa viac.
Čo môžete navrhnúť na zlepšenie programu?
Skillbox odporúča:
- Aplikovaný online kurz .
- Online kurz .
- Praktický ročníkový kurz .
Zdroj: hab.com