🥇אנו מתכנתים שליטה קולית של המסוק באמצעות Node.js ו-ARDrone

במדריך זה נבחן יצירת תוכנית לרחפן עם שליטה קולית באמצעות Node.js ו-Web speech API. Copter - Parrot ARDrone 2.0.

אנו מזכירים: לכל קוראי Habr - הנחה של 10 רובל בעת הרשמה לכל קורס Skillbox באמצעות קוד ההטבה של Habr.

Skillbox ממליצה: קורס מעשי "Mobile Developer PRO".

מבוא

מזל"טים הם מדהימים. אני מאוד נהנה לשחק עם ה-quad שלי, לצלם תמונות וסרטונים, או סתם ליהנות. אבל כלי טיס בלתי מאוישים (מל"טים) משמשים ליותר מסתם בידור. הם עובדים בקולנוע, לומדים קרחונים, ומשמשים את הצבא ונציגי המגזר החקלאי.

במדריך זה נבחן יצירת תוכנית שתאפשר לך לשלוט ברחפן. באמצעות פקודות קוליות. כן, המסוק יעשה מה שאתה אומר לו לעשות. בסוף המאמר יש תוכנית מוכנה ווידאו של בקרת מל"טים.

ברזל

אנחנו צריכים את הדברים הבאים:

Parrot ARDrone 2.0;
כבל Ethernet;
מיקרופון טוב.

הפיתוח והניהול יתבצעו בתחנות עבודה עם Windows/Mac/Ubuntu. באופן אישי, עבדתי עם Mac ו-Ubuntu 18.04.

תוכנה

הורד את הגרסה העדכנית ביותר של Node.js מ אתר רשמי.

גם צריך הגרסה האחרונה של Google Chrome.

הבנת המסוק

בואו ננסה להבין איך Parrot ARDrone עובד. המסוק הזה כולל ארבעה מנועים.

מנועים מנוגדים פועלים באותו כיוון. זוג אחד מסתובב בכיוון השעון, השני נגד כיוון השעון. הרחפן נע על ידי שינוי זווית הנטייה ביחס לפני השטח של כדור הארץ, שינוי מהירות הסיבוב של המנועים ועוד מספר תנועות ניתנות לתמרון.

כפי שאנו יכולים לראות בתרשים למעלה, שינוי פרמטרים שונים מוביל לשינוי בכיוון התנועה של המסוק. לדוגמה, הקטנה או הגדלת מהירות הסיבוב של הרוטורים השמאלי והימני יוצרת גלגול. זה מאפשר לרחפן לעוף קדימה או אחורה.

על ידי שינוי המהירות והכיוון של המנועים, אנו קובעים זוויות הטיה המאפשרות למסוק לנוע בכיוונים אחרים. למעשה, עבור הפרויקט הנוכחי אין צורך ללמוד אווירודינמיקה, אתה רק צריך להבין את העקרונות הבסיסיים.

כיצד פועל Parrot ARDrone

הרחפן הוא נקודה חמה של Wi-Fi. על מנת לקבל ולשלוח פקודות למסוק, עליך להתחבר לנקודה זו. ישנם יישומים רבים ושונים המאפשרים לך לשלוט quadcopters. הכל נראה בערך כך:

ברגע שהרחפן מחובר, פתח את הטרמינל ואת telnet 192.168.1.1 - זה ה-IP של המסוק. עבור לינוקס אתה יכול להשתמש Linux Busybox.

ארכיטקטורת יישומים

הקוד שלנו יחולק למודולים הבאים:

ממשק משתמש עם API לדיבור לזיהוי קול;
סינון פקודות והשוואה לתקן;
שליחת פקודות לרחפן;
שידור וידאו חי.

ה-API עובד כל עוד יש חיבור לאינטרנט. כדי להבטיח זאת, אנו מוסיפים חיבור Ethernet.

זה הזמן ליצור אפליקציה!

קוד

ראשית, בואו ניצור תיקיה חדשה ונעבור אליה באמצעות הטרמינל.

לאחר מכן אנו יוצרים פרויקט Node באמצעות הפקודות למטה.

ראשית, אנו מתקינים את התלות הנדרשת.

התקנת npm

אנו נתמוך בפקודות הבאות:

להמריא;
נְחִיתָה;
למעלה - המל"ט עולה חצי מטר ומרחף;
למטה - נופל חצי מטר וקופא;
שמאלה - הולך חצי מטר שמאלה;
ימינה - הולך חצי מטר ימינה;
סיבוב - מסתובב בכיוון השעון 90 מעלות;
קדימה - הולך קדימה חצי מטר;
חזרה - חוזר חצי מטר אחורה;
עצור

הנה הקוד שמאפשר לקבל פקודות, לסנן אותן ולשלוט ברחפן.

const express = require('express');
const bodyparser = require('body-parser');
var arDrone = require('ar-drone');
const router = express.Router();
const app = express();
const commands = ['takeoff', 'land','up','down','goleft','goright','turn','goforward','gobackward','stop'];
 
var drone  = arDrone.createClient();
// disable emergency
drone.disableEmergency();
// express
app.use(bodyparser.json());
app.use(express.static(__dirname + '/public'));
 
router.get('/',(req,res) => {
    res.sendFile('index.html');
});
 
router.post('/command',(req,res) => {
    console.log('command recieved ', req.body);
    console.log('existing commands', commands);
    let command = req.body.command.replace(/ /g,'');
    if(commands.indexOf(command) !== -1) {
        switch(command.toUpperCase()) {
            case "TAKEOFF":
                console.log('taking off the drone');
                drone.takeoff();
            break;
            case "LAND":
                console.log('landing the drone');
                drone.land();
            break;
            case "UP":
                console.log('taking the drone up half meter');
                drone.up(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "DOWN":
                console.log('taking the drone down half meter');
                drone.down(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOLEFT":
                console.log('taking the drone left 1 meter');
                drone.left(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "GORIGHT":
                console.log('taking the drone right 1 meter');
                drone.right(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "TURN":
                console.log('turning the drone');
                drone.clockwise(0.4);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOFORWARD":
                console.log('moving the drone forward by 1 meter');
                drone.front(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOBACKWARD":
                console.log('moving the drone backward 1 meter');
                drone.back(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "STOP":
                drone.stop();
            break;
            default:
            break;    
        }
    }
    res.send('OK');
});
 
app.use('/',router);
 
app.listen(process.env.port || 3000);

והנה קוד ה-HTML וה-JavaScript שמאזין למשתמש ושולח פקודה לשרת ה-Node.

<!DOCTYPE html>
    <head>
        <meta charset="utf-8">
        <meta http-equiv="X-UA-Compatible" content="IE=edge">
        <title>Voice Controlled Notes App</title>
        <meta name="description" content="">
        <meta name="viewport" content="width=device-width, initial-scale=1">
        <link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/shoelace-css/1.0.0-beta16/shoelace.css">
        <link rel="stylesheet" href="styles.css">
 
    </head>
    <body>
        <div class="container">
 
            <h1>Voice Controlled Drone</h1>
            <p class="page-description">A tiny app that allows you to control AR drone using voice</p>
 
            <h3 class="no-browser-support">Sorry, Your Browser Doesn't Support the Web Speech API. Try Opening This Demo In Google Chrome.</h3>
 
            <div class="app">
                <h3>Give the command</h3>
                <div class="input-single">
                    <textarea id="note-textarea" placeholder="Create a new note by typing or using voice recognition." rows="6"></textarea>
                </div>    
                <button id="start-record-btn" title="Start Recording">Start Recognition</button>
                <button id="pause-record-btn" title="Pause Recording">Pause Recognition</button>
                <p id="recording-instructions">Press the <strong>Start Recognition</strong> button and allow access.</p>
 
            </div>
 
        </div>
 
        <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
        <script src="script.js"></script>
 
    </body>
</html>

וגם קוד JavaScript לעבודה עם פקודות קוליות, שליחתן לשרת ה-Node.

try {
 var SpeechRecognition = window.SpeechRecognition || window.webkitSpeechRecognition;
 var recognition = new SpeechRecognition();
 }
 catch(e) {
 console.error(e);
 $('.no-browser-support').show();
 $('.app').hide();
 }
// other code, please refer GitHub source
recognition.onresult = function(event) {
// event is a SpeechRecognitionEvent object.
// It holds all the lines we have captured so far.
 // We only need the current one.
 var current = event.resultIndex;
// Get a transcript of what was said.
var transcript = event.results[current][0].transcript;
// send it to the backend
$.ajax({
 type: 'POST',
 url: '/command/',
 data: JSON.stringify({command: transcript}),
 success: function(data) { console.log(data) },
 contentType: "application/json",
 dataType: 'json'
 });
};

הפעלת האפליקציה

ניתן להפעיל את התוכנית באופן הבא (חשוב לוודא שהמסוק מחובר ל-Wi-Fi וכבל ה-Ethernet מחובר למחשב).

פתח את localhost:3000 בדפדפן ולחץ על התחל זיהוי.

אנחנו מנסים לשלוט ברחפן ושמחים.

שידור וידאו מרחפן

בפרויקט, צור קובץ חדש והעתק את הקוד הזה לשם:

const http = require("http");
const drone = require("dronestream");
 
const server = http.createServer(function(req, res) {
 
require("fs").createReadStream(__dirname + "/public/video.html").pipe(res);
 });
 
drone.listen(server);
 
server.listen(4000);

והנה קוד ה-HTML, אנו מניחים אותו בתוך התיקיה הציבורית.

<!doctype html>
 <html>
 <head>
 <meta http-equiv="content-type" content="text/html; charset=utf-8">
 <title>Stream as module</title>
 <script src="/dronestream/nodecopter-client.js" type="text/javascript" charset="utf-8"></script>
 </head>
 <body>
 <h1 id="heading">Drone video stream</h1>
 <div id="droneStream" style="width: 640px; height: 360px"> </div>
 
<script type="text/javascript" charset="utf-8">
 
new NodecopterStream(document.getElementById("droneStream"));
 
</script>
 
</body>
</html>

הפעל והתחבר ל-localhost:8080 כדי לצפות בווידאו מהמצלמה הקדמית.

טיפים שימושיים

תעוף את המל"ט הזה בתוך הבית.
הנח תמיד את כיסוי המגן על המל"ט שלך לפני ההמראה.
בדוק אם הסוללה טעונה.
אם המל"ט מתנהג בצורה מוזרה, החזק אותו למטה והפך אותו. פעולה זו תכניס את המסוק למצב חירום והרוטורים יעצרו מיד.

קוד מוכן והדגמה

דמו ישיר

DOWNLOAD

קרה!

כתיבת קוד ואז צפייה במכונה מתחילה לציית יגרמו לך הנאה! עכשיו הבנו איך ללמד מזל"ט להקשיב לפקודות קוליות. למעשה, יש הרבה יותר אפשרויות: זיהוי פנים למשתמש, טיסות אוטונומיות, זיהוי מחוות ועוד ועוד.

מה אתה יכול להציע לשיפור התוכנית?

Skillbox ממליצה:

קורס מקוון יישומי "Python Data Analyst".

קורס מקוון "מפתח חזיתי מקצועי".

קורס מעשי בן שנה "מפתח PHP מ-0 ל-PRO".

מקור: www.habr.com

אנו מתכנתים שליטה קולית של המסוק באמצעות Node.js ו-ARDrone