आम्ही Node.js आणि ARDrone वापरून कॉप्टरचे व्हॉइस कंट्रोल प्रोग्राम करतो

या ट्युटोरियलमध्ये आपण Node.js आणि वेब स्पीच API वापरून व्हॉईस कंट्रोलसह ड्रोनसाठी प्रोग्राम तयार करण्याकडे लक्ष देऊ. कॉप्टर - पोपट एआरड्रोन 2.0.

आम्ही आठवण करून देतो: सर्व Habr वाचकांसाठी - Habr प्रोमो कोड वापरून कोणत्याही स्किलबॉक्स कोर्समध्ये नावनोंदणी करताना 10 रूबल सवलत.

स्किलबॉक्स शिफारस करतो: प्रॅक्टिकल कोर्स "मोबाइल डेव्हलपर प्रो".

परिचय

ड्रोन आश्चर्यकारक आहेत. मला माझ्या क्वाडसोबत खेळण्यात, फोटो आणि व्हिडिओ काढण्यात किंवा फक्त मजा करायला आवडते. परंतु मानवरहित हवाई वाहने (UAV) फक्त मनोरंजनासाठी वापरली जातात. ते सिनेमात काम करतात, ग्लेशियर्सचा अभ्यास करतात आणि लष्करी आणि कृषी क्षेत्राचे प्रतिनिधी वापरतात.

या ट्युटोरियलमध्ये आपण ड्रोन नियंत्रित करण्यास अनुमती देणारा प्रोग्राम तयार करण्यावर विचार करू. व्हॉइस कमांड वापरणे. होय, हेलिकॉप्टर तुम्ही सांगाल तेच करेल. लेखाच्या शेवटी यूएव्ही नियंत्रणाचा एक तयार प्रोग्राम आणि व्हिडिओ आहे.

लोखंड

आम्हाला पुढील गोष्टींची आवश्यकता आहे:

• पोपट एआरड्रोन 2.0;
• इथरनेट केबल;
• चांगला मायक्रोफोन.

Windows/Mac/Ubuntu सह वर्कस्टेशन्सवर विकास आणि व्यवस्थापन केले जाईल. वैयक्तिकरित्या, मी Mac आणि Ubuntu 18.04 सह काम केले.

सॉफ्टवेअर

येथून Node.js ची नवीनतम आवृत्ती डाउनलोड करा अधिकृत साइट.

तसेच आवश्यक आहे Google Chrome ची नवीनतम आवृत्ती.

हेलिकॉप्टर समजून घेणे

पोपट एआरड्रोन कसे कार्य करते हे समजून घेण्याचा प्रयत्न करूया. या कॉप्टरमध्ये चार मोटर्स आहेत.

विरोधी मोटर्स त्याच दिशेने कार्य करतात. एक जोडी घड्याळाच्या दिशेने फिरते, दुसरी घड्याळाच्या उलट दिशेने. ड्रोन पृथ्वीच्या पृष्ठभागाच्या सापेक्ष झुकाव कोन बदलून, मोटर्सच्या रोटेशनचा वेग बदलून आणि इतर अनेक कुशल हालचालींद्वारे हलतो.

जसे आपण वरील आकृतीमध्ये पाहू शकतो, विविध पॅरामीटर्स बदलल्याने हेलिकॉप्टरच्या हालचालीच्या दिशेने बदल होतो. उदाहरणार्थ, डाव्या आणि उजव्या रोटर्सच्या रोटेशनची गती कमी करणे किंवा वाढविणे एक रोल तयार करते. यामुळे ड्रोनला पुढे किंवा मागे उडता येते.

मोटर्सचा वेग आणि दिशा बदलून, आम्ही झुकाव कोन सेट करतो जे कॉप्टरला इतर दिशानिर्देशांमध्ये हलवण्याची परवानगी देतात. वास्तविक, सध्याच्या प्रकल्पासाठी एरोडायनॅमिक्सचा अभ्यास करण्याची गरज नाही, तुम्हाला फक्त मूलभूत तत्त्वे समजून घेणे आवश्यक आहे.

पोपट एआरड्रोन कसे कार्य करते

ड्रोन हे वाय-फाय हॉटस्पॉट आहे. कॉप्टरला आदेश प्राप्त करण्यासाठी आणि पाठविण्यासाठी, तुम्हाला या बिंदूशी कनेक्ट करणे आवश्यक आहे. असे बरेच भिन्न अनुप्रयोग आहेत जे आपल्याला क्वाडकॉप्टर्स नियंत्रित करण्यास अनुमती देतात. हे सर्व असे काहीतरी दिसते:

ड्रोन कनेक्ट होताच, टर्मिनल उघडा आणि टेलनेट 192.168.1.1 - हा कॉप्टरचा आयपी आहे. लिनक्ससाठी तुम्ही वापरू शकता लिनक्स बिझीबॉक्स.

अनुप्रयोग आर्किटेक्चर

आमचा कोड खालील मॉड्यूल्समध्ये विभागला जाईल:

• आवाज शोधण्यासाठी स्पीच API सह वापरकर्ता इंटरफेस;
• आदेश फिल्टर करणे आणि मानकांशी तुलना करणे;
• ड्रोनला आदेश पाठवणे;
• थेट व्हिडिओ प्रसारण.

जोपर्यंत इंटरनेट कनेक्शन आहे तोपर्यंत API कार्य करते. हे सुनिश्चित करण्यासाठी, आम्ही इथरनेट कनेक्शन जोडतो.

अनुप्रयोग तयार करण्याची वेळ आली आहे!

कोड

प्रथम, एक नवीन फोल्डर तयार करू आणि टर्मिनल वापरून त्यावर स्विच करू.

त्यानंतर खालील कमांड्स वापरून नोड प्रोजेक्ट तयार करू.

प्रथम, आम्ही आवश्यक अवलंबन स्थापित करतो.

एनपीएम स्थापित 

आम्ही खालील आज्ञांचे समर्थन करू:

• टेकऑफ;
• उतरणे;
• वर - ड्रोन अर्धा मीटर उगवतो आणि घिरट्या घालतो;
• खाली - अर्धा मीटर पडतो आणि गोठतो;
• डावीकडे - डावीकडे अर्धा मीटर जातो;
• उजवीकडे - अर्धा मीटर उजवीकडे जाते;
• रोटेशन - घड्याळाच्या दिशेने 90 अंश फिरते;
• पुढे - अर्धा मीटर पुढे जातो;
• मागे - अर्धा मीटर मागे जातो;
• थांबा

येथे एक कोड आहे जो तुम्हाला आदेश स्वीकारण्यास, त्यांना फिल्टर करण्यास आणि ड्रोन नियंत्रित करण्यास अनुमती देतो.

const express = require('express');
const bodyparser = require('body-parser');
var arDrone = require('ar-drone');
const router = express.Router();
const app = express();
const commands = ['takeoff', 'land','up','down','goleft','goright','turn','goforward','gobackward','stop'];
 
var drone  = arDrone.createClient();
// disable emergency
drone.disableEmergency();
// express
app.use(bodyparser.json());
app.use(express.static(__dirname + '/public'));
 
router.get('/',(req,res) => {
    res.sendFile('index.html');
});
 
router.post('/command',(req,res) => {
    console.log('command recieved ', req.body);
    console.log('existing commands', commands);
    let command = req.body.command.replace(/ /g,'');
    if(commands.indexOf(command) !== -1) {
        switch(command.toUpperCase()) {
            case "TAKEOFF":
                console.log('taking off the drone');
                drone.takeoff();
            break;
            case "LAND":
                console.log('landing the drone');
                drone.land();
            break;
            case "UP":
                console.log('taking the drone up half meter');
                drone.up(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "DOWN":
                console.log('taking the drone down half meter');
                drone.down(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOLEFT":
                console.log('taking the drone left 1 meter');
                drone.left(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "GORIGHT":
                console.log('taking the drone right 1 meter');
                drone.right(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "TURN":
                console.log('turning the drone');
                drone.clockwise(0.4);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOFORWARD":
                console.log('moving the drone forward by 1 meter');
                drone.front(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOBACKWARD":
                console.log('moving the drone backward 1 meter');
                drone.back(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "STOP":
                drone.stop();
            break;
            default:
            break;    
        }
    }
    res.send('OK');
});
 
app.use('/',router);
 
app.listen(process.env.port || 3000);

आणि येथे HTML आणि JavaScript कोड आहे जो वापरकर्त्याचे ऐकतो आणि नोड सर्व्हरला कमांड पाठवतो.

<!DOCTYPE html>
    <head>
        <meta charset="utf-8">
        <meta http-equiv="X-UA-Compatible" content="IE=edge">
        <title>Voice Controlled Notes App</title>
        <meta name="description" content="">
        <meta name="viewport" content="width=device-width, initial-scale=1">
        <link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/shoelace-css/1.0.0-beta16/shoelace.css">
        <link rel="stylesheet" href="styles.css">
 
    </head>
    <body>
        <div class="container">
 
            <h1>Voice Controlled Drone</h1>
            <p class="page-description">A tiny app that allows you to control AR drone using voice</p>
 
            <h3 class="no-browser-support">Sorry, Your Browser Doesn't Support the Web Speech API. Try Opening This Demo In Google Chrome.</h3>
 
            <div class="app">
                <h3>Give the command</h3>
                <div class="input-single">
                    <textarea id="note-textarea" placeholder="Create a new note by typing or using voice recognition." rows="6"></textarea>
                </div>    
                <button id="start-record-btn" title="Start Recording">Start Recognition</button>
                <button id="pause-record-btn" title="Pause Recording">Pause Recognition</button>
                <p id="recording-instructions">Press the <strong>Start Recognition</strong> button and allow access.</p>
 
            </div>
 
        </div>
 
        <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
        <script src="script.js"></script>
 
    </body>
</html>

आणि व्हॉइस कमांडसह कार्य करण्यासाठी JavaScript कोड, त्यांना नोड सर्व्हरवर पाठवणे.

try {
 var SpeechRecognition = window.SpeechRecognition || window.webkitSpeechRecognition;
 var recognition = new SpeechRecognition();
 }
 catch(e) {
 console.error(e);
 $('.no-browser-support').show();
 $('.app').hide();
 }
// other code, please refer GitHub source
recognition.onresult = function(event) {
// event is a SpeechRecognitionEvent object.
// It holds all the lines we have captured so far.
 // We only need the current one.
 var current = event.resultIndex;
// Get a transcript of what was said.
var transcript = event.results[current][0].transcript;
// send it to the backend
$.ajax({
 type: 'POST',
 url: '/command/',
 data: JSON.stringify({command: transcript}),
 success: function(data) { console.log(data) },
 contentType: "application/json",
 dataType: 'json'
 });
};

ऍप्लिकेशन लाँच करत आहे

प्रोग्राम खालीलप्रमाणे लॉन्च केला जाऊ शकतो (कॉप्टर वाय-फायशी कनेक्ट केलेले आहे आणि इथरनेट केबल संगणकाशी जोडलेले आहे याची खात्री करणे महत्वाचे आहे).

ब्राउझरमध्ये लोकलहोस्ट:3000 उघडा आणि स्टार्ट रेकग्निशन क्लिक करा.

आम्ही ड्रोन नियंत्रित करण्याचा प्रयत्न करतो आणि आनंदी आहोत.

ड्रोनवरून व्हिडिओ प्रसारित करणे

प्रकल्पामध्ये, एक नवीन फाइल तयार करा आणि हा कोड तेथे कॉपी करा:

const http = require("http");
const drone = require("dronestream");
 
const server = http.createServer(function(req, res) {
 
require("fs").createReadStream(__dirname + "/public/video.html").pipe(res);
 });
 
drone.listen(server);
 
server.listen(4000);

आणि हा HTML कोड आहे, आम्ही तो सार्वजनिक फोल्डरमध्ये ठेवतो.

<!doctype html>
 <html>
 <head>
 <meta http-equiv="content-type" content="text/html; charset=utf-8">
 <title>Stream as module</title>
 <script src="/dronestream/nodecopter-client.js" type="text/javascript" charset="utf-8"></script>
 </head>
 <body>
 <h1 id="heading">Drone video stream</h1>
 <div id="droneStream" style="width: 640px; height: 360px"> </div>
 
<script type="text/javascript" charset="utf-8">
 
new NodecopterStream(document.getElementById("droneStream"));
 
</script>
 
</body>
</html>

समोरच्या कॅमेऱ्यातून व्हिडिओ पाहण्यासाठी लोकलहोस्ट:8080 लाँच करा आणि कनेक्ट करा.

उपयुक्त टिपा

• हे ड्रोन घरामध्ये उडवा.
• उड्डाण करण्यापूर्वी तुमच्या ड्रोनवर नेहमी संरक्षक कव्हर ठेवा.
• बॅटरी चार्ज झाली आहे का ते तपासा.
• जर ड्रोन विचित्रपणे वागला तर ते दाबून ठेवा आणि उलट करा. या कृतीमुळे हेलिकॉप्टर आपत्कालीन मोडमध्ये येईल आणि रोटर्स ताबडतोब थांबतील.

तयार कोड आणि डेमो

थेट डेमो

डाऊनलोड

झाले!

कोड लिहिणे आणि नंतर मशीनचे पालन करण्यास सुरवात करणे हे पाहणे आपल्याला आनंद देईल! आता आम्ही ड्रोनला व्हॉईस कमांड्स ऐकण्यासाठी कसे शिकवायचे ते शोधून काढले आहे. खरं तर, बरेच काही आहेत: वापरकर्ता चेहर्यावरील ओळख, स्वायत्त फ्लाइट, जेश्चर ओळख आणि बरेच काही.

कार्यक्रम सुधारण्यासाठी तुम्ही काय सुचवू शकता?

स्किलबॉक्स शिफारस करतो:

• ऑनलाईन कोर्स लागू केला "पायथन डेटा विश्लेषक".
• ऑनलाईन कोर्स "प्रोफेशन फ्रंटएंड डेव्हलपर".
• एक वर्षाचा प्रॅक्टिकल कोर्स "PHP विकसक 0 ते PRO".

स्त्रोत: www.habr.com