हम Node.js और ARdrone का उपयोग करके कॉप्टर का ध्वनि नियंत्रण प्रोग्राम करते हैं

इस ट्यूटोरियल में हम Node.js और वेब स्पीच एपीआई का उपयोग करके आवाज नियंत्रण वाले ड्रोन के लिए एक प्रोग्राम बनाने पर गौर करेंगे। कॉप्टर - तोता एआरड्रोन 2.0।

अनुस्मारक: "हैबर" के सभी पाठकों के लिए - "हैबर" प्रचार कोड का उपयोग करके किसी भी स्किलबॉक्स पाठ्यक्रम में नामांकन करते समय 10 रूबल की छूट।

स्किलबॉक्स अनुशंसा करता है: व्यावहारिक पाठ्यक्रम "मोबाइल डेवलपर प्रो".

परिचय

ड्रोन अद्भुत हैं. मुझे वास्तव में अपने क्वाड के साथ खेलना, फ़ोटो और वीडियो लेना या बस मौज-मस्ती करना अच्छा लगता है। लेकिन मानवरहित हवाई वाहनों (यूएवी) का उपयोग मनोरंजन से कहीं अधिक के लिए किया जाता है। वे सिनेमा में काम करते हैं, ग्लेशियरों का अध्ययन करते हैं, और सेना और कृषि क्षेत्र के प्रतिनिधियों द्वारा उपयोग किया जाता है।

इस ट्यूटोरियल में हम एक प्रोग्राम बनाने पर गौर करेंगे जो आपको ड्रोन को नियंत्रित करने की अनुमति देगा। वॉइस कमांड का उपयोग करना। हाँ, हैलीकाप्टर वही करेगा जो आप उसे करने को कहेंगे। लेख के अंत में यूएवी नियंत्रण का एक तैयार कार्यक्रम और वीडियो है।

लोहा

हमें निम्नलिखित की आवश्यकता है:

• तोता एआरड्रोन 2.0;
• ईथरनेट केबल;
• अच्छा माइक्रोफोन।

विकास और प्रबंधन विंडोज़/मैक/उबंटू के साथ वर्कस्टेशन पर किया जाएगा। व्यक्तिगत रूप से, मैंने Mac और Ubuntu 18.04 के साथ काम किया।

सॉफ़्टवेयर

Node.js का नवीनतम संस्करण यहां से डाउनलोड करें आधिकारिक साइट.

जरूरत भी है Google Chrome का नवीनतम संस्करण.

कॉप्टर को समझना

आइए समझने की कोशिश करें कि पैरट एआरड्रोन कैसे काम करता है। इस कॉप्टर में चार मोटरें हैं.

विपरीत मोटरें एक ही दिशा में कार्य करती हैं। एक जोड़ा दक्षिणावर्त घूमता है, दूसरा वामावर्त। ड्रोन पृथ्वी की सतह के सापेक्ष झुकाव के कोण को बदलकर, मोटरों के घूमने की गति और कई अन्य गतिशील गतिविधियों को बदलकर चलता है।

जैसा कि हम ऊपर दिए गए चित्र में देख सकते हैं, विभिन्न मापदंडों को बदलने से कॉप्टर की गति की दिशा में बदलाव होता है। उदाहरण के लिए, बाएँ और दाएँ रोटार की घूर्णन गति को कम या बढ़ाने से एक रोल बनता है। इससे ड्रोन आगे या पीछे उड़ सकता है।

मोटरों की गति और दिशा को बदलकर, हम झुकाव कोण निर्धारित करते हैं जो कॉप्टर को अन्य दिशाओं में जाने की अनुमति देता है। दरअसल, वर्तमान परियोजना के लिए वायुगतिकी का अध्ययन करने की आवश्यकता नहीं है, आपको बस बुनियादी सिद्धांतों को समझने की आवश्यकता है।

तोता एआरड्रोन कैसे काम करता है

ड्रोन एक वाई-फाई हॉटस्पॉट है। कॉप्टर को कमांड प्राप्त करने और भेजने के लिए, आपको इस बिंदु से कनेक्ट करना होगा। ऐसे कई अलग-अलग एप्लिकेशन हैं जो आपको क्वाडकॉप्टर को नियंत्रित करने की अनुमति देते हैं। यह सब कुछ इस तरह दिखता है:

जैसे ही ड्रोन कनेक्ट हो जाए, टर्मिनल और टेलनेट 192.168.1.1 खोलें - यह कॉप्टर का आईपी है। लिनक्स के लिए आप उपयोग कर सकते हैं लिनक्स बिजीबॉक्स.

अनुप्रयोग वास्तुकला

हमारा कोड निम्नलिखित मॉड्यूल में विभाजित होगा:

• आवाज का पता लगाने के लिए स्पीच एपीआई के साथ यूजर इंटरफेस;
• आदेशों को फ़िल्टर करना और मानक के साथ तुलना करना;
• ड्रोन को आदेश भेजना;
• लाइव वीडियो प्रसारण.

एपीआई तब तक काम करता है जब तक इंटरनेट कनेक्शन है। यह सुनिश्चित करने के लिए, हम एक ईथरनेट कनेक्शन जोड़ते हैं।

यह एक एप्लिकेशन बनाने का समय है!

कोड

सबसे पहले, आइए एक नया फ़ोल्डर बनाएं और टर्मिनल का उपयोग करके उस पर स्विच करें।

फिर हम नीचे दिए गए आदेशों का उपयोग करके एक नोड प्रोजेक्ट बनाते हैं।

सबसे पहले, हम आवश्यक निर्भरताएँ स्थापित करते हैं।

एनएमपी स्थापित करें 

हम निम्नलिखित आदेशों का समर्थन करेंगे:

• उड़ान भरना;
• उतरना;
• ऊपर - ड्रोन आधा मीटर ऊपर उठता है और मंडराता है;
• नीचे - आधा मीटर गिरता है और जम जाता है;
• बाईं ओर - बाईं ओर आधा मीटर जाता है;
• दाईं ओर - दाईं ओर आधा मीटर जाता है;
• घूर्णन - दक्षिणावर्त 90 डिग्री घूमता है;
• आगे - आधा मीटर आगे बढ़ता है;
• पीछे - आधा मीटर पीछे चला जाता है;
• रुकना।

यहां वह कोड है जो आपको कमांड स्वीकार करने, उन्हें फ़िल्टर करने और ड्रोन को नियंत्रित करने की अनुमति देता है।

const express = require('express');
const bodyparser = require('body-parser');
var arDrone = require('ar-drone');
const router = express.Router();
const app = express();
const commands = ['takeoff', 'land','up','down','goleft','goright','turn','goforward','gobackward','stop'];
 
var drone  = arDrone.createClient();
// disable emergency
drone.disableEmergency();
// express
app.use(bodyparser.json());
app.use(express.static(__dirname + '/public'));
 
router.get('/',(req,res) => {
    res.sendFile('index.html');
});
 
router.post('/command',(req,res) => {
    console.log('command recieved ', req.body);
    console.log('existing commands', commands);
    let command = req.body.command.replace(/ /g,'');
    if(commands.indexOf(command) !== -1) {
        switch(command.toUpperCase()) {
            case "TAKEOFF":
                console.log('taking off the drone');
                drone.takeoff();
            break;
            case "LAND":
                console.log('landing the drone');
                drone.land();
            break;
            case "UP":
                console.log('taking the drone up half meter');
                drone.up(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "DOWN":
                console.log('taking the drone down half meter');
                drone.down(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOLEFT":
                console.log('taking the drone left 1 meter');
                drone.left(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "GORIGHT":
                console.log('taking the drone right 1 meter');
                drone.right(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "TURN":
                console.log('turning the drone');
                drone.clockwise(0.4);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOFORWARD":
                console.log('moving the drone forward by 1 meter');
                drone.front(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOBACKWARD":
                console.log('moving the drone backward 1 meter');
                drone.back(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "STOP":
                drone.stop();
            break;
            default:
            break;    
        }
    }
    res.send('OK');
});
 
app.use('/',router);
 
app.listen(process.env.port || 3000);

और यहां HTML और JavaScript कोड है जो उपयोगकर्ता की बात सुनता है और नोड सर्वर को एक कमांड भेजता है।

<!DOCTYPE html>
    <head>
        <meta charset="utf-8">
        <meta http-equiv="X-UA-Compatible" content="IE=edge">
        <title>Voice Controlled Notes App</title>
        <meta name="description" content="">
        <meta name="viewport" content="width=device-width, initial-scale=1">
        <link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/shoelace-css/1.0.0-beta16/shoelace.css">
        <link rel="stylesheet" href="styles.css">
 
    </head>
    <body>
        <div class="container">
 
            <h1>Voice Controlled Drone</h1>
            <p class="page-description">A tiny app that allows you to control AR drone using voice</p>
 
            <h3 class="no-browser-support">Sorry, Your Browser Doesn't Support the Web Speech API. Try Opening This Demo In Google Chrome.</h3>
 
            <div class="app">
                <h3>Give the command</h3>
                <div class="input-single">
                    <textarea id="note-textarea" placeholder="Create a new note by typing or using voice recognition." rows="6"></textarea>
                </div>    
                <button id="start-record-btn" title="Start Recording">Start Recognition</button>
                <button id="pause-record-btn" title="Pause Recording">Pause Recognition</button>
                <p id="recording-instructions">Press the <strong>Start Recognition</strong> button and allow access.</p>
 
            </div>
 
        </div>
 
        <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
        <script src="script.js"></script>
 
    </body>
</html>

और वॉयस कमांड के साथ काम करने के लिए जावास्क्रिप्ट कोड भी, उन्हें नोड सर्वर पर भेजना।

try {
 var SpeechRecognition = window.SpeechRecognition || window.webkitSpeechRecognition;
 var recognition = new SpeechRecognition();
 }
 catch(e) {
 console.error(e);
 $('.no-browser-support').show();
 $('.app').hide();
 }
// other code, please refer GitHub source
recognition.onresult = function(event) {
// event is a SpeechRecognitionEvent object.
// It holds all the lines we have captured so far.
 // We only need the current one.
 var current = event.resultIndex;
// Get a transcript of what was said.
var transcript = event.results[current][0].transcript;
// send it to the backend
$.ajax({
 type: 'POST',
 url: '/command/',
 data: JSON.stringify({command: transcript}),
 success: function(data) { console.log(data) },
 contentType: "application/json",
 dataType: 'json'
 });
};

एप्लिकेशन लॉन्च करना

प्रोग्राम को निम्नानुसार लॉन्च किया जा सकता है (यह सुनिश्चित करना महत्वपूर्ण है कि कॉप्टर वाई-फाई से जुड़ा है और ईथरनेट केबल कंप्यूटर से जुड़ा है)।

ब्राउज़र में लोकलहोस्ट:3000 खोलें और स्टार्ट रिकॉग्निशन पर क्लिक करें।

हम ड्रोन को नियंत्रित करने की कोशिश करते हैं और खुश हैं।

ड्रोन से वीडियो प्रसारण

प्रोजेक्ट में, एक नई फ़ाइल बनाएं और इस कोड को वहां कॉपी करें:

const http = require("http");
const drone = require("dronestream");
 
const server = http.createServer(function(req, res) {
 
require("fs").createReadStream(__dirname + "/public/video.html").pipe(res);
 });
 
drone.listen(server);
 
server.listen(4000);

और यहां HTML कोड है, हम इसे सार्वजनिक फ़ोल्डर के अंदर रखते हैं।

<!doctype html>
 <html>
 <head>
 <meta http-equiv="content-type" content="text/html; charset=utf-8">
 <title>Stream as module</title>
 <script src="/dronestream/nodecopter-client.js" type="text/javascript" charset="utf-8"></script>
 </head>
 <body>
 <h1 id="heading">Drone video stream</h1>
 <div id="droneStream" style="width: 640px; height: 360px"> </div>
 
<script type="text/javascript" charset="utf-8">
 
new NodecopterStream(document.getElementById("droneStream"));
 
</script>
 
</body>
</html>

फ्रंट कैमरे से वीडियो देखने के लिए लॉन्च करें और लोकलहोस्ट:8080 से कनेक्ट करें।

उपयोगी सलाह

• इस ड्रोन को घर के अंदर उड़ाएं.
• उड़ान भरने से पहले हमेशा अपने ड्रोन पर सुरक्षा कवच लगाएं।
• जांचें कि बैटरी चार्ज है या नहीं।
• यदि ड्रोन अजीब व्यवहार करता है, तो उसे पकड़कर पलट दें। यह क्रिया कॉप्टर को आपातकालीन मोड में डाल देगी और रोटर तुरंत बंद हो जाएंगे।

तैयार कोड और डेमो

लाइव डेमो

डाउनलोड

यह निकला!

कोड लिखना और फिर मशीन को उसका पालन करते हुए देखना आपको खुशी देगा! अब हमने यह पता लगा लिया है कि ड्रोन को वॉयस कमांड सुनना कैसे सिखाया जाए। वास्तव में, बहुत अधिक संभावनाएँ हैं: उपयोगकर्ता के चेहरे की पहचान, स्वायत्त उड़ानें, हावभाव पहचान और भी बहुत कुछ।

कार्यक्रम को बेहतर बनाने के लिए आप क्या सुझाव दे सकते हैं?

स्किलबॉक्स अनुशंसा करता है:

• ऑनलाइन पाठ्यक्रम लागू किया "पायथन डेटा विश्लेषक".
• ऑनलाइन पाठ्यक्रम "प्रोफेशन फ्रंटएंड डेवलपर".
• व्यावहारिक वर्ष पाठ्यक्रम "PHP डेवलपर 0 से PRO तक".

स्रोत: www.habr.com