Node.js, ARDrone എന്നിവ ഉപയോഗിച്ച് ഞങ്ങൾ കോപ്റ്ററിന്റെ ശബ്ദ നിയന്ത്രണം പ്രോഗ്രാം ചെയ്യുന്നു

ഈ ട്യൂട്ടോറിയലിൽ Node.js ഉം വെബ് സ്പീച്ച് API ഉം ഉപയോഗിച്ച് വോയിസ് കൺട്രോൾ ഉള്ള ഒരു ഡ്രോൺ ഒരു പ്രോഗ്രാം സൃഷ്ടിക്കുന്നത് ഞങ്ങൾ നോക്കും. കോപ്റ്റർ - Parrot ARDrone 2.0.

ഞങ്ങൾ ഓർമ്മിപ്പിക്കുന്നു: "Habr"-ന്റെ എല്ലാ വായനക്കാർക്കും - "Habr" പ്രൊമോഷണൽ കോഡ് ഉപയോഗിച്ച് ഏതെങ്കിലും സ്കിൽബോക്സ് കോഴ്സിൽ ചേരുമ്പോൾ 10 റൂബിൾസ് കിഴിവ്.

സ്കിൽബോക്സ് ശുപാർശ ചെയ്യുന്നു: പ്രായോഗിക കോഴ്സ് "മൊബൈൽ ഡെവലപ്പർ PRO".

ആമുഖം

ഡ്രോണുകൾ അതിശയകരമാണ്. എന്റെ ക്വാഡിനൊപ്പം കളിക്കുന്നതും ഫോട്ടോകളും വീഡിയോകളും എടുക്കുന്നതും അല്ലെങ്കിൽ ആസ്വദിക്കുന്നതും ഞാൻ ശരിക്കും ആസ്വദിക്കുന്നു. എന്നാൽ ആളില്ലാ വിമാനങ്ങൾ (UAV) വിനോദത്തിനേക്കാളേറെ ഉപയോഗിക്കുന്നു. അവർ സിനിമയിൽ പ്രവർത്തിക്കുന്നു, ഹിമാനികൾ പഠിക്കുന്നു, സൈന്യവും കാർഷിക മേഖലയുടെ പ്രതിനിധികളും ഉപയോഗിക്കുന്നു.

ഈ ട്യൂട്ടോറിയലിൽ ഒരു ഡ്രോൺ നിയന്ത്രിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്ന ഒരു പ്രോഗ്രാം സൃഷ്ടിക്കുന്നത് ഞങ്ങൾ നോക്കും. വോയ്സ് കമാൻഡുകൾ ഉപയോഗിച്ച്. അതെ, നിങ്ങൾ ചെയ്യാൻ പറയുന്നതുപോലെ കോപ്റ്റർ ചെയ്യും. ലേഖനത്തിന്റെ അവസാനം UAV നിയന്ത്രണത്തിന്റെ ഒരു റെഡിമെയ്ഡ് പ്രോഗ്രാമും വീഡിയോയും ഉണ്ട്.

അയൺ

ഞങ്ങൾക്ക് ഇനിപ്പറയുന്നവ ആവശ്യമാണ്:

• പാരറ്റ് ARDrone 2.0;
• ഇഥർനെറ്റ് കേബിൾ;
• നല്ല മൈക്രോഫോൺ.

Windows/Mac/Ubuntu ഉള്ള വർക്ക്സ്റ്റേഷനുകളിൽ വികസനവും മാനേജ്മെന്റും നടപ്പിലാക്കും. വ്യക്തിപരമായി, ഞാൻ Mac, Ubuntu 18.04 എന്നിവയിൽ പ്രവർത്തിച്ചു.

സോഫ്റ്റ്വെയർ

Node.js-ന്റെ ഏറ്റവും പുതിയ പതിപ്പ് ഡൗൺലോഡ് ചെയ്യുക ഔദ്യോഗിക സൈറ്റ്.

കൂടാതെ ആവശ്യമാണ് Google Chrome-ന്റെ ഏറ്റവും പുതിയ പതിപ്പ്.

കോപ്റ്ററിനെ മനസ്സിലാക്കുന്നു

Parrot ARDrone എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് മനസിലാക്കാൻ ശ്രമിക്കാം. ഈ കോപ്റ്ററിന് നാല് മോട്ടോറുകളുണ്ട്.

എതിർക്കുന്ന മോട്ടോറുകൾ ഒരേ ദിശയിൽ പ്രവർത്തിക്കുന്നു. ഒരു ജോഡി ഘടികാരദിശയിലും മറ്റൊന്ന് എതിർ ഘടികാരദിശയിലും കറങ്ങുന്നു. ഭൂമിയുടെ ഉപരിതലവുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ ചെരിവിന്റെ കോണിൽ മാറ്റം വരുത്തി, മോട്ടോറുകളുടെ ഭ്രമണ വേഗതയും മറ്റ് നിരവധി കൃത്രിമ ചലനങ്ങളും മാറ്റിക്കൊണ്ട് ഡ്രോൺ നീങ്ങുന്നു.

മുകളിലുള്ള ഡയഗ്രാമിൽ നമുക്ക് കാണാൻ കഴിയുന്നതുപോലെ, വിവിധ പാരാമീറ്ററുകൾ മാറ്റുന്നത് കോപ്റ്ററിന്റെ ചലനത്തിന്റെ ദിശയിൽ ഒരു മാറ്റത്തിലേക്ക് നയിക്കുന്നു. ഉദാഹരണത്തിന്, ഇടത്, വലത് റോട്ടറുകളുടെ ഭ്രമണ വേഗത കുറയ്ക്കുകയോ വർദ്ധിപ്പിക്കുകയോ ചെയ്യുന്നത് ഒരു റോൾ സൃഷ്ടിക്കുന്നു. ഇത് ഡ്രോണിനെ മുന്നോട്ട് അല്ലെങ്കിൽ പിന്നിലേക്ക് പറക്കാൻ അനുവദിക്കുന്നു.

മോട്ടോറുകളുടെ വേഗതയും ദിശയും മാറ്റുന്നതിലൂടെ, കോപ്റ്ററിനെ മറ്റ് ദിശകളിലേക്ക് നീക്കാൻ അനുവദിക്കുന്ന ടിൽറ്റ് കോണുകൾ ഞങ്ങൾ സജ്ജമാക്കുന്നു. യഥാർത്ഥത്തിൽ, നിലവിലെ പ്രോജക്റ്റിനായി എയറോഡൈനാമിക്സ് പഠിക്കേണ്ട ആവശ്യമില്ല, നിങ്ങൾ അടിസ്ഥാന തത്വങ്ങൾ മനസ്സിലാക്കേണ്ടതുണ്ട്.

Parrot ARDrone എങ്ങനെ പ്രവർത്തിക്കുന്നു

ഒരു വൈഫൈ ഹോട്ട്‌സ്‌പോട്ട് ആണ് ഡ്രോൺ. കോപ്റ്ററിലേക്ക് കമാൻഡുകൾ സ്വീകരിക്കുന്നതിനും അയയ്ക്കുന്നതിനും, നിങ്ങൾ ഈ പോയിന്റിലേക്ക് കണക്റ്റുചെയ്യേണ്ടതുണ്ട്. ക്വാഡ്‌കോപ്റ്ററുകൾ നിയന്ത്രിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്ന നിരവധി ആപ്ലിക്കേഷനുകൾ ഉണ്ട്. എല്ലാം ഇതുപോലെ കാണപ്പെടുന്നു:

ഡ്രോൺ കണക്‌റ്റ് ചെയ്‌തയുടൻ, ടെർമിനലും ടെൽനെറ്റും തുറക്കുക 192.168.1.1 - ഇതാണ് കോപ്റ്ററിന്റെ ഐപി. ലിനക്സിനായി നിങ്ങൾക്ക് ഉപയോഗിക്കാം Linux Busybox.

ആപ്ലിക്കേഷൻ ആർക്കിടെക്ചർ

ഞങ്ങളുടെ കോഡ് ഇനിപ്പറയുന്ന മൊഡ്യൂളുകളായി വിഭജിക്കപ്പെടും:

• വോയിസ് ഡിറ്റക്ഷനുള്ള സ്പീച്ച് API ഉള്ള ഉപയോക്തൃ ഇന്റർഫേസ്;
• കമാൻഡുകൾ ഫിൽട്ടർ ചെയ്യുകയും ഒരു സ്റ്റാൻഡേർഡുമായി താരതമ്യം ചെയ്യുകയും ചെയ്യുക;
• ഡ്രോണിലേക്ക് കമാൻഡുകൾ അയയ്ക്കുന്നു;
• തത്സമയ വീഡിയോ പ്രക്ഷേപണം.

ഇന്റർനെറ്റ് കണക്ഷൻ ഉള്ളിടത്തോളം API പ്രവർത്തിക്കുന്നു. ഇത് ഉറപ്പാക്കാൻ, ഞങ്ങൾ ഒരു ഇഥർനെറ്റ് കണക്ഷൻ ചേർക്കുന്നു.

ഒരു ആപ്ലിക്കേഷൻ സൃഷ്ടിക്കാനുള്ള സമയമാണിത്!

കോഡ്

ആദ്യം, നമുക്ക് ഒരു പുതിയ ഫോൾഡർ സൃഷ്ടിച്ച് ടെർമിനൽ ഉപയോഗിച്ച് അതിലേക്ക് മാറാം.

തുടർന്ന് താഴെയുള്ള കമാൻഡുകൾ ഉപയോഗിച്ച് ഞങ്ങൾ ഒരു നോഡ് പ്രോജക്റ്റ് സൃഷ്ടിക്കുന്നു.

ആദ്യം, ആവശ്യമായ ഡിപൻഡൻസികൾ ഞങ്ങൾ ഇൻസ്റ്റാൾ ചെയ്യുന്നു.

npm ഇൻസ്റ്റാളുചെയ്യുക 

ഇനിപ്പറയുന്ന കമാൻഡുകൾ ഞങ്ങൾ പിന്തുണയ്ക്കും:

• ഏറ്റെടുക്കുക;
• ലാൻഡിംഗ്;
• മുകളിലേക്ക് - ഡ്രോൺ അര മീറ്ററോളം ഉയർന്ന് പൊങ്ങിക്കിടക്കുന്നു;
• താഴേക്ക് - അര മീറ്റർ വീഴുകയും മരവിപ്പിക്കുകയും ചെയ്യുന്നു;
• ഇടത്തേക്ക് - അര മീറ്റർ ഇടത്തേക്ക് പോകുന്നു;
• വലത്തേക്ക് - അര മീറ്റർ വലത്തേക്ക് പോകുന്നു;
• ഭ്രമണം - ഘടികാരദിശയിൽ 90 ഡിഗ്രി കറങ്ങുന്നു;
• മുന്നോട്ട് - അര മീറ്റർ മുന്നോട്ട് പോകുന്നു;
• തിരികെ - അര മീറ്റർ പിന്നിലേക്ക് പോകുന്നു;
• നിർത്തുക.

കമാൻഡുകൾ സ്വീകരിക്കാനും അവ ഫിൽട്ടർ ചെയ്യാനും ഡ്രോൺ നിയന്ത്രിക്കാനും നിങ്ങളെ അനുവദിക്കുന്ന കോഡ് ഇതാ.

const express = require('express');
const bodyparser = require('body-parser');
var arDrone = require('ar-drone');
const router = express.Router();
const app = express();
const commands = ['takeoff', 'land','up','down','goleft','goright','turn','goforward','gobackward','stop'];
 
var drone  = arDrone.createClient();
// disable emergency
drone.disableEmergency();
// express
app.use(bodyparser.json());
app.use(express.static(__dirname + '/public'));
 
router.get('/',(req,res) => {
    res.sendFile('index.html');
});
 
router.post('/command',(req,res) => {
    console.log('command recieved ', req.body);
    console.log('existing commands', commands);
    let command = req.body.command.replace(/ /g,'');
    if(commands.indexOf(command) !== -1) {
        switch(command.toUpperCase()) {
            case "TAKEOFF":
                console.log('taking off the drone');
                drone.takeoff();
            break;
            case "LAND":
                console.log('landing the drone');
                drone.land();
            break;
            case "UP":
                console.log('taking the drone up half meter');
                drone.up(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "DOWN":
                console.log('taking the drone down half meter');
                drone.down(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOLEFT":
                console.log('taking the drone left 1 meter');
                drone.left(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "GORIGHT":
                console.log('taking the drone right 1 meter');
                drone.right(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "TURN":
                console.log('turning the drone');
                drone.clockwise(0.4);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOFORWARD":
                console.log('moving the drone forward by 1 meter');
                drone.front(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOBACKWARD":
                console.log('moving the drone backward 1 meter');
                drone.back(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "STOP":
                drone.stop();
            break;
            default:
            break;    
        }
    }
    res.send('OK');
});
 
app.use('/',router);
 
app.listen(process.env.port || 3000);

ഉപയോക്താവിനെ ശ്രദ്ധിക്കുകയും നോഡ് സെർവറിലേക്ക് ഒരു കമാൻഡ് അയക്കുകയും ചെയ്യുന്ന HTML, JavaScript കോഡ് ഇവിടെയുണ്ട്.

<!DOCTYPE html>
    <head>
        <meta charset="utf-8">
        <meta http-equiv="X-UA-Compatible" content="IE=edge">
        <title>Voice Controlled Notes App</title>
        <meta name="description" content="">
        <meta name="viewport" content="width=device-width, initial-scale=1">
        <link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/shoelace-css/1.0.0-beta16/shoelace.css">
        <link rel="stylesheet" href="styles.css">
 
    </head>
    <body>
        <div class="container">
 
            <h1>Voice Controlled Drone</h1>
            <p class="page-description">A tiny app that allows you to control AR drone using voice</p>
 
            <h3 class="no-browser-support">Sorry, Your Browser Doesn't Support the Web Speech API. Try Opening This Demo In Google Chrome.</h3>
 
            <div class="app">
                <h3>Give the command</h3>
                <div class="input-single">
                    <textarea id="note-textarea" placeholder="Create a new note by typing or using voice recognition." rows="6"></textarea>
                </div>    
                <button id="start-record-btn" title="Start Recording">Start Recognition</button>
                <button id="pause-record-btn" title="Pause Recording">Pause Recognition</button>
                <p id="recording-instructions">Press the <strong>Start Recognition</strong> button and allow access.</p>
 
            </div>
 
        </div>
 
        <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
        <script src="script.js"></script>
 
    </body>
</html>

വോയ്‌സ് കമാൻഡുകൾക്കൊപ്പം പ്രവർത്തിക്കാനുള്ള ജാവാസ്ക്രിപ്റ്റ് കോഡും നോഡ് സെർവറിലേക്ക് അയയ്ക്കുന്നു.

try {
 var SpeechRecognition = window.SpeechRecognition || window.webkitSpeechRecognition;
 var recognition = new SpeechRecognition();
 }
 catch(e) {
 console.error(e);
 $('.no-browser-support').show();
 $('.app').hide();
 }
// other code, please refer GitHub source
recognition.onresult = function(event) {
// event is a SpeechRecognitionEvent object.
// It holds all the lines we have captured so far.
 // We only need the current one.
 var current = event.resultIndex;
// Get a transcript of what was said.
var transcript = event.results[current][0].transcript;
// send it to the backend
$.ajax({
 type: 'POST',
 url: '/command/',
 data: JSON.stringify({command: transcript}),
 success: function(data) { console.log(data) },
 contentType: "application/json",
 dataType: 'json'
 });
};

ആപ്ലിക്കേഷൻ സമാരംഭിക്കുന്നു

പ്രോഗ്രാം ഇനിപ്പറയുന്ന രീതിയിൽ സമാരംഭിക്കാം (കോപ്റ്റർ Wi-Fi-യിലേക്ക് കണക്റ്റുചെയ്തിട്ടുണ്ടെന്നും ഇഥർനെറ്റ് കേബിൾ കമ്പ്യൂട്ടറുമായി ബന്ധിപ്പിച്ചിട്ടുണ്ടെന്നും ഉറപ്പാക്കേണ്ടത് പ്രധാനമാണ്).

ബ്രൗസറിൽ ലോക്കൽഹോസ്റ്റ്:3000 തുറന്ന്, തിരിച്ചറിയൽ ആരംഭിക്കുക ക്ലിക്കുചെയ്യുക.

ഞങ്ങൾ ഡ്രോൺ നിയന്ത്രിക്കാൻ ശ്രമിക്കുകയും സന്തോഷിക്കുകയും ചെയ്യുന്നു.

ഡ്രോണിൽ നിന്നുള്ള വീഡിയോ പ്രക്ഷേപണം ചെയ്യുന്നു

പ്രോജക്റ്റിൽ, ഒരു പുതിയ ഫയൽ സൃഷ്ടിച്ച് ഈ കോഡ് അവിടെ പകർത്തുക:

const http = require("http");
const drone = require("dronestream");
 
const server = http.createServer(function(req, res) {
 
require("fs").createReadStream(__dirname + "/public/video.html").pipe(res);
 });
 
drone.listen(server);
 
server.listen(4000);

HTML കോഡ് ഇതാ, ഞങ്ങൾ അത് പൊതു ഫോൾഡറിനുള്ളിൽ സ്ഥാപിക്കുന്നു.

<!doctype html>
 <html>
 <head>
 <meta http-equiv="content-type" content="text/html; charset=utf-8">
 <title>Stream as module</title>
 <script src="/dronestream/nodecopter-client.js" type="text/javascript" charset="utf-8"></script>
 </head>
 <body>
 <h1 id="heading">Drone video stream</h1>
 <div id="droneStream" style="width: 640px; height: 360px"> </div>
 
<script type="text/javascript" charset="utf-8">
 
new NodecopterStream(document.getElementById("droneStream"));
 
</script>
 
</body>
</html>

ഫ്രണ്ട് ക്യാമറയിൽ നിന്ന് വീഡിയോ കാണുന്നതിന് ലോക്കൽ ഹോസ്റ്റ്:8080-ലേക്ക് സമാരംഭിച്ച് ബന്ധിപ്പിക്കുക.

സഹായകരമായ നുറുങ്ങുകൾ

• ഈ ഡ്രോൺ വീടിനുള്ളിൽ പറക്കുക.
• പറന്നുയരുന്നതിന് മുമ്പ് എല്ലായ്പ്പോഴും നിങ്ങളുടെ ഡ്രോണിൽ സംരക്ഷണ കവർ ഇടുക.
• ബാറ്ററി ചാർജ്ജ് ചെയ്തിട്ടുണ്ടോയെന്ന് പരിശോധിക്കുക.
• ഡ്രോൺ വിചിത്രമായി പെരുമാറുകയാണെങ്കിൽ, അത് അമർത്തിപ്പിടിച്ച് മറിച്ചിടുക. ഈ പ്രവർത്തനം കോപ്റ്ററിനെ എമർജൻസി മോഡിലേക്ക് മാറ്റുകയും റോട്ടറുകൾ ഉടനടി നിർത്തുകയും ചെയ്യും.

കോഡും ഡെമോയും തയ്യാറാണ്

ലൈവ് ഡെമോ

ഡൌൺലോഡ്

സംഭവിച്ചു!

കോഡ് എഴുതുകയും തുടർന്ന് മെഷീൻ അനുസരിക്കാൻ തുടങ്ങുകയും ചെയ്യുന്നത് നിങ്ങൾക്ക് സന്തോഷം നൽകും! വോയ്‌സ് കമാൻഡുകൾ കേൾക്കാൻ ഡ്രോൺ എങ്ങനെ പഠിപ്പിക്കാമെന്ന് ഇപ്പോൾ ഞങ്ങൾ കണ്ടെത്തി. വാസ്തവത്തിൽ, കൂടുതൽ സാധ്യതകൾ ഉണ്ട്: ഉപയോക്തൃ മുഖം തിരിച്ചറിയൽ, സ്വയംഭരണ ഫ്ലൈറ്റുകൾ, ആംഗ്യ തിരിച്ചറിയൽ എന്നിവയും അതിലേറെയും.

പ്രോഗ്രാം മെച്ചപ്പെടുത്താൻ നിങ്ങൾക്ക് എന്താണ് നിർദ്ദേശിക്കാൻ കഴിയുക?

സ്കിൽബോക്സ് ശുപാർശ ചെയ്യുന്നു:

• ഓൺലൈൻ കോഴ്സിന് അപേക്ഷിച്ചു "പൈത്തൺ ഡാറ്റ അനലിസ്റ്റ്".
• ഓൺലൈൻ കോഴ്സ് "പ്രൊഫഷൻ ഫ്രണ്ടൻഡ് ഡെവലപ്പർ".
• പ്രായോഗിക വർഷ കോഴ്സ് "0 മുതൽ PRO വരെയുള്ള PHP ഡവലപ്പർ".

അവലംബം: www.habr.com