અમે Node.js અને ARDrone નો ઉપયોગ કરીને કોપ્ટરનું વૉઇસ કંટ્રોલ પ્રોગ્રામ કરીએ છીએ

આ ટ્યુટોરીયલમાં આપણે Node.js અને વેબ સ્પીચ API નો ઉપયોગ કરીને વોઈસ કંટ્રોલ સાથે ડ્રોન માટે પ્રોગ્રામ બનાવવાનું જોઈશું. કોપ્ટર - પોપટ એઆરડ્રોન 2.0.

અમે યાદ કરાવીએ છીએ: Habrના તમામ વાચકો માટે - Habr પ્રોમો કોડનો ઉપયોગ કરીને કોઈપણ સ્કિલબોક્સ કોર્સમાં નોંધણી કરતી વખતે 10 રૂબલ ડિસ્કાઉન્ટ.

સ્કિલબોક્સ ભલામણ કરે છે: પ્રેક્ટિકલ કોર્સ "મોબાઇલ ડેવલપર પ્રો".

પરિચય

ડ્રોન અદ્ભુત છે. મને ખરેખર મારા ક્વોડ સાથે રમવામાં, ફોટા અને વિડિયો લેવાનો અથવા ફક્ત આનંદ માણવાનો આનંદ આવે છે. પરંતુ માનવરહિત હવાઈ વાહનો (યુએવી) નો ઉપયોગ માત્ર મનોરંજન કરતાં વધુ માટે થાય છે. તેઓ સિનેમામાં કામ કરે છે, ગ્લેશિયર્સનો અભ્યાસ કરે છે અને સૈન્ય અને કૃષિ ક્ષેત્રના પ્રતિનિધિઓ દ્વારા ઉપયોગમાં લેવાય છે.

આ ટ્યુટોરીયલમાં આપણે એક પ્રોગ્રામ બનાવવાનું જોઈશું જે તમને ડ્રોનને નિયંત્રિત કરવાની મંજૂરી આપશે. વૉઇસ આદેશોનો ઉપયોગ કરીને. હા, તમે તેને જે કરવાનું કહો છો તે કોપ્ટર કરશે. લેખના અંતે યુએવી નિયંત્રણનો તૈયાર પ્રોગ્રામ અને વિડિઓ છે.

આયર્ન

અમને નીચેનાની જરૂર છે:

• પોપટ એઆરડ્રોન 2.0;
• ઇથરનેટ કેબલ;
• સારો માઇક્રોફોન.

વિન્ડોઝ/મેક/ઉબુન્ટુ સાથે વર્કસ્ટેશનો પર વિકાસ અને સંચાલન હાથ ધરવામાં આવશે. અંગત રીતે, મેં Mac અને Ubuntu 18.04 સાથે કામ કર્યું.

સોફ્ટવેર

Node.js નું નવીનતમ સંસ્કરણ અહીંથી ડાઉનલોડ કરો સત્તાવાર સાઇટ.

પણ જરૂરી છે Google Chrome નું નવીનતમ સંસ્કરણ.

કોપ્ટર સમજવું

ચાલો સમજવાનો પ્રયત્ન કરીએ કે પોપટ એઆરડ્રોન કેવી રીતે કામ કરે છે. આ કોપ્ટરમાં ચાર મોટર છે.

વિરોધી મોટરો એ જ દિશામાં કામ કરે છે. એક જોડી ઘડિયાળની દિશામાં ફરે છે, બીજી ઘડિયાળની દિશામાં. ડ્રોન પૃથ્વીની સપાટીની સાપેક્ષ ઝોકના કોણને બદલીને, મોટર્સના પરિભ્રમણની ગતિમાં ફેરફાર કરીને અને અન્ય ઘણી ચાલાકી કરી શકાય તેવી હિલચાલ કરીને આગળ વધે છે.

જેમ આપણે ઉપરના ચિત્રમાં જોઈ શકીએ છીએ, વિવિધ પરિમાણો બદલવાથી કોપ્ટરની હિલચાલની દિશામાં ફેરફાર થાય છે. ઉદાહરણ તરીકે, ડાબા અને જમણા રોટર્સની પરિભ્રમણ ગતિમાં ઘટાડો અથવા વધારો એ રોલ બનાવે છે. આનાથી ડ્રોન આગળ કે પાછળ ઉડી શકે છે.

મોટર્સની ગતિ અને દિશા બદલીને, અમે ટિલ્ટ એંગલ સેટ કરીએ છીએ જે કોપ્ટરને અન્ય દિશામાં ખસેડવા દે છે. વાસ્તવમાં, વર્તમાન પ્રોજેક્ટ માટે એરોડાયનેમિક્સનો અભ્યાસ કરવાની જરૂર નથી, તમારે ફક્ત મૂળભૂત સિદ્ધાંતોને સમજવાની જરૂર છે.

પોપટ એઆરડ્રોન કેવી રીતે કામ કરે છે

ડ્રોન એક Wi-Fi હોટસ્પોટ છે. કોપ્ટરને આદેશો પ્રાપ્ત કરવા અને મોકલવા માટે, તમારે આ બિંદુથી કનેક્ટ કરવાની જરૂર છે. ત્યાં ઘણી વિવિધ એપ્લિકેશનો છે જે તમને ક્વાડકોપ્ટર્સને નિયંત્રિત કરવાની મંજૂરી આપે છે. તે બધું આના જેવું લાગે છે:

ડ્રોન કનેક્ટ થતાં જ ટર્મિનલ અને ટેલનેટ 192.168.1.1 ખોલો - આ કોપ્ટરનો IP છે. Linux માટે તમે ઉપયોગ કરી શકો છો Linux Busybox.

એપ્લિકેશન આર્કિટેક્ચર

અમારા કોડને નીચેના મોડ્યુલમાં વિભાજિત કરવામાં આવશે:

• વૉઇસ ડિટેક્શન માટે સ્પીચ API સાથે યુઝર ઇન્ટરફેસ;
• ફિલ્ટરિંગ આદેશો અને પ્રમાણભૂત સાથે સરખામણી;
• ડ્રોનને આદેશો મોકલવા;
• જીવંત વિડિયો પ્રસારણ.

જ્યાં સુધી ઇન્ટરનેટ કનેક્શન હોય ત્યાં સુધી API કામ કરે છે. આની ખાતરી કરવા માટે, અમે ઇથરનેટ કનેક્શન ઉમેરીએ છીએ.

એપ્લિકેશન બનાવવાનો સમય છે!

કોડ

પ્રથમ, ચાલો એક નવું ફોલ્ડર બનાવીએ અને ટર્મિનલનો ઉપયોગ કરીને તેના પર સ્વિચ કરીએ.

પછી આપણે નીચેના આદેશોનો ઉપયોગ કરીને નોડ પ્રોજેક્ટ બનાવીએ છીએ.

પ્રથમ, અમે જરૂરી નિર્ભરતા સ્થાપિત કરીએ છીએ.

npm સ્થાપિત કરો 

અમે નીચેના આદેશોને સમર્થન આપીશું:

• ટેકઓફ
• ઉતરાણ
• ઉપર - ડ્રોન અડધો મીટર વધે છે અને ફરે છે;
• નીચે - અડધા મીટર નીચે પડે છે અને થીજી જાય છે;
• ડાબી તરફ - અડધો મીટર ડાબી તરફ જાય છે;
• જમણી તરફ - જમણી તરફ અડધો મીટર જાય છે;
• પરિભ્રમણ - ઘડિયાળની દિશામાં 90 ડિગ્રી ફેરવે છે;
• આગળ - અડધા મીટર આગળ જાય છે;
• પાછળ - અડધા મીટર પાછળ જાય છે;
• બંધ.

અહીં એક કોડ છે જે તમને આદેશો સ્વીકારવા, તેમને ફિલ્ટર કરવા અને ડ્રોનને નિયંત્રિત કરવાની મંજૂરી આપે છે.

const express = require('express');
const bodyparser = require('body-parser');
var arDrone = require('ar-drone');
const router = express.Router();
const app = express();
const commands = ['takeoff', 'land','up','down','goleft','goright','turn','goforward','gobackward','stop'];
 
var drone  = arDrone.createClient();
// disable emergency
drone.disableEmergency();
// express
app.use(bodyparser.json());
app.use(express.static(__dirname + '/public'));
 
router.get('/',(req,res) => {
    res.sendFile('index.html');
});
 
router.post('/command',(req,res) => {
    console.log('command recieved ', req.body);
    console.log('existing commands', commands);
    let command = req.body.command.replace(/ /g,'');
    if(commands.indexOf(command) !== -1) {
        switch(command.toUpperCase()) {
            case "TAKEOFF":
                console.log('taking off the drone');
                drone.takeoff();
            break;
            case "LAND":
                console.log('landing the drone');
                drone.land();
            break;
            case "UP":
                console.log('taking the drone up half meter');
                drone.up(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "DOWN":
                console.log('taking the drone down half meter');
                drone.down(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOLEFT":
                console.log('taking the drone left 1 meter');
                drone.left(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "GORIGHT":
                console.log('taking the drone right 1 meter');
                drone.right(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "TURN":
                console.log('turning the drone');
                drone.clockwise(0.4);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOFORWARD":
                console.log('moving the drone forward by 1 meter');
                drone.front(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOBACKWARD":
                console.log('moving the drone backward 1 meter');
                drone.back(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "STOP":
                drone.stop();
            break;
            default:
            break;    
        }
    }
    res.send('OK');
});
 
app.use('/',router);
 
app.listen(process.env.port || 3000);

અને અહીં HTML અને JavaScript કોડ છે જે વપરાશકર્તાને સાંભળે છે અને નોડ સર્વરને આદેશ મોકલે છે.

<!DOCTYPE html>
    <head>
        <meta charset="utf-8">
        <meta http-equiv="X-UA-Compatible" content="IE=edge">
        <title>Voice Controlled Notes App</title>
        <meta name="description" content="">
        <meta name="viewport" content="width=device-width, initial-scale=1">
        <link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/shoelace-css/1.0.0-beta16/shoelace.css">
        <link rel="stylesheet" href="styles.css">
 
    </head>
    <body>
        <div class="container">
 
            <h1>Voice Controlled Drone</h1>
            <p class="page-description">A tiny app that allows you to control AR drone using voice</p>
 
            <h3 class="no-browser-support">Sorry, Your Browser Doesn't Support the Web Speech API. Try Opening This Demo In Google Chrome.</h3>
 
            <div class="app">
                <h3>Give the command</h3>
                <div class="input-single">
                    <textarea id="note-textarea" placeholder="Create a new note by typing or using voice recognition." rows="6"></textarea>
                </div>    
                <button id="start-record-btn" title="Start Recording">Start Recognition</button>
                <button id="pause-record-btn" title="Pause Recording">Pause Recognition</button>
                <p id="recording-instructions">Press the <strong>Start Recognition</strong> button and allow access.</p>
 
            </div>
 
        </div>
 
        <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
        <script src="script.js"></script>
 
    </body>
</html>

અને વૉઇસ કમાન્ડ સાથે કામ કરવા માટે જાવાસ્ક્રિપ્ટ કોડ, તેમને નોડ સર્વર પર મોકલીને.

try {
 var SpeechRecognition = window.SpeechRecognition || window.webkitSpeechRecognition;
 var recognition = new SpeechRecognition();
 }
 catch(e) {
 console.error(e);
 $('.no-browser-support').show();
 $('.app').hide();
 }
// other code, please refer GitHub source
recognition.onresult = function(event) {
// event is a SpeechRecognitionEvent object.
// It holds all the lines we have captured so far.
 // We only need the current one.
 var current = event.resultIndex;
// Get a transcript of what was said.
var transcript = event.results[current][0].transcript;
// send it to the backend
$.ajax({
 type: 'POST',
 url: '/command/',
 data: JSON.stringify({command: transcript}),
 success: function(data) { console.log(data) },
 contentType: "application/json",
 dataType: 'json'
 });
};

એપ્લિકેશન લોન્ચ કરી રહ્યા છીએ

પ્રોગ્રામ નીચે પ્રમાણે લોંચ કરી શકાય છે (તે ખાતરી કરવી મહત્વપૂર્ણ છે કે કોપ્ટર Wi-Fi સાથે જોડાયેલ છે અને ઇથરનેટ કેબલ કમ્પ્યુટર સાથે જોડાયેલ છે).

બ્રાઉઝરમાં લોકલહોસ્ટ:3000 ખોલો અને સ્ટાર્ટ રેકગ્નિશન પર ક્લિક કરો.

અમે ડ્રોનને નિયંત્રિત કરવાનો પ્રયાસ કરીએ છીએ અને ખુશ છીએ.

ડ્રોનથી વિડિયો બ્રોડકાસ્ટ કરી રહ્યો છે

પ્રોજેક્ટમાં, નવી ફાઇલ બનાવો અને ત્યાં આ કોડની નકલ કરો:

const http = require("http");
const drone = require("dronestream");
 
const server = http.createServer(function(req, res) {
 
require("fs").createReadStream(__dirname + "/public/video.html").pipe(res);
 });
 
drone.listen(server);
 
server.listen(4000);

અને અહીં HTML કોડ છે, અમે તેને સાર્વજનિક ફોલ્ડરની અંદર મૂકીએ છીએ.

<!doctype html>
 <html>
 <head>
 <meta http-equiv="content-type" content="text/html; charset=utf-8">
 <title>Stream as module</title>
 <script src="/dronestream/nodecopter-client.js" type="text/javascript" charset="utf-8"></script>
 </head>
 <body>
 <h1 id="heading">Drone video stream</h1>
 <div id="droneStream" style="width: 640px; height: 360px"> </div>
 
<script type="text/javascript" charset="utf-8">
 
new NodecopterStream(document.getElementById("droneStream"));
 
</script>
 
</body>
</html>

આગળના કેમેરામાંથી વિડિયો જોવા માટે લોકલહોસ્ટ:8080 લોંચ કરો અને કનેક્ટ કરો.

ઉપયોગી ટિપ્સ

• આ ડ્રોનને ઘરની અંદર ઉડાડો.
• ટેક ઓફ કરતા પહેલા હંમેશા તમારા ડ્રોન પર રક્ષણાત્મક કવર લગાવો.
• બેટરી ચાર્જ થયેલ છે કે કેમ તે તપાસો.
• જો ડ્રોન વિચિત્ર રીતે વર્તે છે, તો તેને પકડી રાખો અને તેને ફ્લિપ કરો. આ ક્રિયા કોપ્ટરને ઇમરજન્સી મોડમાં મૂકશે અને રોટર તરત જ બંધ થઈ જશે.

તૈયાર કોડ અને ડેમો

લાઈવ ડેમો

ડાઉનલોડ

થયું!

કોડ લખવા અને પછી મશીનને પાળવા લાગે છે તે જોવું તમને આનંદ આપશે! હવે અમે શોધી કાઢ્યું છે કે ડ્રોનને વૉઇસ કમાન્ડ સાંભળવાનું કેવી રીતે શીખવવું. હકીકતમાં, ત્યાં ઘણી વધુ શક્યતાઓ છે: વપરાશકર્તા ચહેરાની ઓળખ, સ્વાયત્ત ફ્લાઇટ્સ, હાવભાવ ઓળખ અને ઘણું બધું.

પ્રોગ્રામને સુધારવા માટે તમે શું સૂચન કરી શકો છો?

સ્કિલબોક્સ ભલામણ કરે છે:

• ઓનલાઈન કોર્સ લાગુ કર્યો "પાયથોન ડેટા એનાલિસ્ટ".
• ઓનલાઇન કોર્સ "પ્રોફેશન ફ્રન્ટ એન્ડ ડેવલપર".
• એક વર્ષનો પ્રેક્ટિકલ કોર્સ "0 થી PRO સુધી PHP વિકાસકર્તા".

સોર્સ: www.habr.com