ჩვენ ვაპროგრამებთ ვერტმფრენის ხმოვან კონტროლს Node.js-ისა და ARDrone-ის გამოყენებით

ამ გაკვეთილში ჩვენ შევხედავთ პროგრამის შექმნას დრონისთვის ხმოვანი კონტროლის გამოყენებით Node.js და ვებ მეტყველების API. Copter - Parrot ARDrone 2.0.

შეგახსენებთ: "Habr"-ის ყველა მკითხველისთვის - ფასდაკლება 10 რუბლიდან Skillbox-ის ნებისმიერ კურსზე ჩარიცხვისას "Habr" სარეკლამო კოდის გამოყენებით.

Skillbox გირჩევთ: პრაქტიკული კურსი "Mobile Developer PRO".

შესავალი

დრონები საოცარია. მე ძალიან მსიამოვნებს ჩემს კვადროსთან თამაში, ფოტოების და ვიდეოების გადაღება ან უბრალოდ გართობა. მაგრამ უპილოტო საფრენი აპარატები (UAVs) გამოიყენება არა მხოლოდ გასართობად. ისინი მუშაობენ კინოში, სწავლობენ მყინვარებს და იყენებენ სამხედროები და აგრარული სექტორის წარმომადგენლები.

ამ ტუტორიალში განვიხილავთ პროგრამის შექმნას, რომელიც საშუალებას მოგცემთ მართოთ დრონი. ხმოვანი ბრძანებების გამოყენებით. დიახ, თვითმფრინავი გააკეთებს იმას, რასაც თქვენ ეტყვით. სტატიის ბოლოს არის მზა პროგრამა და ვიდეო უპილოტო საფრენი აპარატების მართვის შესახებ.

რკინის

ჩვენ გვჭირდება შემდეგი:

• თუთიყუში ARDrone 2.0;
• Ethernet კაბელი;
• კარგი მიკროფონი.

განვითარება და მართვა განხორციელდება Windows/Mac/Ubuntu-ის მქონე სამუშაო სადგურებზე. პირადად მე ვმუშაობდი Mac-თან და Ubuntu 18.04-თან.

პროგრამული უზრუნველყოფა

ჩამოტვირთეთ Node.js-ის უახლესი ვერსია ოფიციალური საიტი.

ასევე საჭიროა Google Chrome-ის უახლესი ვერსია.

კოპტერის გაგება

შევეცადოთ გავიგოთ, თუ როგორ მუშაობს თუთიყუში ARDrone. ამ ვერტმფრენს აქვს ოთხი ძრავა.

საპირისპირო ძრავები მუშაობენ იმავე მიმართულებით. ერთი წყვილი ბრუნავს საათის ისრის მიმართულებით, მეორე კი საათის ისრის საწინააღმდეგოდ. დრონი მოძრაობს დედამიწის ზედაპირთან შედარებით დახრილობის კუთხის შეცვლით, ძრავების ბრუნვის სიჩქარის შეცვლით და რამდენიმე სხვა მანევრირებადი მოძრაობით.

როგორც ზემოთ მოცემულ დიაგრამაზე ვხედავთ, სხვადასხვა პარამეტრის შეცვლა იწვევს სპილენძის მოძრაობის მიმართულების ცვლილებას. მაგალითად, მარცხენა და მარჯვენა როტორების ბრუნვის სიჩქარის შემცირება ან გაზრდა ქმნის როლს. ეს საშუალებას აძლევს დრონს იფრინოს წინ ან უკან.

ძრავების სიჩქარისა და მიმართულების შეცვლით, ჩვენ ვაყენებთ დახრის კუთხეებს, რომლებიც საშუალებას აძლევს კოპტერს გადაადგილდეს სხვა მიმართულებით. სინამდვილეში, მიმდინარე პროექტისთვის არ არის საჭირო აეროდინამიკის შესწავლა, თქვენ უბრალოდ უნდა გესმოდეთ ძირითადი პრინციპები.

როგორ მუშაობს თუთიყუში ARDrone

დრონი არის Wi-Fi-ის ცხელი წერტილი. იმისათვის, რომ მიიღოთ და გაგზავნოთ ბრძანებები ბორტზე, თქვენ უნდა დაუკავშირდეთ ამ წერტილს. არსებობს მრავალი განსხვავებული აპლიკაცია, რომელიც საშუალებას გაძლევთ მართოთ კვადკოპტერები. ეს ყველაფერი ასე გამოიყურება:

როგორც კი დრონი შეერთდება, გახსენით ტერმინალი და ტელნეტი 192.168.1.1 - ეს არის კოპტერის IP. Linux-ისთვის შეგიძლიათ გამოიყენოთ Linux Busybox.

განაცხადის არქიტექტურა

ჩვენი კოდი დაყოფილი იქნება შემდეგ მოდულებად:

• მომხმარებლის ინტერფეისი მეტყველების API-ით ხმის ამოცნობისთვის;
• ბრძანებების გაფილტვრა და სტანდარტთან შედარება;
• დრონისთვის ბრძანებების გაგზავნა;
• პირდაპირი ვიდეო გადაცემა.

API მუშაობს მანამ, სანამ არის ინტერნეტი. ამის უზრუნველსაყოფად, ჩვენ ვამატებთ Ethernet კავშირს.

აპლიკაციის შექმნის დროა!

კოდი

ჯერ შევქმნათ ახალი საქაღალდე და გადავიდეთ მასზე ტერმინალის გამოყენებით.

შემდეგ ჩვენ ვქმნით Node პროექტს ქვემოთ მოცემული ბრძანებების გამოყენებით.

პირველ რიგში, ჩვენ ვაყენებთ საჭირო დამოკიდებულებებს.

npm ინსტალაცია 

ჩვენ მხარს ვუჭერთ შემდეგ ბრძანებებს:

• აფრენა;
• სადესანტო;
• ზევით - დრონი ადის ნახევარი მეტრით და ცურავს;
• ქვემოთ - ეცემა ნახევარ მეტრზე და იყინება;
• მარცხნივ - მიდის ნახევარი მეტრი მარცხნივ;
• მარჯვნივ - მიდის ნახევარი მეტრი მარჯვნივ;
• როტაცია - ბრუნავს საათის ისრის მიმართულებით 90 გრადუსით;
• წინ - წინ მიდის ნახევარი მეტრით;
• უკან - მიდის უკან ნახევარი მეტრით;
• გაჩერება.

აქ არის კოდი, რომელიც საშუალებას გაძლევთ მიიღოთ ბრძანებები, გაფილტროთ ისინი და აკონტროლოთ დრონი.

const express = require('express');
const bodyparser = require('body-parser');
var arDrone = require('ar-drone');
const router = express.Router();
const app = express();
const commands = ['takeoff', 'land','up','down','goleft','goright','turn','goforward','gobackward','stop'];
 
var drone  = arDrone.createClient();
// disable emergency
drone.disableEmergency();
// express
app.use(bodyparser.json());
app.use(express.static(__dirname + '/public'));
 
router.get('/',(req,res) => {
    res.sendFile('index.html');
});
 
router.post('/command',(req,res) => {
    console.log('command recieved ', req.body);
    console.log('existing commands', commands);
    let command = req.body.command.replace(/ /g,'');
    if(commands.indexOf(command) !== -1) {
        switch(command.toUpperCase()) {
            case "TAKEOFF":
                console.log('taking off the drone');
                drone.takeoff();
            break;
            case "LAND":
                console.log('landing the drone');
                drone.land();
            break;
            case "UP":
                console.log('taking the drone up half meter');
                drone.up(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "DOWN":
                console.log('taking the drone down half meter');
                drone.down(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOLEFT":
                console.log('taking the drone left 1 meter');
                drone.left(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "GORIGHT":
                console.log('taking the drone right 1 meter');
                drone.right(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "TURN":
                console.log('turning the drone');
                drone.clockwise(0.4);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOFORWARD":
                console.log('moving the drone forward by 1 meter');
                drone.front(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOBACKWARD":
                console.log('moving the drone backward 1 meter');
                drone.back(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "STOP":
                drone.stop();
            break;
            default:
            break;    
        }
    }
    res.send('OK');
});
 
app.use('/',router);
 
app.listen(process.env.port || 3000);

და აქ არის HTML და JavaScript კოდი, რომელიც უსმენს მომხმარებელს და აგზავნის ბრძანებას Node სერვერზე.

<!DOCTYPE html>
    <head>
        <meta charset="utf-8">
        <meta http-equiv="X-UA-Compatible" content="IE=edge">
        <title>Voice Controlled Notes App</title>
        <meta name="description" content="">
        <meta name="viewport" content="width=device-width, initial-scale=1">
        <link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/shoelace-css/1.0.0-beta16/shoelace.css">
        <link rel="stylesheet" href="styles.css">
 
    </head>
    <body>
        <div class="container">
 
            <h1>Voice Controlled Drone</h1>
            <p class="page-description">A tiny app that allows you to control AR drone using voice</p>
 
            <h3 class="no-browser-support">Sorry, Your Browser Doesn't Support the Web Speech API. Try Opening This Demo In Google Chrome.</h3>
 
            <div class="app">
                <h3>Give the command</h3>
                <div class="input-single">
                    <textarea id="note-textarea" placeholder="Create a new note by typing or using voice recognition." rows="6"></textarea>
                </div>    
                <button id="start-record-btn" title="Start Recording">Start Recognition</button>
                <button id="pause-record-btn" title="Pause Recording">Pause Recognition</button>
                <p id="recording-instructions">Press the <strong>Start Recognition</strong> button and allow access.</p>
 
            </div>
 
        </div>
 
        <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
        <script src="script.js"></script>
 
    </body>
</html>

და ასევე JavaScript კოდი ხმოვან ბრძანებებთან მუშაობისთვის, მათი გაგზავნა Node სერვერზე.

try {
 var SpeechRecognition = window.SpeechRecognition || window.webkitSpeechRecognition;
 var recognition = new SpeechRecognition();
 }
 catch(e) {
 console.error(e);
 $('.no-browser-support').show();
 $('.app').hide();
 }
// other code, please refer GitHub source
recognition.onresult = function(event) {
// event is a SpeechRecognitionEvent object.
// It holds all the lines we have captured so far.
 // We only need the current one.
 var current = event.resultIndex;
// Get a transcript of what was said.
var transcript = event.results[current][0].transcript;
// send it to the backend
$.ajax({
 type: 'POST',
 url: '/command/',
 data: JSON.stringify({command: transcript}),
 success: function(data) { console.log(data) },
 contentType: "application/json",
 dataType: 'json'
 });
};

აპლიკაციის გაშვება

პროგრამის გაშვება შესაძლებელია შემდეგნაირად (მნიშვნელოვანია დარწმუნდეთ, რომ კოპტერი დაკავშირებულია Wi-Fi-თან და Ethernet კაბელი დაკავშირებულია კომპიუტერთან).

გახსენით localhost:3000 ბრაუზერში და დააჭირეთ Start Recognition-ს.

ვცდილობთ დრონი გავაკონტროლოთ და ბედნიერები ვართ.

ვიდეოს გადაცემა დრონიდან

პროექტში შექმენით ახალი ფაილი და დააკოპირეთ ეს კოდი იქ:

const http = require("http");
const drone = require("dronestream");
 
const server = http.createServer(function(req, res) {
 
require("fs").createReadStream(__dirname + "/public/video.html").pipe(res);
 });
 
drone.listen(server);
 
server.listen(4000);

და აქ არის HTML კოდი, ჩვენ მას ვათავსებთ საჯარო საქაღალდეში.

<!doctype html>
 <html>
 <head>
 <meta http-equiv="content-type" content="text/html; charset=utf-8">
 <title>Stream as module</title>
 <script src="/dronestream/nodecopter-client.js" type="text/javascript" charset="utf-8"></script>
 </head>
 <body>
 <h1 id="heading">Drone video stream</h1>
 <div id="droneStream" style="width: 640px; height: 360px"> </div>
 
<script type="text/javascript" charset="utf-8">
 
new NodecopterStream(document.getElementById("droneStream"));
 
</script>
 
</body>
</html>

გაუშვით და დაუკავშირდით localhost:8080-ს, რომ ნახოთ ვიდეო წინა კამერიდან.

სასარგებლო რჩევები

• იფრინეთ ეს დრონი შენობაში.
• ყოველთვის დაიდეთ დამცავი საფარი თქვენს დრონს აფრენამდე.
• შეამოწმეთ ბატარეა დატენულია თუ არა.
• თუ დრონი უცნაურად იქცევა, დაიჭირეთ და გადაატრიალეთ. ეს ქმედება გადააყენებს ვერტმფრენს გადაუდებელ რეჟიმში და როტორები დაუყოვნებლივ გაჩერდება.

მზა კოდი და დემო ვერსია

LIVE დემო

DOWNLOAD

მოხდა!

კოდის დაწერა და შემდეგ მანქანის დამორჩილების ყურება სიამოვნებას მოგანიჭებთ! ახლა ჩვენ გავარკვიეთ, როგორ ვასწავლოთ თვითმფრინავს ხმოვანი ბრძანებების მოსმენა. სინამდვილეში, გაცილებით მეტი შესაძლებლობაა: მომხმარებლის სახის ამოცნობა, ავტონომიური ფრენები, ჟესტების ამოცნობა და მრავალი სხვა.

რას მირჩევთ პროგრამის გასაუმჯობესებლად?

Skillbox გირჩევთ:

• მიმართა ონლაინ კურსს "პითონის მონაცემთა ანალიტიკოსი".
• ონლაინ კურსი "პროფესიის ფრონტენდის დეველოპერი".
• პრაქტიკული წლის კურსი "PHP დეველოპერი 0-დან PRO-მდე".

წყარო: www.habr.com