យើងរៀបចំកម្មវិធីបញ្ជាដោយសំឡេងនៃ copter ដោយប្រើ Node.js និង ARDrone

នៅក្នុងមេរៀននេះ យើងនឹងពិនិត្យមើលការបង្កើតកម្មវិធីសម្រាប់យន្តហោះគ្មានមនុស្សបើកដែលមានការគ្រប់គ្រងសំឡេងដោយប្រើ Node.js និង Web speech API ។ Copter - សេក ARDrone 2.0 ។

យើងរំលឹក៖ សម្រាប់អ្នកអានទាំងអស់នៃ "Habr" - ការបញ្ចុះតម្លៃ 10 rubles នៅពេលចុះឈ្មោះក្នុងវគ្គសិក្សា Skillbox ណាមួយដោយប្រើលេខកូដផ្សព្វផ្សាយ "Habr" ។

Skillbox ណែនាំ៖ វគ្គសិក្សាជាក់ស្តែង "អ្នកអភិវឌ្ឍន៍ចល័ត PRO".

សេចក្តីណែនាំ

យន្តហោះគ្មានមនុស្សបើកគឺអស្ចារ្យណាស់។ ខ្ញុំពិតជារីករាយក្នុងការលេងជាមួយ quad របស់ខ្ញុំ ថតរូប និងវីដេអូ ឬគ្រាន់តែមានភាពសប្បាយរីករាយ។ ប៉ុន្តែយានជំនិះគ្មានមនុស្សបើក (UAVs) ត្រូវបានប្រើសម្រាប់ការកម្សាន្តច្រើនជាងការកម្សាន្ត។ ពួកគេធ្វើការនៅក្នុងរោងកុន សិក្សាផ្ទាំងទឹកកក ហើយត្រូវបានប្រើប្រាស់ដោយយោធា និងអ្នកតំណាងនៃវិស័យកសិកម្ម។

នៅក្នុងមេរៀននេះ យើងនឹងពិនិត្យមើលការបង្កើតកម្មវិធីដែលនឹងអនុញ្ញាតឱ្យអ្នកគ្រប់គ្រងយន្តហោះគ្មានមនុស្សបើក។ ដោយប្រើពាក្យបញ្ជាសំឡេង។ មែនហើយ អ្នកច្រូតនឹងធ្វើអ្វីដែលអ្នកប្រាប់ឱ្យធ្វើ។ នៅចុងបញ្ចប់នៃអត្ថបទមានកម្មវិធីដែលត្រៀមរួចជាស្រេច និងវីដេអូនៃការគ្រប់គ្រង UAV ។

ជាតិដែក

យើងត្រូវការដូចខាងក្រោមៈ

• សេក ARDrone 2.0;
• ខ្សែអ៊ីសឺរណិត;
• មីក្រូហ្វូនល្អ។

ការអភិវឌ្ឍន៍ និងការគ្រប់គ្រងនឹងត្រូវបានអនុវត្តនៅលើស្ថានីយការងារជាមួយ Windows/Mac/Ubuntu។ ដោយផ្ទាល់ខ្ញុំបានធ្វើការជាមួយ Mac និង Ubuntu 18.04 ។

កម្មវិធី

ទាញយកកំណែចុងក្រោយបំផុតរបស់ Node.js ពី គេហទំព័រផ្លូវការ.

ត្រូវការផងដែរ។ កំណែចុងក្រោយបំផុតរបស់ Google Chrome.

ការយល់ដឹងអំពីទង់ដែង

ចូរយើងព្យាយាមយល់ពីរបៀបដែល Parrot ARDrone ដំណើរការ។ ស្ពាន់នេះមានម៉ូទ័របួន។

ម៉ូទ័រប្រឆាំងដំណើរការក្នុងទិសដៅដូចគ្នា។ គូមួយបង្វិលតាមទ្រនិចនាឡិកា មួយទៀតច្រាសទ្រនិចនាឡិកា។ ដ្រូនផ្លាស់ទីដោយការផ្លាស់ប្តូរមុំទំនោរទាក់ទងទៅនឹងផ្ទៃផែនដី ការផ្លាស់ប្តូរល្បឿននៃការបង្វិលរបស់ម៉ូទ័រ និងចលនាដែលអាចបត់បែនបានផ្សេងទៀត។

ដូចដែលយើងអាចមើលឃើញនៅក្នុងដ្យាក្រាមខាងលើការផ្លាស់ប្តូរប៉ារ៉ាម៉ែត្រផ្សេងៗនាំឱ្យមានការផ្លាស់ប្តូរទិសដៅនៃចលនារបស់ copter ។ ឧទាហរណ៍ការថយចុះឬបង្កើនល្បឿននៃការបង្វិលរបស់ rotors ឆ្វេងនិងស្តាំបង្កើតជាវិល។ នេះអនុញ្ញាតឱ្យ Drone ហោះហើរទៅមុខ ឬថយក្រោយ។

តាមរយៈការផ្លាស់ប្តូរល្បឿន និងទិសដៅរបស់ម៉ូទ័រ យើងកំណត់មុំលំអៀងដែលអនុញ្ញាតឱ្យ copter ផ្លាស់ទីក្នុងទិសដៅផ្សេងទៀត។ ជាការពិតណាស់សម្រាប់គម្រោងបច្ចុប្បន្នមិនចាំបាច់សិក្សាពីលំហអាកាសទេ អ្នកគ្រាន់តែត្រូវយល់អំពីគោលការណ៍ជាមូលដ្ឋានប៉ុណ្ណោះ។

របៀបដែល Parrot ARDrone ដំណើរការ

Drone គឺជា Wi-Fi hotspot ។ ដើម្បីទទួលបាននិងផ្ញើពាក្យបញ្ជាទៅ copter អ្នកត្រូវភ្ជាប់ទៅចំណុចនេះ។ មានកម្មវិធីផ្សេងគ្នាជាច្រើនដែលអនុញ្ញាតឱ្យអ្នកគ្រប់គ្រង quadcopters ។ វាទាំងអស់មើលទៅដូចនេះ៖

ដរាបណា Drone ត្រូវបានភ្ជាប់ សូមបើកស្ថានីយ និង telnet 192.168.1.1 - នេះគឺជា IP របស់ copter ។ សម្រាប់លីនុចអ្នកអាចប្រើ លីនុច Busybox.

ស្ថាបត្យកម្មកម្មវិធី

កូដរបស់យើងនឹងបែងចែកជាម៉ូឌុលដូចខាងក្រោមៈ

• ចំណុចប្រទាក់អ្នកប្រើជាមួយ API ការនិយាយសម្រាប់ការរកឃើញសំឡេង;
• ត្រងពាក្យបញ្ជា និងប្រៀបធៀបជាមួយស្តង់ដារ។
• ផ្ញើពាក្យបញ្ជាទៅយន្តហោះគ្មានមនុស្សបើក;
• ការផ្សាយបន្តផ្ទាល់វីដេអូ។

API ដំណើរការដរាបណាមានការតភ្ជាប់អ៊ីនធឺណិត។ ដើម្បី​ប្រាកដ​ថា​វា យើង​បន្ថែម​ការ​តភ្ជាប់​អ៊ីសឺរណិត។

ដល់ពេលបង្កើតកម្មវិធីហើយ!

កូដ

ដំបូង យើងបង្កើតថតថ្មីមួយ ហើយប្តូរទៅវាដោយប្រើស្ថានីយ។

បន្ទាប់មកយើងបង្កើតគម្រោង Node ដោយប្រើពាក្យបញ្ជាខាងក្រោម។

ដំបូងយើងដំឡើងភាពអាស្រ័យដែលត្រូវការ។

ល្ងាចដំឡើង 

យើងនឹងគាំទ្រពាក្យបញ្ជាខាងក្រោម៖

• ហោះឡើង;
• ការចុះចត;
• ឡើង - យន្តហោះគ្មានមនុស្សបើកកើនឡើងកន្លះម៉ែត្រហើយហោះឡើង;
• ចុះក្រោម - ធ្លាក់កន្លះម៉ែត្រនិងបង្កក;
• ទៅខាងឆ្វេង - ទៅពាក់កណ្តាលម៉ែត្រទៅខាងឆ្វេង;
• ទៅខាងស្តាំ - ទៅពាក់កណ្តាលម៉ែត្រទៅខាងស្តាំ;
• ការបង្វិល - បង្វិលតាមទ្រនិចនាឡិកា 90 ដឺក្រេ;
• ទៅមុខ - ទៅមុខកន្លះម៉ែត្រ;
• ត្រឡប់មកវិញ - ត្រឡប់មកវិញកន្លះម៉ែត្រ;
• ឈប់

នេះគឺជាកូដដែលអនុញ្ញាតឱ្យអ្នកទទួលយកពាក្យបញ្ជា ត្រងពួកវា និងគ្រប់គ្រងយន្តហោះគ្មានមនុស្សបើក។

const express = require('express');
const bodyparser = require('body-parser');
var arDrone = require('ar-drone');
const router = express.Router();
const app = express();
const commands = ['takeoff', 'land','up','down','goleft','goright','turn','goforward','gobackward','stop'];
 
var drone  = arDrone.createClient();
// disable emergency
drone.disableEmergency();
// express
app.use(bodyparser.json());
app.use(express.static(__dirname + '/public'));
 
router.get('/',(req,res) => {
    res.sendFile('index.html');
});
 
router.post('/command',(req,res) => {
    console.log('command recieved ', req.body);
    console.log('existing commands', commands);
    let command = req.body.command.replace(/ /g,'');
    if(commands.indexOf(command) !== -1) {
        switch(command.toUpperCase()) {
            case "TAKEOFF":
                console.log('taking off the drone');
                drone.takeoff();
            break;
            case "LAND":
                console.log('landing the drone');
                drone.land();
            break;
            case "UP":
                console.log('taking the drone up half meter');
                drone.up(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "DOWN":
                console.log('taking the drone down half meter');
                drone.down(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOLEFT":
                console.log('taking the drone left 1 meter');
                drone.left(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "GORIGHT":
                console.log('taking the drone right 1 meter');
                drone.right(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "TURN":
                console.log('turning the drone');
                drone.clockwise(0.4);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOFORWARD":
                console.log('moving the drone forward by 1 meter');
                drone.front(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOBACKWARD":
                console.log('moving the drone backward 1 meter');
                drone.back(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "STOP":
                drone.stop();
            break;
            default:
            break;    
        }
    }
    res.send('OK');
});
 
app.use('/',router);
 
app.listen(process.env.port || 3000);

ហើយនេះគឺជាកូដ HTML និង JavaScript ដែលស្តាប់អ្នកប្រើប្រាស់ និងផ្ញើពាក្យបញ្ជាទៅកាន់ម៉ាស៊ីនមេ Node ។

<!DOCTYPE html>
    <head>
        <meta charset="utf-8">
        <meta http-equiv="X-UA-Compatible" content="IE=edge">
        <title>Voice Controlled Notes App</title>
        <meta name="description" content="">
        <meta name="viewport" content="width=device-width, initial-scale=1">
        <link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/shoelace-css/1.0.0-beta16/shoelace.css">
        <link rel="stylesheet" href="styles.css">
 
    </head>
    <body>
        <div class="container">
 
            <h1>Voice Controlled Drone</h1>
            <p class="page-description">A tiny app that allows you to control AR drone using voice</p>
 
            <h3 class="no-browser-support">Sorry, Your Browser Doesn't Support the Web Speech API. Try Opening This Demo In Google Chrome.</h3>
 
            <div class="app">
                <h3>Give the command</h3>
                <div class="input-single">
                    <textarea id="note-textarea" placeholder="Create a new note by typing or using voice recognition." rows="6"></textarea>
                </div>    
                <button id="start-record-btn" title="Start Recording">Start Recognition</button>
                <button id="pause-record-btn" title="Pause Recording">Pause Recognition</button>
                <p id="recording-instructions">Press the <strong>Start Recognition</strong> button and allow access.</p>
 
            </div>
 
        </div>
 
        <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
        <script src="script.js"></script>
 
    </body>
</html>

ហើយ​ក៏​មាន​កូដ JavaScript ដើម្បី​ធ្វើ​ការ​ជាមួយ​នឹង​ការ​បញ្ជា​ជា​សំឡេង ដោយ​ផ្ញើ​ពួក​វា​ទៅ​ម៉ាស៊ីន​បម្រើ Node។

try {
 var SpeechRecognition = window.SpeechRecognition || window.webkitSpeechRecognition;
 var recognition = new SpeechRecognition();
 }
 catch(e) {
 console.error(e);
 $('.no-browser-support').show();
 $('.app').hide();
 }
// other code, please refer GitHub source
recognition.onresult = function(event) {
// event is a SpeechRecognitionEvent object.
// It holds all the lines we have captured so far.
 // We only need the current one.
 var current = event.resultIndex;
// Get a transcript of what was said.
var transcript = event.results[current][0].transcript;
// send it to the backend
$.ajax({
 type: 'POST',
 url: '/command/',
 data: JSON.stringify({command: transcript}),
 success: function(data) { console.log(data) },
 contentType: "application/json",
 dataType: 'json'
 });
};

ការបើកដំណើរការកម្មវិធី

កម្មវិធីអាចត្រូវបានបើកដំណើរការដូចខាងក្រោម (វាមានសារៈសំខាន់ក្នុងការធ្វើឱ្យប្រាកដថា copter ត្រូវបានភ្ជាប់ទៅ Wi-Fi ហើយខ្សែ Ethernet ត្រូវបានភ្ជាប់ទៅកុំព្យូទ័រ)។

បើក localhost:3000 នៅក្នុង browser ហើយចុច Start Recognition។

យើងព្យាយាមគ្រប់គ្រងយន្តហោះគ្មានមនុស្សបើក ហើយសប្បាយចិត្ត។

ការផ្សាយវីដេអូពីយន្តហោះគ្មានមនុស្សបើក

នៅក្នុងគម្រោង បង្កើតឯកសារថ្មី ហើយចម្លងកូដនេះនៅទីនោះ៖

const http = require("http");
const drone = require("dronestream");
 
const server = http.createServer(function(req, res) {
 
require("fs").createReadStream(__dirname + "/public/video.html").pipe(res);
 });
 
drone.listen(server);
 
server.listen(4000);

ហើយនេះគឺជាកូដ HTML យើងដាក់វានៅខាងក្នុងថតសាធារណៈ។

<!doctype html>
 <html>
 <head>
 <meta http-equiv="content-type" content="text/html; charset=utf-8">
 <title>Stream as module</title>
 <script src="/dronestream/nodecopter-client.js" type="text/javascript" charset="utf-8"></script>
 </head>
 <body>
 <h1 id="heading">Drone video stream</h1>
 <div id="droneStream" style="width: 640px; height: 360px"> </div>
 
<script type="text/javascript" charset="utf-8">
 
new NodecopterStream(document.getElementById("droneStream"));
 
</script>
 
</body>
</html>

បើកដំណើរការ ហើយភ្ជាប់ទៅ localhost:8080 ដើម្បីមើលវីដេអូពីកាមេរ៉ាខាងមុខ។

ជំនួយមានប្រយោជន៍

• ហោះហើរ Drone នេះក្នុងផ្ទះ។
• ត្រូវដាក់គម្របការពារនៅលើ Drone របស់អ្នកមុនពេលហោះឡើង។
• ពិនិត្យមើលថាតើថ្មត្រូវបានសាកឬអត់។
• ប្រសិនបើ Drone មានឥរិយាបទចម្លែក សូមសង្កត់វាចុះ ហើយត្រឡប់វាពីលើ។ សកម្មភាពនេះនឹងដាក់ copter ចូលទៅក្នុងរបៀបសង្គ្រោះបន្ទាន់ ហើយ rotors នឹងឈប់ភ្លាមៗ។

កូដ និងការបង្ហាញរួចរាល់

ផ្ទាល់ DEMO

ទាញយក

បានកើតឡើង!

សរសេរ​កូដ​រួច​មើល​ម៉ាស៊ីន​ចាប់​ផ្ដើម​ស្ដាប់​បង្គាប់​នឹង​ផ្ដល់​ភាព​រីករាយ! ឥឡូវនេះ យើង​បាន​រក​ឃើញ​ពី​របៀប​បង្រៀន​យន្តហោះ​គ្មាន​មនុស្ស​បើក​ឱ្យ​ស្តាប់​ការ​បញ្ជា​ដោយ​សំឡេង។ តាមពិតទៅ មានលទ្ធភាពជាច្រើនទៀត៖ ការសម្គាល់មុខរបស់អ្នកប្រើប្រាស់ ការហោះហើរដោយស្វ័យប្រវត្តិ ការសម្គាល់កាយវិការ និងច្រើនទៀត។

តើអ្នកអាចផ្តល់យោបល់អ្វីខ្លះដើម្បីកែលម្អកម្មវិធី?

Skillbox ណែនាំ៖

• បានអនុវត្តវគ្គសិក្សាតាមអ៊ីនធឺណិត "អ្នកវិភាគទិន្នន័យ Python".
• វគ្គសិក្សាតាមអ៊ីនធឺណិត "អ្នកអភិវឌ្ឍន៍មុខជំនាញ".
• វគ្គសិក្សាជាក់ស្តែងឆ្នាំ "អ្នកអភិវឌ្ឍន៍ PHP ពី 0 ដល់ PRO".

ប្រភព: www.habr.com