ພວກເຮົາຕັ້ງໂປຣແກຣມຄວບຄຸມສຽງຂອງ copter ໂດຍໃຊ້ Node.js ແລະ ARDrone

ໃນບົດສອນນີ້, ພວກເຮົາຈະຍ່າງຜ່ານການສ້າງໂຄງການ drone ທີ່ມີການຄວບຄຸມສຽງໂດຍໃຊ້ Node.js ແລະ Web speech API. Copter - Parrot ARDrone 2.0.

ພວກເຮົາເຕືອນ: ສໍາລັບຜູ້ອ່ານທັງຫມົດຂອງ "Habr" - ສ່ວນຫຼຸດ 10 rubles ເມື່ອລົງທະບຽນໃນຫຼັກສູດ Skillbox ໂດຍໃຊ້ລະຫັດສົ່ງເສີມ "Habr".

Skillbox ແນະນໍາ: ຫຼັກສູດພາກປະຕິບັດ "ຜູ້ພັດທະນາມືຖື PRO".

ການນໍາສະເຫນີ

Drones ແມ່ນເຮັດໃຫ້ປະລາດ. ຂ້ອຍມັກຫຼີ້ນກັບ quadcopter ຂອງຂ້ອຍ, ຖ່າຍຮູບແລະວິດີໂອ, ຫຼືພຽງແຕ່ມີຄວາມມ່ວນ. ​ແຕ່​ຍານ​ອາ​ວະ​ກາດ​ບໍ່​ມີ​ຄົນ​ຂັບ (UAVs) ຖືກ​ນຳ​ໃຊ້​ເພື່ອ​ຄວາມ​ບັນ​ເທີງ​ຫຼາຍ​ກວ່າ​ພຽງ​ແຕ່. ພວກເຂົາເຈົ້າເຮັດວຽກຢູ່ໃນ cinema, ການສຶກສາ glaciers, ຖືກນໍາໃຊ້ໂດຍທະຫານແລະຜູ້ຕາງຫນ້າຂອງຂະແຫນງການກະສິກໍາ.

ໃນ tutorial ນີ້, ພວກເຮົາຈະຍ່າງຜ່ານການສ້າງໂຄງການທີ່ຈະຊ່ວຍໃຫ້ທ່ານສາມາດຄວບຄຸມ drone ໄດ້. ການ​ນໍາ​ໃຊ້​ຄໍາ​ສັ່ງ​ສຽງ​. ແມ່ນແລ້ວ, copter ຈະເຮັດສິ່ງທີ່ທ່ານບອກມັນ. ໃນຕອນທ້າຍຂອງບົດຄວາມ - ໂຄງການສໍາເລັດຮູບແລະວິດີໂອຂອງການຄວບຄຸມ UAV.

ເຫລໍກ

ພວກເຮົາຕ້ອງການສິ່ງຕໍ່ໄປນີ້:

• Parrot ARDrone 2.0;
• ສາຍອີເທີເນັດ;
• ໄມໂຄໂຟນທີ່ດີ.

ການ​ພັດ​ທະ​ນາ​ແລະ​ການ​ຄຸ້ມ​ຄອງ​ຈະ​ໄດ້​ຮັບ​ການ​ປະ​ຕິ​ບັດ​ໃນ​ສະ​ຖາ​ນີ​ເຮັດ​ວຽກ​ກັບ Windows / Mac / Ubuntu​. ສ່ວນບຸກຄົນ, ຂ້າພະເຈົ້າໄດ້ເຮັດວຽກກັບ Mac ແລະ Ubuntu 18.04.

Software

ດາວໂຫລດເວີຊັນຫຼ້າສຸດຂອງ Node.js ຈາກ ເວັບໄຊຢ່າງເປັນທາງການ.

ຍັງຕ້ອງການ ເວີຊັນຫຼ້າສຸດຂອງ google chrome.

ການຈັດການກັບ copter ໄດ້

ໃຫ້ພະຍາຍາມເຂົ້າໃຈວິທີການເຮັດວຽກຂອງ Parrot ARDrone. quad ນີ້ມີສີ່ motors.

ມໍເຕີທີ່ກົງກັນຂ້າມແລ່ນໄປໃນທິດທາງດຽວກັນ. ຄູ່ໜຶ່ງໝູນຕາມເຂັມໂມງ, ອີກຄູ່ໜຶ່ງໝູນຕາມເຂັມໂມງ. drone ເຄື່ອນຍ້າຍໂດຍການປ່ຽນແປງມຸມຂອງ inclination ທຽບກັບພື້ນດິນ, ການປ່ຽນແປງຄວາມໄວຂອງການຫມຸນຂອງມໍເຕີ, ແລະການເຄື່ອນໄຫວ maneuvering ຫຼາຍ.

ດັ່ງທີ່ພວກເຮົາສາມາດເຫັນໄດ້ໃນແຜນວາດຂ້າງເທິງ, ການປ່ຽນແປງຕົວກໍານົດການຕ່າງໆນໍາໄປສູ່ການປ່ຽນແປງໃນທິດທາງຂອງການເຄື່ອນໄຫວຂອງ copter. ຕົວຢ່າງ, ການຫຼຸດລົງຫຼືເພີ່ມຂຶ້ນໃນຄວາມໄວຂອງການຫມຸນຂອງ rotors ຊ້າຍແລະຂວາສ້າງມ້ວນ. ນີ້ອະນຸຍາດໃຫ້ drone ບິນໄປຂ້າງຫນ້າຫຼືຖອຍຫຼັງ.

ໂດຍການປ່ຽນແປງຄວາມໄວແລະທິດທາງຂອງການເຄື່ອນໄຫວຂອງມໍເຕີ, ພວກເຮົາກໍານົດມຸມຂອງ inclination, ໃຫ້ copter ຍ້າຍອອກໄປໃນທິດທາງອື່ນ. ໃນຄວາມເປັນຈິງ, ສໍາລັບໂຄງການໃນປະຈຸບັນ, ທ່ານບໍ່ຈໍາເປັນຕ້ອງສຶກສາ aerodynamics, ທ່ານພຽງແຕ່ຕ້ອງການເຂົ້າໃຈຫຼັກການພື້ນຖານ.

ວິທີການເຮັດວຽກຂອງ Parrot ARDrone

drone ແມ່ນ Wi-Fi ຮັອດສະປອດ. ເພື່ອຮັບແລະສົ່ງຄໍາສັ່ງກັບ copter, ທ່ານຈໍາເປັນຕ້ອງເຊື່ອມຕໍ່ກັບຈຸດນີ້. ມີຫຼາຍຄໍາຮ້ອງສະຫມັກທີ່ແຕກຕ່າງກັນທີ່ອະນຸຍາດໃຫ້ທ່ານສາມາດຄວບຄຸມ quadcopters. ມັນທັງຫມົດເບິ່ງຄືວ່ານີ້:

ເມື່ອ drone ຖືກເຊື່ອມຕໍ່, ເປີດ terminal ແລະ telnet 192.168.1.1 ແມ່ນ IP ຂອງ copter ໄດ້. ສໍາລັບ Linux ທ່ານສາມາດນໍາໃຊ້ Linux Busybox.

ສະຖາປັດຕະຍະກໍາຄໍາຮ້ອງສະຫມັກ

ລະຫັດຂອງພວກເຮົາຈະຖືກແບ່ງອອກເປັນໂມດູນຕໍ່ໄປນີ້:

• ການໂຕ້ຕອບຜູ້ໃຊ້ທີ່ມີ API ການປາກເວົ້າສໍາລັບການກວດພົບສຽງ;
• ການກັ່ນຕອງຄໍາສັ່ງແລະການປຽບທຽບກັບມາດຕະຖານ;
• ສົ່ງຄໍາສັ່ງກັບ drone ໄດ້;
• ວິດີໂອສົດ.

API ເຮັດວຽກຂຶ້ນກັບການເຊື່ອມຕໍ່ອິນເຕີເນັດ. ເພື່ອສະໜອງມັນ, ພວກເຮົາເພີ່ມການເຊື່ອມຕໍ່ອີເທີເນັດ.

ຮອດເວລາສ້າງແອັບແລ້ວ!

Kodim

ທໍາອິດ, ໃຫ້ສ້າງໂຟນເດີໃຫມ່ແລະສະຫຼັບກັບມັນໂດຍໃຊ້ terminal.

ຫຼັງຈາກນັ້ນ, ພວກເຮົາສ້າງໂຄງການ Node ໂດຍໃຊ້ຄໍາສັ່ງຕໍ່ໄປນີ້.

ກ່ອນອື່ນ ໝົດ, ຕິດຕັ້ງການເພິ່ງພາອາໄສທີ່ຕ້ອງການ.

npm ຕິດຕັ້ງ 

ພວກເຮົາຈະສະຫນັບສະຫນູນຄໍາສັ່ງຕໍ່ໄປນີ້:

• ຖອດ;
• ລົງຈອດ;
• up — drone ເພີ່ມ​ຂຶ້ນ​ເຄິ່ງ​ແມັດ​ແລະ freezes​;
• ລົງ - ຫຼຸດລົງເຄິ່ງຫນຶ່ງແມັດແລະ freezes;
• ຊ້າຍ - ໄປເຄິ່ງຫນຶ່ງແມັດໄປທາງຊ້າຍ;
• ໄປທາງຂວາ - ໄປເຄິ່ງແມັດໄປທາງຂວາ;
• rotation - rotates ຕາມເຂັມໂມງໂດຍ 90 ອົງສາ;
• forward - ໄປຂ້າງຫນ້າເຄິ່ງຫນຶ່ງແມັດ;
• back - ກັບໄປເຄິ່ງແມັດ;
• ຢຸດ.

ນີ້ແມ່ນລະຫັດທີ່ອະນຸຍາດໃຫ້ທ່ານໄດ້ຮັບຄໍາສັ່ງ, ການກັ່ນຕອງໃຫ້ເຂົາເຈົ້າແລະຄວບຄຸມ drone ໄດ້.

const express = require('express');
const bodyparser = require('body-parser');
var arDrone = require('ar-drone');
const router = express.Router();
const app = express();
const commands = ['takeoff', 'land','up','down','goleft','goright','turn','goforward','gobackward','stop'];
 
var drone  = arDrone.createClient();
// disable emergency
drone.disableEmergency();
// express
app.use(bodyparser.json());
app.use(express.static(__dirname + '/public'));
 
router.get('/',(req,res) => {
    res.sendFile('index.html');
});
 
router.post('/command',(req,res) => {
    console.log('command recieved ', req.body);
    console.log('existing commands', commands);
    let command = req.body.command.replace(/ /g,'');
    if(commands.indexOf(command) !== -1) {
        switch(command.toUpperCase()) {
            case "TAKEOFF":
                console.log('taking off the drone');
                drone.takeoff();
            break;
            case "LAND":
                console.log('landing the drone');
                drone.land();
            break;
            case "UP":
                console.log('taking the drone up half meter');
                drone.up(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "DOWN":
                console.log('taking the drone down half meter');
                drone.down(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOLEFT":
                console.log('taking the drone left 1 meter');
                drone.left(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "GORIGHT":
                console.log('taking the drone right 1 meter');
                drone.right(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "TURN":
                console.log('turning the drone');
                drone.clockwise(0.4);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOFORWARD":
                console.log('moving the drone forward by 1 meter');
                drone.front(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOBACKWARD":
                console.log('moving the drone backward 1 meter');
                drone.back(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "STOP":
                drone.stop();
            break;
            default:
            break;    
        }
    }
    res.send('OK');
});
 
app.use('/',router);
 
app.listen(process.env.port || 3000);

ແລະນີ້ແມ່ນລະຫັດ HTML ແລະ JavaScript ທີ່ຟັງຜູ້ໃຊ້ແລະສົ່ງຄໍາສັ່ງໄປຫາເຄື່ອງແມ່ຂ່າຍຂອງ Node.

<!DOCTYPE html>
    <head>
        <meta charset="utf-8">
        <meta http-equiv="X-UA-Compatible" content="IE=edge">
        <title>Voice Controlled Notes App</title>
        <meta name="description" content="">
        <meta name="viewport" content="width=device-width, initial-scale=1">
        <link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/shoelace-css/1.0.0-beta16/shoelace.css">
        <link rel="stylesheet" href="styles.css">
 
    </head>
    <body>
        <div class="container">
 
            <h1>Voice Controlled Drone</h1>
            <p class="page-description">A tiny app that allows you to control AR drone using voice</p>
 
            <h3 class="no-browser-support">Sorry, Your Browser Doesn't Support the Web Speech API. Try Opening This Demo In Google Chrome.</h3>
 
            <div class="app">
                <h3>Give the command</h3>
                <div class="input-single">
                    <textarea id="note-textarea" placeholder="Create a new note by typing or using voice recognition." rows="6"></textarea>
                </div>    
                <button id="start-record-btn" title="Start Recording">Start Recognition</button>
                <button id="pause-record-btn" title="Pause Recording">Pause Recognition</button>
                <p id="recording-instructions">Press the <strong>Start Recognition</strong> button and allow access.</p>
 
            </div>
 
        </div>
 
        <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
        <script src="script.js"></script>
 
    </body>
</html>

ແລະລະຫັດ JavaScript ເພີ່ມເຕີມເພື່ອເຮັດວຽກກັບຄໍາສັ່ງສຽງໂດຍການສົ່ງພວກມັນໄປຫາ Node.

try {
 var SpeechRecognition = window.SpeechRecognition || window.webkitSpeechRecognition;
 var recognition = new SpeechRecognition();
 }
 catch(e) {
 console.error(e);
 $('.no-browser-support').show();
 $('.app').hide();
 }
// other code, please refer GitHub source
recognition.onresult = function(event) {
// event is a SpeechRecognitionEvent object.
// It holds all the lines we have captured so far.
 // We only need the current one.
 var current = event.resultIndex;
// Get a transcript of what was said.
var transcript = event.results[current][0].transcript;
// send it to the backend
$.ajax({
 type: 'POST',
 url: '/command/',
 data: JSON.stringify({command: transcript}),
 success: function(data) { console.log(data) },
 contentType: "application/json",
 dataType: 'json'
 });
};

ການເປີດຕົວຄໍາຮ້ອງສະຫມັກ

ໂປລແກລມສາມາດຖືກເປີດຕົວດັ່ງຕໍ່ໄປນີ້ (ມັນເປັນສິ່ງສໍາຄັນທີ່ຈະເຮັດໃຫ້ແນ່ໃຈວ່າເຄື່ອງບິນໄດ້ເຊື່ອມຕໍ່ກັບ Wi-Fi ແລະສາຍ Ethernet ແມ່ນເຊື່ອມຕໍ່ກັບຄອມພິວເຕີ).

ເປີດ localhost:3000 ໃນ browser ແລະກົດ Start Recognition.

ພວກເຮົາພະຍາຍາມຄວບຄຸມ drone ແລະປິຕິຍິນດີ.

ການຖ່າຍທອດວິດີໂອ Drone

ໃນໂຄງການ, ສ້າງໄຟລ໌ໃຫມ່ແລະຄັດລອກລະຫັດນີ້ຢູ່ທີ່ນັ້ນ:

const http = require("http");
const drone = require("dronestream");
 
const server = http.createServer(function(req, res) {
 
require("fs").createReadStream(__dirname + "/public/video.html").pipe(res);
 });
 
drone.listen(server);
 
server.listen(4000);

ແລະນີ້ແມ່ນລະຫັດ HTML, ພວກເຮົາວາງມັນຢູ່ໃນໂຟນເດີສາທາລະນະ.

<!doctype html>
 <html>
 <head>
 <meta http-equiv="content-type" content="text/html; charset=utf-8">
 <title>Stream as module</title>
 <script src="/dronestream/nodecopter-client.js" type="text/javascript" charset="utf-8"></script>
 </head>
 <body>
 <h1 id="heading">Drone video stream</h1>
 <div id="droneStream" style="width: 640px; height: 360px"> </div>
 
<script type="text/javascript" charset="utf-8">
 
new NodecopterStream(document.getElementById("droneStream"));
 
</script>
 
</body>
</html>

ແລ່ນ ແລະເຊື່ອມຕໍ່ກັບ localhost:8080 ເພື່ອເບິ່ງວິດີໂອຈາກກ້ອງໜ້າ.

Tips Tips

• ຄວບຄຸມ drone ນີ້ຢູ່ໃນເຮືອນ.
• ຄວນໃສ່ຝາປ້ອງກັນໃສ່ drone ກ່ອນຈະອອກ.
• ກວດເບິ່ງວ່າແບດເຕີລີ່ຖືກສາກ.
• ຖ້າ drone ມີພຶດຕິກໍາທີ່ແປກປະຫຼາດ, ຖືມັນຈາກຂ້າງລຸ່ມແລະຫັນມັນ. ການກະ ທຳ ນີ້ຈະເຮັດໃຫ້ເຮືອບິນເຂົ້າໄປໃນໂຫມດສຸກເສີນແລະ rotors ຈະຢຸດທັນທີ.

ພ້ອມລະຫັດ ແລະສາທິດ

ຕົວຢ່າງສົດ

DOWNLOAD

ເກີດຂຶ້ນ!

ຂຽນລະຫັດແລ້ວເບິ່ງວ່າເຄື່ອງເລີ່ມເຊື່ອຟັງແນວໃດ, ມັນຈະໃຫ້ທ່ານມີຄວາມສຸກ! ດຽວນີ້ພວກເຮົາໄດ້ຄິດວິທີສອນ drone ເພື່ອຟັງຄໍາສັ່ງສຽງ. ໃນຄວາມເປັນຈິງ, ມີຫຼາຍຄວາມເປັນໄປໄດ້: ການຮັບຮູ້ໃບຫນ້າຂອງຜູ້ໃຊ້, ການບິນອັດຕະໂນມັດ, ການຮັບຮູ້ທ່າທາງແລະອື່ນໆ.

ທ່ານສາມາດແນະນໍາຫຍັງເພື່ອປັບປຸງໂຄງການ?

Skillbox ແນະນໍາ:

• ຫຼັກສູດອອນໄລນ໌ທີ່ສະຫມັກ "ນັກວິເຄາະຂໍ້ມູນ Python".
• ຫຼັກສູດອອນໄລນ "ນັກພັດທະນາດ້ານຫນ້າດ້ານວິຊາຊີບ".
• ຫຼັກສູດພາກປະຕິບັດ "ນັກພັດທະນາ PHP ຈາກ 0 ເຖິງ PRO".

ແຫຼ່ງຂໍ້ມູນ: www.habr.com