เราตั้งโปรแกรมการควบคุมด้วยเสียงของคอปเตอร์โดยใช้ Node.js และ ARDrone

ในบทช่วยสอนนี้ เราจะดูที่การสร้างโปรแกรมสำหรับโดรนพร้อมการควบคุมด้วยเสียงโดยใช้ Node.js และ Web Speech API คอปเตอร์ - นกแก้ว ARDrone 2.0.

เราเตือนคุณ: สำหรับผู้อ่าน "Habr" ทุกคน - ส่วนลด 10 rubles เมื่อลงทะเบียนในหลักสูตร Skillbox ใด ๆ โดยใช้รหัสส่งเสริมการขาย "Habr"

Skillbox แนะนำ: หลักสูตรภาคปฏิบัติ "นักพัฒนามือถือ PRO".

การแนะนำ

โดรนนั้นน่าทึ่งมาก ฉันสนุกกับการเล่นกับรถ Quad ของฉัน ถ่ายรูปและวิดีโอ หรือแค่สนุกสนาน แต่ยานพาหนะทางอากาศไร้คนขับ (UAV) ถูกนำมาใช้เพื่อความบันเทิงมากกว่า พวกมันทำงานในโรงภาพยนตร์ ศึกษาธารน้ำแข็ง และถูกใช้โดยกองทัพและตัวแทนภาคเกษตรกรรม

ในบทช่วยสอนนี้ เราจะดูที่การสร้างโปรแกรมที่จะช่วยให้คุณควบคุมโดรนได้ โดยใช้คำสั่งเสียง ใช่ คอปเตอร์จะทำในสิ่งที่คุณบอกให้ทำ ในตอนท้ายของบทความจะมีโปรแกรมและวิดีโอการควบคุม UAV สำเร็จรูป

เหล็ก

เราต้องการสิ่งต่อไปนี้:

• นกแก้ว ARDrone 2.0;
• สายอีเธอร์เน็ต;
• ไมโครโฟนที่ดี

การพัฒนาและการจัดการจะดำเนินการบนเวิร์กสเตชันที่ใช้ Windows/Mac/Ubuntu โดยส่วนตัวแล้วฉันทำงานกับ Mac และ Ubuntu 18.04

ซอฟต์แวร์

ดาวน์โหลด Node.js เวอร์ชันล่าสุดได้จาก เว็บไซต์อย่างเป็นทางการ.

จำเป็นด้วย Google Chrome เวอร์ชันล่าสุด.

ทำความเข้าใจกับคอปเตอร์

มาลองทำความเข้าใจว่า Parrot ARDrone ทำงานอย่างไร คอปเตอร์นี้มีมอเตอร์สี่ตัว

มอเตอร์ตรงข้ามทำงานในทิศทางเดียวกัน คู่หนึ่งหมุนตามเข็มนาฬิกา อีกคู่หมุนทวนเข็มนาฬิกา โดรนเคลื่อนที่โดยการเปลี่ยนมุมเอียงที่สัมพันธ์กับพื้นผิวโลก เปลี่ยนความเร็วในการหมุนของมอเตอร์ และการเคลื่อนไหวที่คล่องแคล่วอื่นๆ

ดังที่เราเห็นในแผนภาพด้านบน การเปลี่ยนแปลงพารามิเตอร์ต่างๆ ทำให้เกิดการเปลี่ยนแปลงทิศทางการเคลื่อนที่ของคอปเตอร์ ตัวอย่างเช่น การลดหรือเพิ่มความเร็วในการหมุนของโรเตอร์ด้านซ้ายและขวาจะทำให้เกิดการหมุน ช่วยให้โดรนบินไปข้างหน้าหรือข้างหลังได้

ด้วยการเปลี่ยนความเร็วและทิศทางของมอเตอร์ เราจึงกำหนดมุมเอียงเพื่อให้คอปเตอร์เคลื่อนที่ไปในทิศทางอื่นได้ จริงๆ แล้วโปรเจ็กต์ปัจจุบันไม่จำเป็นต้องศึกษาเรื่องอากาศพลศาสตร์ แค่ต้องเข้าใจหลักการพื้นฐานเท่านั้น

Parrot ARDrone ทำงานอย่างไร

โดรนคือฮอตสปอต Wi-Fi หากต้องการรับและส่งคำสั่งไปยังคอปเตอร์ คุณต้องเชื่อมต่อจุดนี้ มีแอปพลิเคชั่นมากมายที่ให้คุณควบคุมควอดคอปเตอร์ได้ ทุกอย่างมีลักษณะดังนี้:

ทันทีที่เชื่อมต่อโดรนแล้ว ให้เปิดเทอร์มินัลแล้ว telnet 192.168.1.1 - นี่คือ IP ของคอปเตอร์ สำหรับ Linux คุณสามารถใช้ได้ ลินุกซ์ Busybox.

สถาปัตยกรรมแอปพลิเคชัน

รหัสของเราจะแบ่งออกเป็นโมดูลต่อไปนี้:

• ส่วนต่อประสานกับผู้ใช้พร้อม API คำพูดสำหรับการตรวจจับเสียง
• การกรองคำสั่งและการเปรียบเทียบกับมาตรฐาน
• การส่งคำสั่งไปยังโดรน
• การถ่ายทอดสดวิดีโอ

API ทำงานตราบเท่าที่มีการเชื่อมต่ออินเทอร์เน็ต เพื่อให้มั่นใจในสิ่งนี้ เราได้เพิ่มการเชื่อมต่ออีเทอร์เน็ต

ถึงเวลาสร้างแอปพลิเคชันแล้ว!

รหัส

ขั้นแรก เรามาสร้างโฟลเดอร์ใหม่และสลับไปที่โฟลเดอร์นั้นโดยใช้เทอร์มินัล

จากนั้นเราสร้างโครงการโหนดโดยใช้คำสั่งด้านล่าง

ขั้นแรก เราติดตั้งการขึ้นต่อกันที่จำเป็น

ติดตั้ง NPM 

เราจะสนับสนุนคำสั่งต่อไปนี้:

• ถอดออก;
• ลงจอด;
• ขึ้น - โดรนสูงขึ้นครึ่งเมตรและบินวน;
• ลง - ตกลงไปครึ่งเมตรและค้าง
• ไปทางซ้าย - ไปทางซ้ายครึ่งเมตร
• ไปทางขวา - ไปทางขวาครึ่งเมตร
• การหมุน - หมุนตามเข็มนาฬิกา 90 องศา;
• ไปข้างหน้า - ไปข้างหน้าครึ่งเมตร
• กลับ - กลับไปครึ่งเมตร
• หยุด.

นี่คือโค้ดที่ให้คุณยอมรับคำสั่ง กรอง และควบคุมโดรน

const express = require('express');
const bodyparser = require('body-parser');
var arDrone = require('ar-drone');
const router = express.Router();
const app = express();
const commands = ['takeoff', 'land','up','down','goleft','goright','turn','goforward','gobackward','stop'];
 
var drone  = arDrone.createClient();
// disable emergency
drone.disableEmergency();
// express
app.use(bodyparser.json());
app.use(express.static(__dirname + '/public'));
 
router.get('/',(req,res) => {
    res.sendFile('index.html');
});
 
router.post('/command',(req,res) => {
    console.log('command recieved ', req.body);
    console.log('existing commands', commands);
    let command = req.body.command.replace(/ /g,'');
    if(commands.indexOf(command) !== -1) {
        switch(command.toUpperCase()) {
            case "TAKEOFF":
                console.log('taking off the drone');
                drone.takeoff();
            break;
            case "LAND":
                console.log('landing the drone');
                drone.land();
            break;
            case "UP":
                console.log('taking the drone up half meter');
                drone.up(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "DOWN":
                console.log('taking the drone down half meter');
                drone.down(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOLEFT":
                console.log('taking the drone left 1 meter');
                drone.left(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "GORIGHT":
                console.log('taking the drone right 1 meter');
                drone.right(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "TURN":
                console.log('turning the drone');
                drone.clockwise(0.4);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOFORWARD":
                console.log('moving the drone forward by 1 meter');
                drone.front(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOBACKWARD":
                console.log('moving the drone backward 1 meter');
                drone.back(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "STOP":
                drone.stop();
            break;
            default:
            break;    
        }
    }
    res.send('OK');
});
 
app.use('/',router);
 
app.listen(process.env.port || 3000);

และนี่คือโค้ด HTML และ JavaScript ที่รับฟังผู้ใช้และส่งคำสั่งไปยังเซิร์ฟเวอร์โหนด

<!DOCTYPE html>
    <head>
        <meta charset="utf-8">
        <meta http-equiv="X-UA-Compatible" content="IE=edge">
        <title>Voice Controlled Notes App</title>
        <meta name="description" content="">
        <meta name="viewport" content="width=device-width, initial-scale=1">
        <link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/shoelace-css/1.0.0-beta16/shoelace.css">
        <link rel="stylesheet" href="styles.css">
 
    </head>
    <body>
        <div class="container">
 
            <h1>Voice Controlled Drone</h1>
            <p class="page-description">A tiny app that allows you to control AR drone using voice</p>
 
            <h3 class="no-browser-support">Sorry, Your Browser Doesn't Support the Web Speech API. Try Opening This Demo In Google Chrome.</h3>
 
            <div class="app">
                <h3>Give the command</h3>
                <div class="input-single">
                    <textarea id="note-textarea" placeholder="Create a new note by typing or using voice recognition." rows="6"></textarea>
                </div>    
                <button id="start-record-btn" title="Start Recording">Start Recognition</button>
                <button id="pause-record-btn" title="Pause Recording">Pause Recognition</button>
                <p id="recording-instructions">Press the <strong>Start Recognition</strong> button and allow access.</p>
 
            </div>
 
        </div>
 
        <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
        <script src="script.js"></script>
 
    </body>
</html>

และยังมีโค้ด JavaScript เพื่อทำงานกับคำสั่งเสียงโดยส่งไปยังเซิร์ฟเวอร์ Node

try {
 var SpeechRecognition = window.SpeechRecognition || window.webkitSpeechRecognition;
 var recognition = new SpeechRecognition();
 }
 catch(e) {
 console.error(e);
 $('.no-browser-support').show();
 $('.app').hide();
 }
// other code, please refer GitHub source
recognition.onresult = function(event) {
// event is a SpeechRecognitionEvent object.
// It holds all the lines we have captured so far.
 // We only need the current one.
 var current = event.resultIndex;
// Get a transcript of what was said.
var transcript = event.results[current][0].transcript;
// send it to the backend
$.ajax({
 type: 'POST',
 url: '/command/',
 data: JSON.stringify({command: transcript}),
 success: function(data) { console.log(data) },
 contentType: "application/json",
 dataType: 'json'
 });
};

เปิดตัวแอปพลิเคชั่น

สามารถเปิดโปรแกรมได้ดังต่อไปนี้ (สิ่งสำคัญคือต้องแน่ใจว่าคอปเตอร์เชื่อมต่อกับ Wi-Fi และเชื่อมต่อสายอีเธอร์เน็ตกับคอมพิวเตอร์)

เปิด localhost:3000 ในเบราว์เซอร์แล้วคลิกเริ่มการรับรู้

เราพยายามควบคุมโดรนแล้วมีความสุข

การถ่ายทอดวิดีโอจากโดรน

ในโปรเจ็กต์ ให้สร้างไฟล์ใหม่และคัดลอกโค้ดนี้ที่นั่น:

const http = require("http");
const drone = require("dronestream");
 
const server = http.createServer(function(req, res) {
 
require("fs").createReadStream(__dirname + "/public/video.html").pipe(res);
 });
 
drone.listen(server);
 
server.listen(4000);

และนี่คือโค้ด HTML ที่เราวางไว้ในโฟลเดอร์สาธารณะ

<!doctype html>
 <html>
 <head>
 <meta http-equiv="content-type" content="text/html; charset=utf-8">
 <title>Stream as module</title>
 <script src="/dronestream/nodecopter-client.js" type="text/javascript" charset="utf-8"></script>
 </head>
 <body>
 <h1 id="heading">Drone video stream</h1>
 <div id="droneStream" style="width: 640px; height: 360px"> </div>
 
<script type="text/javascript" charset="utf-8">
 
new NodecopterStream(document.getElementById("droneStream"));
 
</script>
 
</body>
</html>

เปิดและเชื่อมต่อกับ localhost:8080 เพื่อดูวิดีโอจากกล้องหน้า

เคล็ดลับที่เป็นประโยชน์

• บินโดรนนี้ในบ้าน
• ใส่ฝาครอบป้องกันบนโดรนของคุณทุกครั้งก่อนบินขึ้น
• ตรวจสอบว่าแบตเตอรี่ชาร์จอยู่หรือไม่
• หากโดรนมีพฤติกรรมแปลกๆ ให้กดค้างไว้แล้วพลิกกลับ การกระทำนี้จะทำให้คอปเตอร์เข้าสู่โหมดฉุกเฉิน และโรเตอร์จะหยุดทันที

รหัสพร้อมและการสาธิต

การสาธิตสด

ดาวน์โหลด

เกิดขึ้น!

การเขียนโค้ดแล้วดูเครื่องเริ่มเชื่อฟังจะทำให้คุณมีความสุข! ตอนนี้เราได้รู้วิธีสอนโดรนให้ฟังคำสั่งเสียงแล้ว ในความเป็นจริง มีความเป็นไปได้อีกมากมาย: การจดจำใบหน้าของผู้ใช้ การบินอัตโนมัติ การจดจำท่าทาง และอื่นๆ อีกมากมาย

คุณสามารถแนะนำอะไรเพื่อปรับปรุงโปรแกรมได้บ้าง?

Skillbox แนะนำ:

• สมัครเรียนออนไลน์ “นักวิเคราะห์ข้อมูลหลาม”.
• คอร์สออนไลน์ “นักพัฒนาส่วนหน้ามืออาชีพ”.
• หลักสูตรปีปฏิบัติ "นักพัฒนา PHP จาก 0 ถึง PRO".

ที่มา: will.com