Node.js와 ARDrone을 사용하여 헬리콥터의 음성 제어를 프로그래밍합니다.

이 튜토리얼에서는 Node.js와 웹 음성 API를 사용하여 음성 제어 기능이 있는 드론용 프로그램을 만드는 방법을 살펴보겠습니다. 헬리콥터 - 앵무새 ARDrone 2.0.

알림: "Habr"의 모든 독자를 위한 - "Habr" 프로모션 코드를 사용하여 Skillbox 과정에 등록할 때 10 루블 할인.

Skillbox는 다음을 권장합니다. 실기 코스 "모바일 개발자 PRO".

소개

드론은 놀랍습니다. 나는 쿼드를 가지고 놀거나, 사진과 비디오를 찍거나, 그냥 즐거운 시간을 보내는 것을 정말 좋아합니다. 그러나 무인 항공기(UAV)는 단순한 엔터테인먼트 이상의 용도로 사용됩니다. 그들은 영화계에서 일하고 빙하를 연구하며 군대와 농업 부문 대표자들이 사용합니다.

이번 튜토리얼에서는 드론을 제어할 수 있는 프로그램을 만드는 방법을 살펴보겠습니다. 음성 명령을 사용합니다. 예, 헬리콥터는 귀하가 지시한 대로 수행할 것입니다. 기사 끝에는 UAV 제어에 대한 기성 프로그램과 비디오가 있습니다.

철

우리에게는 다음이 필요합니다:

• 앵무새 ARDrone 2.0;
• 이더넷 케이블;
• 좋은 마이크.

개발 및 관리는 Windows/Mac/Ubuntu가 설치된 워크스테이션에서 수행됩니다. 개인적으로 저는 Mac과 Ubuntu 18.04를 사용하여 작업했습니다.

소프트웨어

다음에서 최신 버전의 Node.js를 다운로드하세요. 공식 사이트.

또한 필요 최신 버전의 Chrome.

헬리콥터 이해하기

Parrot ARDrone의 작동 방식을 이해해 봅시다. 이 헬리콥터에는 XNUMX개의 모터가 있습니다.

반대쪽 모터는 같은 방향으로 작동합니다. 한 쌍은 시계 방향으로, 다른 쌍은 시계 반대 방향으로 회전합니다. 드론은 지구 표면에 대한 경사각을 변경하고 모터의 회전 속도와 기타 여러 가지 조종 가능한 움직임을 변경하여 움직입니다.

위 다이어그램에서 볼 수 있듯이 다양한 매개변수를 변경하면 헬리콥터의 이동 방향이 변경됩니다. 예를 들어 왼쪽 및 오른쪽 로터의 회전 속도를 줄이거나 늘리면 롤이 생성됩니다. 이를 통해 드론이 앞뒤로 비행할 수 있습니다.

모터의 속도와 방향을 변경하여 헬리콥터가 다른 방향으로 움직일 수 있도록 기울기 각도를 설정했습니다. 사실 현재 프로젝트에서는 공기역학을 공부할 필요가 없고 기본 원리만 이해하면 됩니다.

Parrot ARDrone의 작동 방식

드론은 Wi-Fi 핫스팟입니다. 콥터에 명령을 주고 받으려면 이 지점에 연결해야 합니다. 쿼드콥터를 제어할 수 있는 다양한 애플리케이션이 있습니다. 모두 다음과 같습니다.

드론이 연결되자마자 터미널을 열고 Telnet 192.168.1.1 - 헬리콥터의 IP입니다. Linux의 경우 다음을 사용할 수 있습니다. 리눅스 비지박스.

애플리케이션 아키텍처

우리의 코드는 다음 모듈로 나누어집니다:

• 음성 감지를 위한 음성 API가 포함된 사용자 인터페이스;
• 명령을 필터링하고 표준과 비교합니다.
• 드론에 명령을 보내는 것;
• 라이브 비디오 방송.

API는 인터넷에 연결되어 있는 한 작동합니다. 이를 보장하기 위해 이더넷 연결을 추가합니다.

이제 애플리케이션을 만들 차례입니다!

암호

먼저 새 폴더를 만들고 터미널을 사용하여 해당 폴더로 전환해 보겠습니다.

그런 다음 아래 명령을 사용하여 Node 프로젝트를 만듭니다.

먼저 필요한 종속성을 설치합니다.

npm 설치 

우리는 다음 명령을 지원합니다:

• 이륙하다;
• 착륙;
• 위로-드론이 XNUMXm 상승하고 호버링합니다.
• 아래로 - XNUMXm 떨어지고 얼어 붙습니다.
• 왼쪽으로-왼쪽으로 XNUMXm 이동합니다.
• 오른쪽으로-오른쪽으로 XNUMXm 이동합니다.
• 회전 - 시계 방향으로 90도 회전합니다.
• 앞으로 - XNUMXm 앞으로 나아갑니다.
• 뒤로 - 반 미터 뒤로 돌아갑니다.
• 멈추다.

다음은 명령을 수락하고, 필터링하고, 드론을 제어할 수 있는 코드입니다.

const express = require('express');
const bodyparser = require('body-parser');
var arDrone = require('ar-drone');
const router = express.Router();
const app = express();
const commands = ['takeoff', 'land','up','down','goleft','goright','turn','goforward','gobackward','stop'];
 
var drone  = arDrone.createClient();
// disable emergency
drone.disableEmergency();
// express
app.use(bodyparser.json());
app.use(express.static(__dirname + '/public'));
 
router.get('/',(req,res) => {
    res.sendFile('index.html');
});
 
router.post('/command',(req,res) => {
    console.log('command recieved ', req.body);
    console.log('existing commands', commands);
    let command = req.body.command.replace(/ /g,'');
    if(commands.indexOf(command) !== -1) {
        switch(command.toUpperCase()) {
            case "TAKEOFF":
                console.log('taking off the drone');
                drone.takeoff();
            break;
            case "LAND":
                console.log('landing the drone');
                drone.land();
            break;
            case "UP":
                console.log('taking the drone up half meter');
                drone.up(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "DOWN":
                console.log('taking the drone down half meter');
                drone.down(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOLEFT":
                console.log('taking the drone left 1 meter');
                drone.left(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "GORIGHT":
                console.log('taking the drone right 1 meter');
                drone.right(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "TURN":
                console.log('turning the drone');
                drone.clockwise(0.4);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOFORWARD":
                console.log('moving the drone forward by 1 meter');
                drone.front(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOBACKWARD":
                console.log('moving the drone backward 1 meter');
                drone.back(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "STOP":
                drone.stop();
            break;
            default:
            break;    
        }
    }
    res.send('OK');
});
 
app.use('/',router);
 
app.listen(process.env.port || 3000);

그리고 여기에 사용자의 말을 듣고 노드 서버에 명령을 보내는 HTML 및 JavaScript 코드가 있습니다.

<!DOCTYPE html>
    <head>
        <meta charset="utf-8">
        <meta http-equiv="X-UA-Compatible" content="IE=edge">
        <title>Voice Controlled Notes App</title>
        <meta name="description" content="">
        <meta name="viewport" content="width=device-width, initial-scale=1">
        <link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/shoelace-css/1.0.0-beta16/shoelace.css">
        <link rel="stylesheet" href="styles.css">
 
    </head>
    <body>
        <div class="container">
 
            <h1>Voice Controlled Drone</h1>
            <p class="page-description">A tiny app that allows you to control AR drone using voice</p>
 
            <h3 class="no-browser-support">Sorry, Your Browser Doesn't Support the Web Speech API. Try Opening This Demo In Google Chrome.</h3>
 
            <div class="app">
                <h3>Give the command</h3>
                <div class="input-single">
                    <textarea id="note-textarea" placeholder="Create a new note by typing or using voice recognition." rows="6"></textarea>
                </div>    
                <button id="start-record-btn" title="Start Recording">Start Recognition</button>
                <button id="pause-record-btn" title="Pause Recording">Pause Recognition</button>
                <p id="recording-instructions">Press the <strong>Start Recognition</strong> button and allow access.</p>
 
            </div>
 
        </div>
 
        <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
        <script src="script.js"></script>
 
    </body>
</html>

또한 음성 명령을 사용하여 노드 서버로 보내는 JavaScript 코드도 있습니다.

try {
 var SpeechRecognition = window.SpeechRecognition || window.webkitSpeechRecognition;
 var recognition = new SpeechRecognition();
 }
 catch(e) {
 console.error(e);
 $('.no-browser-support').show();
 $('.app').hide();
 }
// other code, please refer GitHub source
recognition.onresult = function(event) {
// event is a SpeechRecognitionEvent object.
// It holds all the lines we have captured so far.
 // We only need the current one.
 var current = event.resultIndex;
// Get a transcript of what was said.
var transcript = event.results[current][0].transcript;
// send it to the backend
$.ajax({
 type: 'POST',
 url: '/command/',
 data: JSON.stringify({command: transcript}),
 success: function(data) { console.log(data) },
 contentType: "application/json",
 dataType: 'json'
 });
};

애플리케이션 실행

프로그램은 다음과 같이 시작할 수 있습니다(콥터가 Wi-Fi에 연결되어 있고 이더넷 케이블이 컴퓨터에 연결되어 있는지 확인하는 것이 중요합니다).

브라우저에서 localhost:3000을 열고 인식 시작을 클릭합니다.

우리는 드론을 제어하려고 노력하고 행복합니다.

드론으로 영상 방송하기

프로젝트에서 새 파일을 만들고 여기에 다음 코드를 복사합니다.

const http = require("http");
const drone = require("dronestream");
 
const server = http.createServer(function(req, res) {
 
require("fs").createReadStream(__dirname + "/public/video.html").pipe(res);
 });
 
drone.listen(server);
 
server.listen(4000);

여기에 HTML 코드가 있습니다. 이를 공용 폴더에 넣습니다.

<!doctype html>
 <html>
 <head>
 <meta http-equiv="content-type" content="text/html; charset=utf-8">
 <title>Stream as module</title>
 <script src="/dronestream/nodecopter-client.js" type="text/javascript" charset="utf-8"></script>
 </head>
 <body>
 <h1 id="heading">Drone video stream</h1>
 <div id="droneStream" style="width: 640px; height: 360px"> </div>
 
<script type="text/javascript" charset="utf-8">
 
new NodecopterStream(document.getElementById("droneStream"));
 
</script>
 
</body>
</html>

전면 카메라의 비디오를 보려면 localhost:8080을 실행하고 연결하세요.

유용한 팁

• 이 드론을 실내에서 조종해보세요.
• 이륙하기 전에 항상 드론에 보호 커버를 씌워주세요.
• 배터리가 충전되어 있는지 확인하세요.
• 드론이 이상하게 행동하면 드론을 잡고 뒤집으세요. 이렇게 하면 헬리콥터가 비상 모드로 전환되고 로터가 즉시 정지됩니다.

준비된 코드 및 데모

라이브 데모

다운로드

그것은 나왔다!

코드를 작성하고 기계가 복종하기 시작하는 것을 지켜보는 것은 여러분에게 즐거움을 줄 것입니다! 이제 우리는 드론이 음성 명령을 듣도록 가르치는 방법을 알아냈습니다. 실제로 사용자 얼굴 인식, 자율 비행, 동작 인식 등 훨씬 더 많은 가능성이 있습니다.

프로그램 개선을 위해 무엇을 제안할 수 있나요?

Skillbox는 다음을 권장합니다.

• 온라인 강좌 적용 "파이썬 데이터 분석가".
• 온라인 코스 "직업 프론트엔드 개발자".
• 실기 코스 "0에서 PRO로의 PHP 개발자".

출처 : habr.com