🥇Node.js と ARDrone を使用してヘリコプターの音声制御をプログラムします

このチュートリアルでは、Node.js と Web 音声 API を使用して、音声制御を備えたドローンのプログラムを作成する方法を見ていきます。ヘリコプター - Parrot ARDrone 2.0。

リマインダー： 「Habr」のすべての読者が対象 - 「Habr」プロモーションコードを使用してスキルボックスコースに登録すると 10 ルーブルの割引。

スキルボックスは次のことを推奨します。 実践コース「モバイルデベロッパーPRO」.

導入

ドローンってすごいですね。クワッドで遊んだり、写真やビデオを撮ったり、ただ楽しんだりするのが本当に楽しいです。しかし、無人航空機 (UAV) は単なる娯楽以上の目的で使用されます。彼らは映画で働き、氷河を研究し、軍や農業部門の代表者によって使用されています。

このチュートリアルでは、ドローンを制御できるようにするプログラムの作成を見ていきます。音声コマンドを使用して。はい、ヘリコプターはあなたが指示したことを実行します。記事の最後には、UAV 制御の既製のプログラムとビデオがあります。

鉄

次のものが必要です。

パロットARDrone 2.0;
イーサネットケーブル;
良いマイク。

開発と管理はWindows/Mac/Ubuntuを搭載したワークステーション上で行われます。個人的には、Mac と Ubuntu 18.04 を使用して作業しました。

ソフトウェア

最新バージョンの Node.js を次からダウンロードします。公式サイト.

こちらも必要 Google Chromeの最新バージョン.

ヘリコプターを理解する

Parrot ARDrone がどのように機能するかを理解してみましょう。このヘリコプターには XNUMX つのモーターが付いています。

反対側のモーターは同じ方向に動作します。一方のペアは時計回りに回転し、もう一方のペアは反時計回りに回転します。ドローンは、地表に対する傾斜角を変更したり、モーターの回転速度を変更したり、その他いくつかの操作可能な動作を行ったりして移動します。

上の図からわかるように、さまざまなパラメータを変更すると、コプターの移動方向が変わります。たとえば、左右のローターの回転速度を増減すると、ロールが発生します。これにより、ドローンは前方または後方に飛行することができます。

モーターの速度と方向を変更することで、ヘリコプターが他の方向に移動できるように傾斜角を設定します。実際、現在のプロジェクトでは空気力学を学ぶ必要はなく、基本原理を理解するだけで十分です。

Parrot ARDrone の仕組み

ドローンはWi-Fiホットスポットです。ヘリコプターにコマンドを送受信するには、このポイントに接続する必要があります。クアッドコプターを制御できるさまざまなアプリケーションが多数あります。すべては次のようになります。

ドローンが接続されたらすぐに、ターミナルを開いて 192.168.1.1 に Telnet します。これはヘリコプターの IP です。 Linuxの場合は使用できます Linux ビジーボックス.

アプリケーションアーキテクチャ

コードは次のモジュールに分割されます。

音声検出用の音声 API を備えたユーザーインターフェイス。
コマンドをフィルタリングし、標準と比較します。
ドローンにコマンドを送信する。
ライブビデオ放送。

API はインターネット接続がある限り機能します。これを確実にするために、イーサネット接続を追加します。

いよいよアプリケーションを作成します。

コード

まず、新しいフォルダーを作成し、ターミナルを使用してそこに切り替えましょう。

次に、以下のコマンドを使用して Node プロジェクトを作成します。

まず、必要な依存関係をインストールします。

npmインストール

次のコマンドをサポートします。

脱ぐ;
着陸;
上 - ドローンはXNUMXメートル上昇してホバリングします。
ダウン - XNUMXメートル落ちて凍ります。
左へ - XNUMXメートル左に進みます。
右へ - XNUMXメートル右に進みます。
回転 - 時計回りに 90 度回転します。
前進 - XNUMXメートル前進します。
戻る - XNUMXメートル戻ります。
やめる

コマンドを受け入れ、フィルターし、ドローンを制御できるようにするコードは次のとおりです。

const express = require('express');
const bodyparser = require('body-parser');
var arDrone = require('ar-drone');
const router = express.Router();
const app = express();
const commands = ['takeoff', 'land','up','down','goleft','goright','turn','goforward','gobackward','stop'];
 
var drone  = arDrone.createClient();
// disable emergency
drone.disableEmergency();
// express
app.use(bodyparser.json());
app.use(express.static(__dirname + '/public'));
 
router.get('/',(req,res) => {
    res.sendFile('index.html');
});
 
router.post('/command',(req,res) => {
    console.log('command recieved ', req.body);
    console.log('existing commands', commands);
    let command = req.body.command.replace(/ /g,'');
    if(commands.indexOf(command) !== -1) {
        switch(command.toUpperCase()) {
            case "TAKEOFF":
                console.log('taking off the drone');
                drone.takeoff();
            break;
            case "LAND":
                console.log('landing the drone');
                drone.land();
            break;
            case "UP":
                console.log('taking the drone up half meter');
                drone.up(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "DOWN":
                console.log('taking the drone down half meter');
                drone.down(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOLEFT":
                console.log('taking the drone left 1 meter');
                drone.left(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "GORIGHT":
                console.log('taking the drone right 1 meter');
                drone.right(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "TURN":
                console.log('turning the drone');
                drone.clockwise(0.4);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOFORWARD":
                console.log('moving the drone forward by 1 meter');
                drone.front(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOBACKWARD":
                console.log('moving the drone backward 1 meter');
                drone.back(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "STOP":
                drone.stop();
            break;
            default:
            break;    
        }
    }
    res.send('OK');
});
 
app.use('/',router);
 
app.listen(process.env.port || 3000);

次に、ユーザーの要求をリッスンしてノードサーバーにコマンドを送信する HTML および JavaScript コードを示します。

<!DOCTYPE html>
    <head>
        <meta charset="utf-8">
        <meta http-equiv="X-UA-Compatible" content="IE=edge">
        <title>Voice Controlled Notes App</title>
        <meta name="description" content="">
        <meta name="viewport" content="width=device-width, initial-scale=1">
        <link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/shoelace-css/1.0.0-beta16/shoelace.css">
        <link rel="stylesheet" href="styles.css">
 
    </head>
    <body>
        <div class="container">
 
            <h1>Voice Controlled Drone</h1>
            <p class="page-description">A tiny app that allows you to control AR drone using voice</p>
 
            <h3 class="no-browser-support">Sorry, Your Browser Doesn't Support the Web Speech API. Try Opening This Demo In Google Chrome.</h3>
 
            <div class="app">
                <h3>Give the command</h3>
                <div class="input-single">
                    <textarea id="note-textarea" placeholder="Create a new note by typing or using voice recognition." rows="6"></textarea>
                </div>    
                <button id="start-record-btn" title="Start Recording">Start Recognition</button>
                <button id="pause-record-btn" title="Pause Recording">Pause Recognition</button>
                <p id="recording-instructions">Press the <strong>Start Recognition</strong> button and allow access.</p>
 
            </div>
 
        </div>
 
        <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
        <script src="script.js"></script>
 
    </body>
</html>

また、音声コマンドを操作してノードサーバーに送信するための JavaScript コードも含まれます。

try {
 var SpeechRecognition = window.SpeechRecognition || window.webkitSpeechRecognition;
 var recognition = new SpeechRecognition();
 }
 catch(e) {
 console.error(e);
 $('.no-browser-support').show();
 $('.app').hide();
 }
// other code, please refer GitHub source
recognition.onresult = function(event) {
// event is a SpeechRecognitionEvent object.
// It holds all the lines we have captured so far.
 // We only need the current one.
 var current = event.resultIndex;
// Get a transcript of what was said.
var transcript = event.results[current][0].transcript;
// send it to the backend
$.ajax({
 type: 'POST',
 url: '/command/',
 data: JSON.stringify({command: transcript}),
 success: function(data) { console.log(data) },
 contentType: "application/json",
 dataType: 'json'
 });
};

アプリケーションの起動

プログラムは次のように起動できます (ヘリコプターが Wi-Fi に接続されており、イーサネットケーブルがコンピューターに接続されていることを確認することが重要です)。

ブラウザで localhost:3000 を開き、「認識の開始」をクリックします。

ドローンを制御してみて満足しています。

ドローンから映像を配信する

プロジェクトで新しいファイルを作成し、次のコードをそこにコピーします。

const http = require("http");
const drone = require("dronestream");
 
const server = http.createServer(function(req, res) {
 
require("fs").createReadStream(__dirname + "/public/video.html").pipe(res);
 });
 
drone.listen(server);
 
server.listen(4000);

これが HTML コードです。パブリックフォルダー内に配置します。

<!doctype html>
 <html>
 <head>
 <meta http-equiv="content-type" content="text/html; charset=utf-8">
 <title>Stream as module</title>
 <script src="/dronestream/nodecopter-client.js" type="text/javascript" charset="utf-8"></script>
 </head>
 <body>
 <h1 id="heading">Drone video stream</h1>
 <div id="droneStream" style="width: 640px; height: 360px"> </div>
 
<script type="text/javascript" charset="utf-8">
 
new NodecopterStream(document.getElementById("droneStream"));
 
</script>
 
</body>
</html>

localhost:8080 を起動して接続し、前面カメラからのビデオを表示します。

役に立つヒント

このドローンを屋内で飛行させます。
離陸前に必ずドローンに保護カバーを取り付けてください。
バッテリーが充電されているかどうかを確認してください。
ドローンの動作がおかしい場合は、ドローンを長押しして裏返します。この操作によりヘリコプターは緊急モードになり、ローターは直ちに停止します。

準備ができたコードとデモ

ライブデモ

DOWNLOAD

それは判明しました！

コードを書いて、マシンが従い始めるのを見るのは楽しいことです。これで、ドローンに音声コマンドを聞くように教える方法がわかりました。実際には、ユーザーの顔認識、自律飛行、ジェスチャー認識など、さらに多くの可能性があります。

プログラムを改善するために何を提案できますか?

スキルボックスは次のことを推奨します。

オンラインコースの申し込み「Pythonデータアナリスト」.

オンラインコース「職業フロントエンド開発者」.

実践一年コース「0からPROまでのPHP開発者」.

出所： habr.com

Node.js と ARDrone を使用してヘリコプターの音声制御をプログラムします

導入

鉄