このチュートリアルでは、Node.js と Web 音声 API を使用して、音声制御を備えたドローンのプログラムを作成する方法を見ていきます。 ヘリコプター - Parrot ARDrone 2.0。
リマインダー: 「Habr」のすべての読者が対象 - 「Habr」プロモーション コードを使用してスキルボックス コースに登録すると 10 ルーブルの割引。
スキルボックスは次のことを推奨します。 実践コース
「モバイルデベロッパーPRO」 .
導入
ドローンってすごいですね。 クワッドで遊んだり、写真やビデオを撮ったり、ただ楽しんだりするのが本当に楽しいです。 しかし、無人航空機 (UAV) は単なる娯楽以上の目的で使用されます。 彼らは映画で働き、氷河を研究し、軍や農業部門の代表者によって使用されています。
このチュートリアルでは、ドローンを制御できるようにするプログラムの作成を見ていきます。 音声コマンドを使用して。 はい、ヘリコプターはあなたが指示したことを実行します。 記事の最後には、UAV 制御の既製のプログラムとビデオがあります。
鉄
次のものが必要です。
- パロットARDrone 2.0;
- イーサネットケーブル;
- 良いマイク。
開発と管理はWindows/Mac/Ubuntuを搭載したワークステーション上で行われます。 個人的には、Mac と Ubuntu 18.04 を使用して作業しました。
ソフトウェア
最新バージョンの Node.js を次からダウンロードします。
こちらも必要
ヘリコプターを理解する
Parrot ARDrone がどのように機能するかを理解してみましょう。 このヘリコプターには XNUMX つのモーターが付いています。
反対側のモーターは同じ方向に動作します。 一方のペアは時計回りに回転し、もう一方のペアは反時計回りに回転します。 ドローンは、地表に対する傾斜角を変更したり、モーターの回転速度を変更したり、その他いくつかの操作可能な動作を行ったりして移動します。
上の図からわかるように、さまざまなパラメータを変更すると、コプターの移動方向が変わります。 たとえば、左右のローターの回転速度を増減すると、ロールが発生します。 これにより、ドローンは前方または後方に飛行することができます。
モーターの速度と方向を変更することで、ヘリコプターが他の方向に移動できるように傾斜角を設定します。 実際、現在のプロジェクトでは空気力学を学ぶ必要はなく、基本原理を理解するだけで十分です。
Parrot ARDrone の仕組み
ドローンはWi-Fiホットスポットです。 ヘリコプターにコマンドを送受信するには、このポイントに接続する必要があります。 クアッドコプターを制御できるさまざまなアプリケーションが多数あります。 すべては次のようになります。
ドローンが接続されたらすぐに、ターミナルを開いて 192.168.1.1 に Telnet します。これはヘリコプターの IP です。 Linuxの場合は使用できます
アプリケーションアーキテクチャ
コードは次のモジュールに分割されます。
- 音声検出用の音声 API を備えたユーザー インターフェイス。
- コマンドをフィルタリングし、標準と比較します。
- ドローンにコマンドを送信する。
- ライブビデオ放送。
API はインターネット接続がある限り機能します。 これを確実にするために、イーサネット接続を追加します。
いよいよアプリケーションを作成します。
コード
まず、新しいフォルダーを作成し、ターミナルを使用してそこに切り替えましょう。
次に、以下のコマンドを使用して Node プロジェクトを作成します。
まず、必要な依存関係をインストールします。
npmインストール
次のコマンドをサポートします。
- 脱ぐ;
- 着陸;
- 上 - ドローンはXNUMXメートル上昇してホバリングします。
- ダウン - XNUMXメートル落ちて凍ります。
- 左へ - XNUMXメートル左に進みます。
- 右へ - XNUMXメートル右に進みます。
- 回転 - 時計回りに 90 度回転します。
- 前進 - XNUMXメートル前進します。
- 戻る - XNUMXメートル戻ります。
- やめる
コマンドを受け入れ、フィルターし、ドローンを制御できるようにするコードは次のとおりです。
const express = require('express');
const bodyparser = require('body-parser');
var arDrone = require('ar-drone');
const router = express.Router();
const app = express();
const commands = ['takeoff', 'land','up','down','goleft','goright','turn','goforward','gobackward','stop'];
var drone = arDrone.createClient();
// disable emergency
drone.disableEmergency();
// express
app.use(bodyparser.json());
app.use(express.static(__dirname + '/public'));
router.get('/',(req,res) => {
res.sendFile('index.html');
});
router.post('/command',(req,res) => {
console.log('command recieved ', req.body);
console.log('existing commands', commands);
let command = req.body.command.replace(/ /g,'');
if(commands.indexOf(command) !== -1) {
switch(command.toUpperCase()) {
case "TAKEOFF":
console.log('taking off the drone');
drone.takeoff();
break;
case "LAND":
console.log('landing the drone');
drone.land();
break;
case "UP":
console.log('taking the drone up half meter');
drone.up(0.2);
setTimeout(() => {
drone.stop();
clearTimeout();
},2000);
break;
case "DOWN":
console.log('taking the drone down half meter');
drone.down(0.2);
setTimeout(() => {
drone.stop();
clearTimeout();
},2000);
break;
case "GOLEFT":
console.log('taking the drone left 1 meter');
drone.left(0.1);
setTimeout(() => {
drone.stop();
clearTimeout();
},1000);
break;
case "GORIGHT":
console.log('taking the drone right 1 meter');
drone.right(0.1);
setTimeout(() => {
drone.stop();
clearTimeout();
},1000);
break;
case "TURN":
console.log('turning the drone');
drone.clockwise(0.4);
setTimeout(() => {
drone.stop();
clearTimeout();
},2000);
break;
case "GOFORWARD":
console.log('moving the drone forward by 1 meter');
drone.front(0.1);
setTimeout(() => {
drone.stop();
clearTimeout();
},2000);
break;
case "GOBACKWARD":
console.log('moving the drone backward 1 meter');
drone.back(0.1);
setTimeout(() => {
drone.stop();
clearTimeout();
},2000);
break;
case "STOP":
drone.stop();
break;
default:
break;
}
}
res.send('OK');
});
app.use('/',router);
app.listen(process.env.port || 3000);
次に、ユーザーの要求をリッスンしてノード サーバーにコマンドを送信する HTML および JavaScript コードを示します。
<!DOCTYPE html>
<head>
<meta charset="utf-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<title>Voice Controlled Notes App</title>
<meta name="description" content="">
<meta name="viewport" content="width=device-width, initial-scale=1">
<link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/shoelace-css/1.0.0-beta16/shoelace.css">
<link rel="stylesheet" href="styles.css">
</head>
<body>
<div class="container">
<h1>Voice Controlled Drone</h1>
<p class="page-description">A tiny app that allows you to control AR drone using voice</p>
<h3 class="no-browser-support">Sorry, Your Browser Doesn't Support the Web Speech API. Try Opening This Demo In Google Chrome.</h3>
<div class="app">
<h3>Give the command</h3>
<div class="input-single">
<textarea id="note-textarea" placeholder="Create a new note by typing or using voice recognition." rows="6"></textarea>
</div>
<button id="start-record-btn" title="Start Recording">Start Recognition</button>
<button id="pause-record-btn" title="Pause Recording">Pause Recognition</button>
<p id="recording-instructions">Press the <strong>Start Recognition</strong> button and allow access.</p>
</div>
</div>
<script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
<script src="script.js"></script>
</body>
</html>
また、音声コマンドを操作してノード サーバーに送信するための JavaScript コードも含まれます。
try {
var SpeechRecognition = window.SpeechRecognition || window.webkitSpeechRecognition;
var recognition = new SpeechRecognition();
}
catch(e) {
console.error(e);
$('.no-browser-support').show();
$('.app').hide();
}
// other code, please refer GitHub source
recognition.onresult = function(event) {
// event is a SpeechRecognitionEvent object.
// It holds all the lines we have captured so far.
// We only need the current one.
var current = event.resultIndex;
// Get a transcript of what was said.
var transcript = event.results[current][0].transcript;
// send it to the backend
$.ajax({
type: 'POST',
url: '/command/',
data: JSON.stringify({command: transcript}),
success: function(data) { console.log(data) },
contentType: "application/json",
dataType: 'json'
});
};
アプリケーションの起動
プログラムは次のように起動できます (ヘリコプターが Wi-Fi に接続されており、イーサネット ケーブルがコンピューターに接続されていることを確認することが重要です)。
ブラウザで localhost:3000 を開き、「認識の開始」をクリックします。
ドローンを制御してみて満足しています。
ドローンから映像を配信する
プロジェクトで新しいファイルを作成し、次のコードをそこにコピーします。
const http = require("http");
const drone = require("dronestream");
const server = http.createServer(function(req, res) {
require("fs").createReadStream(__dirname + "/public/video.html").pipe(res);
});
drone.listen(server);
server.listen(4000);
これが HTML コードです。パブリック フォルダー内に配置します。
<!doctype html>
<html>
<head>
<meta http-equiv="content-type" content="text/html; charset=utf-8">
<title>Stream as module</title>
<script src="/dronestream/nodecopter-client.js" type="text/javascript" charset="utf-8"></script>
</head>
<body>
<h1 id="heading">Drone video stream</h1>
<div id="droneStream" style="width: 640px; height: 360px"> </div>
<script type="text/javascript" charset="utf-8">
new NodecopterStream(document.getElementById("droneStream"));
</script>
</body>
</html>
localhost:8080 を起動して接続し、前面カメラからのビデオを表示します。
役に立つヒント
- このドローンを屋内で飛行させます。
- 離陸前に必ずドローンに保護カバーを取り付けてください。
- バッテリーが充電されているかどうかを確認してください。
- ドローンの動作がおかしい場合は、ドローンを長押しして裏返します。 この操作によりヘリコプターは緊急モードになり、ローターは直ちに停止します。
準備ができたコードとデモ
それは判明しました!
コードを書いて、マシンが従い始めるのを見るのは楽しいことです。 これで、ドローンに音声コマンドを聞くように教える方法がわかりました。 実際には、ユーザーの顔認識、自律飛行、ジェスチャー認識など、さらに多くの可能性があります。
プログラムを改善するために何を提案できますか?
スキルボックスは次のことを推奨します。
- オンラインコースの申し込み
「Pythonデータアナリスト」 .- オンラインコース
「職業フロントエンド開発者」 .- 実践一年コース
「0からPROまでのPHP開発者」 .
出所: habr.com