আমরা Node.js এবং ARDrone ব্যবহার করে কপ্টারের ভয়েস কন্ট্রোল প্রোগ্রাম করি

এই টিউটোরিয়ালে আমরা Node.js এবং ওয়েব স্পিচ API ব্যবহার করে ভয়েস কন্ট্রোল সহ একটি ড্রোনের জন্য একটি প্রোগ্রাম তৈরির বিষয়ে দেখব। কপ্টার - প্যারট এআরড্রোন 2.0।

আমরা মনে করিয়ে দিচ্ছি: "Habr"-এর সকল পাঠকদের জন্য - "Habr" প্রচারমূলক কোড ব্যবহার করে যেকোনো Skillbox কোর্সে নথিভুক্ত করার সময় 10 রুবেল ছাড়।

Skillbox সুপারিশ করে: ব্যবহারিক কোর্স "মোবাইল ডেভেলপার প্রো".

ভূমিকা

ড্রোন আশ্চর্যজনক। আমি সত্যিই আমার কোয়াডের সাথে খেলতে, ফটো এবং ভিডিও তুলতে বা মজা করতে উপভোগ করি। কিন্তু মনুষ্যবিহীন বায়বীয় যান (ইউএভি) শুধুমাত্র বিনোদনের জন্য ব্যবহার করা হয়। তারা সিনেমায় কাজ করে, হিমবাহ অধ্যয়ন করে এবং সেনাবাহিনী এবং কৃষি খাতের প্রতিনিধিদের দ্বারা ব্যবহৃত হয়।

এই টিউটোরিয়ালে আমরা একটি প্রোগ্রাম তৈরি করতে দেখব যা আপনাকে একটি ড্রোন নিয়ন্ত্রণ করতে দেবে। ভয়েস কমান্ড ব্যবহার করে। হ্যাঁ, কপ্টার আপনি যা করতে বলবেন তা করবে। নিবন্ধের শেষে একটি রেডিমেড প্রোগ্রাম এবং ইউএভি নিয়ন্ত্রণের ভিডিও রয়েছে।

লোহা

আমাদের নিম্নলিখিত প্রয়োজন:

• তোতা ARDrone 2.0;
• ইথারনেট তারের;
• ভাল মাইক্রোফোন।

ওয়ার্কস্টেশনগুলিতে উন্নয়ন ও ব্যবস্থাপনা পরিচালিত হবে Windows/ম্যাক/Ubuntuব্যক্তিগতভাবে, আমি ম্যাক নিয়ে কাজ করেছি এবং Ubuntu 18.04.

সফ্টওয়্যার

থেকে Node.js এর সর্বশেষ সংস্করণ ডাউনলোড করুন অফিসিয়াল সাইট.

এছাড়াও প্রয়োজন গুগল ক্রোমের সর্বশেষ সংস্করণ.

কপ্টার বোঝা

প্যারট এআরড্রোন কীভাবে কাজ করে তা বোঝার চেষ্টা করুন। এই কপ্টারে চারটি মোটর আছে।

বিরোধী মোটর একই দিকে কাজ করে। একটি জোড়া ঘড়ির কাঁটার দিকে ঘোরে, অন্যটি ঘড়ির কাঁটার বিপরীত দিকে। ড্রোনটি পৃথিবীর পৃষ্ঠের সাপেক্ষে প্রবণতার কোণ পরিবর্তন করে, মোটরগুলির ঘূর্ণনের গতি পরিবর্তন করে এবং অন্যান্য বেশ কিছু চালচলনযোগ্য আন্দোলন করে।

আমরা উপরের ডায়াগ্রামে দেখতে পাচ্ছি, বিভিন্ন পরামিতি পরিবর্তন করলে কপ্টারের চলাচলের দিক পরিবর্তন হয়। উদাহরণস্বরূপ, বাম এবং ডান রটারগুলির ঘূর্ণন গতি হ্রাস বা বৃদ্ধি একটি রোল তৈরি করে। এটি ড্রোনটিকে সামনে বা পিছনে উড়তে দেয়।

মোটরগুলির গতি এবং দিক পরিবর্তন করে, আমরা কাত কোণগুলি সেট করি যা কপ্টারটিকে অন্য দিকে যেতে দেয়। প্রকৃতপক্ষে, বর্তমান প্রকল্পের জন্য অ্যারোডাইনামিক্স অধ্যয়ন করার দরকার নেই, আপনাকে কেবল প্রাথমিক নীতিগুলি বুঝতে হবে।

প্যারট এআরড্রোন কীভাবে কাজ করে

ড্রোন একটি Wi-Fi হটস্পট। কপ্টারে কমান্ড গ্রহণ এবং পাঠাতে, আপনাকে এই পয়েন্টে সংযোগ করতে হবে। অনেকগুলি বিভিন্ন অ্যাপ্লিকেশন রয়েছে যা আপনাকে কোয়াডকপ্টার নিয়ন্ত্রণ করতে দেয়। এটি সব এই মত কিছু দেখায়:

ড্রোনটি সংযুক্ত হয়ে গেলে, টার্মিনাল খুলুন এবং 192.168.1.1-এ টেলনেট করুন - এটি কপ্টারটির আইপি। Linux আপনি ব্যবহার করতে পারেন Linux busybox.

অ্যাপ্লিকেশন আর্কিটেকচার

আমাদের কোড নিম্নলিখিত মডিউল বিভক্ত করা হবে:

• ভয়েস সনাক্তকরণের জন্য স্পিচ API সহ ইউজার ইন্টারফেস;
• ফিল্টারিং কমান্ড এবং একটি স্ট্যান্ডার্ডের সাথে তুলনা করা;
• ড্রোনকে কমান্ড পাঠানো;
• লাইভ ভিডিও সম্প্রচার।

যতক্ষণ ইন্টারনেট সংযোগ থাকে ততক্ষণ API কাজ করে। এটি নিশ্চিত করতে, আমরা একটি ইথারনেট সংযোগ যোগ করি।

এটি একটি অ্যাপ্লিকেশন তৈরি করার সময়!

কোড

প্রথমে, আসুন একটি নতুন ফোল্ডার তৈরি করি এবং টার্মিনাল ব্যবহার করে এটিতে স্যুইচ করি।

তারপরে আমরা নীচের কমান্ডগুলি ব্যবহার করে একটি নোড প্রকল্প তৈরি করি।

প্রথমত, আমরা প্রয়োজনীয় নির্ভরতাগুলি ইনস্টল করি।

npm ইনস্টল করুন 

আমরা নিম্নলিখিত কমান্ড সমর্থন করব:

• উড্ডয়ন করা;
• অবতরণ
• উপরে - ড্রোনটি অর্ধেক মিটার উঠে যায় এবং ঘোরাফেরা করে;
• নিচে - আধা মিটার পড়ে এবং জমে যায়;
• বাম দিকে - বাম দিকে অর্ধেক মিটার যায়;
• ডানদিকে - ডানদিকে অর্ধেক মিটার যায়;
• ঘূর্ণন - ঘড়ির কাঁটার দিকে 90 ডিগ্রি ঘোরে;
• এগিয়ে - অর্ধ মিটার এগিয়ে যায়;
• ফিরে - অর্ধ মিটার ফিরে যায়;
• থামা

এখানে কোড যা আপনাকে কমান্ড গ্রহণ করতে, ফিল্টার করতে এবং ড্রোন নিয়ন্ত্রণ করতে দেয়।

const express = require('express');
const bodyparser = require('body-parser');
var arDrone = require('ar-drone');
const router = express.Router();
const app = express();
const commands = ['takeoff', 'land','up','down','goleft','goright','turn','goforward','gobackward','stop'];
 
var drone  = arDrone.createClient();
// disable emergency
drone.disableEmergency();
// express
app.use(bodyparser.json());
app.use(express.static(__dirname + '/public'));
 
router.get('/',(req,res) => {
    res.sendFile('index.html');
});
 
router.post('/command',(req,res) => {
    console.log('command recieved ', req.body);
    console.log('existing commands', commands);
    let command = req.body.command.replace(/ /g,'');
    if(commands.indexOf(command) !== -1) {
        switch(command.toUpperCase()) {
            case "TAKEOFF":
                console.log('taking off the drone');
                drone.takeoff();
            break;
            case "LAND":
                console.log('landing the drone');
                drone.land();
            break;
            case "UP":
                console.log('taking the drone up half meter');
                drone.up(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "DOWN":
                console.log('taking the drone down half meter');
                drone.down(0.2);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOLEFT":
                console.log('taking the drone left 1 meter');
                drone.left(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "GORIGHT":
                console.log('taking the drone right 1 meter');
                drone.right(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },1000);
            break;
            case "TURN":
                console.log('turning the drone');
                drone.clockwise(0.4);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOFORWARD":
                console.log('moving the drone forward by 1 meter');
                drone.front(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "GOBACKWARD":
                console.log('moving the drone backward 1 meter');
                drone.back(0.1);
                setTimeout(() => {
                    drone.stop();
                    clearTimeout();
                },2000);
            break;
            case "STOP":
                drone.stop();
            break;
            default:
            break;    
        }
    }
    res.send('OK');
});
 
app.use('/',router);
 
app.listen(process.env.port || 3000);

এবং এখানে এইচটিএমএল এবং জাভাস্ক্রিপ্ট কোড রয়েছে যা ব্যবহারকারীর কথা শোনে এবং নোড সার্ভারে একটি কমান্ড পাঠায়।

<!DOCTYPE html>
    <head>
        <meta charset="utf-8">
        <meta http-equiv="X-UA-Compatible" content="IE=edge">
        <title>Voice Controlled Notes App</title>
        <meta name="description" content="">
        <meta name="viewport" content="width=device-width, initial-scale=1">
        <link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/shoelace-css/1.0.0-beta16/shoelace.css">
        <link rel="stylesheet" href="styles.css">
 
    </head>
    <body>
        <div class="container">
 
            <h1>Voice Controlled Drone</h1>
            <p class="page-description">A tiny app that allows you to control AR drone using voice</p>
 
            <h3 class="no-browser-support">Sorry, Your Browser Doesn't Support the Web Speech API. Try Opening This Demo In Google Chrome.</h3>
 
            <div class="app">
                <h3>Give the command</h3>
                <div class="input-single">
                    <textarea id="note-textarea" placeholder="Create a new note by typing or using voice recognition." rows="6"></textarea>
                </div>    
                <button id="start-record-btn" data-gt-translate-attributes='["title"]' title="Start Recording">Start Recognition</button>
                <button id="pause-record-btn" data-gt-translate-attributes='["title"]' title="Pause Recording">Pause Recognition</button>
                <p id="recording-instructions">Press the <strong>Start Recognition</strong> button and allow access.</p>
 
            </div>
 
        </div>
 
        <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
        <script src="script.js"></script>
 
    </body>
</html>

এবং ভয়েস কমান্ডের সাথে কাজ করার জন্য জাভাস্ক্রিপ্ট কোড, নোড সার্ভারে পাঠানো।

try {
 var SpeechRecognition = window.SpeechRecognition || window.webkitSpeechRecognition;
 var recognition = new SpeechRecognition();
 }
 catch(e) {
 console.error(e);
 $('.no-browser-support').show();
 $('.app').hide();
 }
// other code, please refer GitHub source
recognition.onresult = function(event) {
// event is a SpeechRecognitionEvent object.
// It holds all the lines we have captured so far.
 // We only need the current one.
 var current = event.resultIndex;
// Get a transcript of what was said.
var transcript = event.results[current][0].transcript;
// send it to the backend
$.ajax({
 type: 'POST',
 url: '/command/',
 data: JSON.stringify({command: transcript}),
 success: function(data) { console.log(data) },
 contentType: "application/json",
 dataType: 'json'
 });
};

অ্যাপ্লিকেশন চালু করা হচ্ছে

প্রোগ্রামটি নিম্নরূপ চালু করা যেতে পারে (এটি নিশ্চিত করা গুরুত্বপূর্ণ যে কপ্টারটি Wi-Fi এর সাথে সংযুক্ত এবং ইথারনেট কেবলটি কম্পিউটারের সাথে সংযুক্ত রয়েছে)।

ব্রাউজারে localhost:3000 খুলুন এবং স্টার্ট রিকগনিশন ক্লিক করুন।

আমরা ড্রোন নিয়ন্ত্রণ করার চেষ্টা করি এবং খুশি।

ড্রোন থেকে ভিডিও সম্প্রচার করা হচ্ছে

প্রকল্পে, একটি নতুন ফাইল তৈরি করুন এবং সেখানে এই কোডটি অনুলিপি করুন:

const http = require("http");
const drone = require("dronestream");
 
const server = http.createServer(function(req, res) {
 
require("fs").createReadStream(__dirname + "/public/video.html").pipe(res);
 });
 
drone.listen(server);
 
server.listen(4000);

এবং এখানে এইচটিএমএল কোড, আমরা এটি পাবলিক ফোল্ডারের ভিতরে রাখি।

<!doctype html>
 <html>
 <head>
 <meta http-equiv="content-type" content="text/html; charset=utf-8">
 <title>Stream as module</title>
 <script src="/dronestream/nodecopter-client.js" type="text/javascript" charset="utf-8"></script>
 </head>
 <body>
 <h1 id="heading">Drone video stream</h1>
 <div id="droneStream" style="width: 640px; height: 360px"> </div>
 
<script type="text/javascript" charset="utf-8">
 
new NodecopterStream(document.getElementById("droneStream"));
 
</script>
 
</body>
</html>

সামনের ক্যামেরা থেকে ভিডিও দেখতে লোকালহোস্ট: 8080 চালু করুন এবং সংযুক্ত করুন।

সহায়ক টিপস

• এই ড্রোনটি বাড়ির ভিতরে উড়ান।
• উড্ডয়নের আগে সর্বদা আপনার ড্রোনটিতে প্রতিরক্ষামূলক কভার রাখুন।
• ব্যাটারি চার্জ করা হয়েছে কিনা তা পরীক্ষা করুন।
• যদি ড্রোনটি অদ্ভুত আচরণ করে তবে এটিকে ধরে রাখুন এবং এটিকে উল্টিয়ে দিন। এই ক্রিয়াটি কপ্টারটিকে জরুরী মোডে রাখবে এবং রোটারগুলি অবিলম্বে বন্ধ হয়ে যাবে।

প্রস্তুত কোড এবং ডেমো

জীবন্ত উদাহরণ

ডাউনলোড

ঘটেছিলো!

কোড লেখা এবং তারপর মেশিন মানতে শুরু করা আপনাকে আনন্দ দেবে! এখন আমরা চিন্তা করেছি কিভাবে ভয়েস কমান্ড শুনতে ড্রোন শেখানো যায়। আসলে, আরও অনেক সম্ভাবনা রয়েছে: ব্যবহারকারীর মুখের স্বীকৃতি, স্বায়ত্তশাসিত ফ্লাইট, অঙ্গভঙ্গি স্বীকৃতি এবং আরও অনেক কিছু।

আপনি প্রোগ্রাম উন্নত করার জন্য কি পরামর্শ দিতে পারেন?

Skillbox সুপারিশ করে:

• অনলাইন কোর্সের আবেদন করা হয়েছে "পাইথন ডেটা বিশ্লেষক".
• অনলাইন কোর্স "পেশা ফ্রন্টএন্ড ডেভেলপার".
• ব্যবহারিক বছরের কোর্স "0 থেকে PRO পর্যন্ত পিএইচপি বিকাশকারী".

উত্স: www.habr.com