विश्वसनीय डेटा स्थानांतरण के मूल सिद्धांत

उन लोगों के लिए जो करना है नेटवर्क और प्रोटोकॉल को समझने के लिए समर्पित।

संक्षिप्त

लेख में विश्वसनीय डेटा ट्रांसमिशन की मूल बातों पर चर्चा की गई है और इसके उदाहरण प्रस्तुत किए गए हैं Go, जिसमें UDP और TCP शामिल हैं। समय, два, तीन और पुस्तक "कंप्यूटर नेटवर्क। एक टॉप-डाउन दृष्टिकोण", अन्यथा हर कोई केवल टैननबाम और ओलिफ़ेरोव पर चर्चा करता है।

ट्रांसपोर्ट लेयर प्रोटोकॉल

विभिन्न होस्ट पर चल रही एप्लिकेशन प्रक्रियाओं के बीच एक तार्किक कनेक्शन प्रदान करता है। एक तार्किक कनेक्शन अनुप्रयोगों को सीधे प्रक्रियाओं को जोड़ने वाले चैनल के रूप में दिखाई देता है।

ट्रांसपोर्ट लेयर प्रोटोकॉल अंतिम सिस्टम द्वारा समर्थित लेकिन नेटवर्क राउटर द्वारा नहीं (सिवाय - डीपीआई) प्रेषक पक्ष पर, ट्रांसपोर्ट परत, संचारित अनुप्रयोग प्रक्रिया से प्राप्त अनुप्रयोग परत डेटा को ट्रांसपोर्ट परत पैकेटों में परिवर्तित करती है, जिन्हें खंड कहा जाता है।

यह कार्य अनुप्रयोग परत संदेशों को (यदि आवश्यक हो तो) टुकड़ों में तोड़कर तथा उनमें से प्रत्येक में एक ट्रांसपोर्ट परत हेडर जोड़कर किया जाता है।

ट्रांसपोर्ट लेयर फिर सेगमेंट को प्रेषक की नेटवर्क लेयर को भेजता है, जहाँ सेगमेंट को नेटवर्क लेयर पैकेट (डेटाग्राम) में समाहित किया जाता है और भेजा जाता है। प्राप्त करने वाले छोर पर, नेटवर्क लेयर डेटाग्राम से ट्रांसपोर्ट लेयर सेगमेंट को निकालता है और उसे ट्रांसपोर्ट लेयर तक भेजता है। ट्रांसपोर्ट लेयर फिर प्राप्त सेगमेंट को प्रोसेस करता है ताकि उसका डेटा प्राप्त करने वाले एप्लिकेशन के लिए उपलब्ध हो जाए।

सुरक्षित डेटा संचरण के सिद्धांत

पूर्णतः सुरक्षित चैनल पर विश्वसनीय डेटा संचरण

सबसे सरल मामला: भेजने वाला पक्ष केवल ऊपरी परत से डेटा प्राप्त करता है, उसे शामिल करते हुए एक पैकेट बनाता है, और उसे चैनल पर भेजता है।

सेवक

package main

import (
    "log"
    "net"
)

func main() {
    // IP-адрес сервера и порт
    serverAddr, err := net.ResolveUDPAddr("udp", "127.0.0.1:12000")
    if err != nil {
        log.Fatal(err)
    }

    // создаем сокет с портом
    serverConn, err := net.ListenUDP("udp", serverAddr)
    if err != nil {
        log.Fatal(err)
    }
    // отложенное закрытие соединения
    defer serverConn.Close()

    // создаем буфер для данных
    buf := make([]byte, 1024)

    // ждем соединение
    for {
        // читаем запрос
        n, addr, err := serverConn.ReadFromUDP(buf)
        // передаем данные в ВЕРХНИЙ уровень: в нашем случае stdout
        println(string(buf[0:n]), " form ", addr.IP.String())
        if err != nil {
            log.Fatal(err)
        }
        // ответа нет, т.к. это UDP + надежный канал
    }
}

ग्राहक

package main

import (
    "fmt"
    "log"
    "net"
    "time"
)

func main() {
    // IP-адрес сервера и порт
    serverAddr, err := net.ResolveUDPAddr("udp", "127.0.0.1:12000")
    if err != nil {
        log.Fatal(err)
    }
    // локальный IP-адрес и порт
    localAddr, err := net.ResolveUDPAddr("udp", "127.0.0.1:0")
    if err != nil {
        log.Fatal(err)
    }
    // установка соединения
    conn, err := net.DialUDP("udp", localAddr, serverAddr)
    if err != nil {
        log.Fatal(err)
    }
    // отложенное закрытие соединения
    defer conn.Close()

    for {
        // получение данных от ВЕРХНЕГО уровня
        fmt.Print("Введите строчное предложение > ")
        var msg string
        _, err := fmt.Scanf("%s", &msg)
        if err != nil {
            log.Fatal(err)
        }
        // передается поток байт, а не строка
        buf := []byte(msg)
        // запись (передача) в соединение
        _, err = conn.Write(buf)
        if err != nil {
            log.Fatal(err)
        }
        // 1 секундочку
        time.Sleep(time.Second * 1)
    }
}

संभावित त्रुटियों वाले चैनल पर विश्वसनीय डेटा संचरण

अगला चरण यह मान लेना है कि सभी प्रेषित पैकेट उसी क्रम में प्राप्त हुए हैं जिस क्रम में उन्हें भेजा गया था, लेकिन उनमें मौजूद बिट्स इस तथ्य के कारण दूषित हो सकते हैं कि चैनल कभी-कभी विकृतियों के साथ डेटा प्रेषित करता है।

इस मामले में, निम्नलिखित तंत्र लागू होते हैं:

• त्रुटि का पता लगाना;
• प्रतिक्रिया;
• पुनःसंचरण.

विश्वसनीय डेटा संचरण प्रोटोकॉल, जिनमें संचरण की एकाधिक पुनरावृत्ति के लिए ऐसे तंत्र होते हैं, उन्हें स्वचालित पुनरावर्तन अनुरोध (ARQ) प्रोटोकॉल कहा जाता है।
इसके अतिरिक्त, रसीदों में त्रुटियों की संभावना पर भी विचार करना उचित है, जब प्राप्तकर्ता पक्ष को अंतिम पैकेट के हस्तांतरण के परिणामों के बारे में कोई जानकारी प्राप्त नहीं होती है।
इस समस्या का समाधान, जो अन्य चीजों के अलावा TCP में भी उपयोग किया जाता है, डाटा पैकेट में पैकेट की अनुक्रम संख्या वाला एक नया फील्ड जोड़ना है।

अविश्वसनीय चैनल पर विश्वसनीय डेटा संचरण जो पैकेट विरूपण और हानि की अनुमति देता है

दुर्भाग्यवश, विकृतियों के साथ-साथ, नेटवर्क में पैकेट हानि भी होती है।
और इस समस्या को हल करने के लिए तंत्र की आवश्यकता है:

• पैकेट हानि के तथ्य का निर्धारण;
• खोए हुए पैकेटों को प्राप्तकर्ता पक्ष तक पुनः पहुँचाना।

इसके अतिरिक्त, पैकेट खोने के अलावा, रसीद खोने की संभावना या, अगर कुछ भी नहीं खोया है, तो इसकी डिलीवरी में काफी देरी होने की संभावना के लिए भी प्रावधान करना आवश्यक है। सभी मामलों में, एक ही काम किया जाता है: पैकेट का पुनः प्रसारण। समय को नियंत्रित करने के लिए, यह तंत्र एक उलटी गिनती टाइमर का उपयोग करता है, जो आपको प्रतीक्षा अंतराल के अंत को निर्धारित करने की अनुमति देता है। तो पैकेट में जाल TCPKeepAlive डिफ़ॉल्ट रूप से 15 सेकंड पर सेट है:

// defaultTCPKeepAlive is a default constant value for TCPKeepAlive times
// See golang.org/issue/31510
const (
    defaultTCPKeepAlive = 15 * time.Second
)

संचारण पक्ष को प्रत्येक बार पैकेट संचारित होने पर (पहली बार और दूसरी बार दोनों) टाइमर शुरू करना होता है, टाइमर से आने वाली रुकावटों को संभालना होता है, और उसे रोकना होता है।

तो, हम विश्वसनीय डेटा ट्रांसमिशन प्रोटोकॉल की प्रमुख अवधारणाओं से परिचित हो गए हैं:

• चेकसम;
• पैकेजों की क्रम संख्या;
• टाइमर;
• सकारात्मक और नकारात्मक प्राप्तियां.

लेकिन यह सब नहीं है!

पाइपलाइनिंग के साथ विश्वसनीय डेटा ट्रांसफर प्रोटोकॉल

जिस प्रकार पर हम पहले ही विचार कर चुके हैं, उसमें विश्वसनीय डिलीवरी प्रोटोकॉल बहुत अक्षम है। जब RTT बढ़ता है तो यह संचार चैनल द्वारा प्रदान किए जाने वाले ट्रांसमिशन को "धीमा" करना शुरू कर देता है। इसकी दक्षता बढ़ाने और संचार चैनल की बैंडविड्थ का बेहतर उपयोग करने के लिए, पाइपलाइनिंग का उपयोग किया जाता है।

पाइपलाइनिंग के उपयोग से निम्नलिखित परिणाम प्राप्त होते हैं:

• अनुक्रम संख्याओं की सीमा बढ़ाना, क्योंकि सभी भेजे गए पैकेट (पुनःप्रेषण को छोड़कर) विशिष्ट रूप से पहचान योग्य होने चाहिए;
• प्रेषण और प्राप्ति पक्षों पर बफर्स ​​बढ़ाने की आवश्यकता।

अनुक्रम संख्याओं की सीमा और बफर आकार की आवश्यकताएँ पैकेट भ्रष्टाचार, हानि और देरी के जवाब में प्रोटोकॉल द्वारा की गई कार्रवाइयों पर निर्भर करती हैं। पाइपलाइनिंग के मामले में, दो त्रुटि सुधार विधियाँ हैं:

• N पैकेट वापस लौटाएँ;
• चयनात्मक पुनरावृत्ति.

पिछड़े N पैकेट - स्लाइडिंग विंडो प्रोटोकॉल

प्रेषक को तीन प्रकार की घटनाओं का समर्थन करना होगा:

• उच्च-स्तरीय प्रोटोकॉल द्वारा कॉल करें। जब ऊपर से एक सेंड फ़ंक्शन को कॉल किया जाता है, तो प्रेषक सबसे पहले जाँचता है कि विंडो भरी हुई है या नहीं (यानी, क्या N भेजे गए संदेश पावती की प्रतीक्षा कर रहे हैं)। यदि विंडो भरी नहीं है, तो एक नया पैकेट बनता है और प्रेषित होता है, और चर के मान अपडेट होते हैं। अन्यथा, प्रेषक डेटा को ऊपरी परत पर लौटा देता है, जो एक अंतर्निहित संकेत है कि विंडो भरी हुई है। आम तौर पर, ऊपरी परत कुछ समय बाद ट्रांसमिशन का पुनः प्रयास करेगी। एक वास्तविक एप्लिकेशन में, प्रेषक सबसे अधिक संभावना डेटा को बफर करेगा (इसे तुरंत भेजने के बजाय) या एक सिंक्रोनाइज़ेशन मैकेनिज्म (जैसे, एक सेमाफोर या एक झंडा) होगा जो ऊपरी परत को केवल तभी सेंड फ़ंक्शन को कॉल करने की अनुमति देगा जब विंडो भरी न हो।
• पावती की प्राप्ति। प्रोटोकॉल में, अनुक्रम संख्या N वाले पैकेट के लिए एक सामान्य पावती जारी की जाती है, जो यह दर्शाती है कि N से पहले अनुक्रम संख्या वाले सभी पैकेट सफलतापूर्वक प्राप्त हो गए हैं।
• टाइमआउट समाप्ति। प्रोटोकॉल पैकेट और पावती हानि और देरी का पता लगाने के लिए टाइमर का उपयोग करता है। यदि टाइमआउट समाप्त हो जाता है, तो संचारण पक्ष भेजे गए सभी अस्वीकृत पैकेट को पुनः भेजता है।

चयनात्मक पुनरावृत्ति

जब विंडो का आकार और थ्रूपुट-देरी उत्पाद बड़ा होता है, तो पाइपलाइन में बड़ी संख्या में पैकेट हो सकते हैं। इस मामले में, एक पैकेट त्रुटि के कारण बड़ी संख्या में पैकेट पुनः प्रेषित हो सकते हैं, जिनमें से अधिकांश की आवश्यकता नहीं थी।

उदाहरण

शीर्ष सैद्धांतिक व्यावहारिक कार्यान्वयन में प्रथाओं को एकत्र किया जाता है टीसीपीऔर अगर कोई बेहतर जानता है - में आपका स्वागत है.

सेवक

package main

import (
    "bufio"
    "fmt"
    "log"
    "net"
    "strings"
)

func main() {
    // создаем сокет с портом 
    ln, err := net.Listen("tcp", ":8081")
    if err != nil {
        log.Fatalln(err)
    }
    // ожидание вызова
    conn, _ := ln.Accept()

    for {
        // считывание данных
        msg, err := bufio.NewReader(conn).ReadString('n')
        if err != nil {
            log.Fatalln(err)
        }
        // вывод сообщения в stdout
        fmt.Print("Message Received:", string(msg))
        // перевод строки в верхний регистр
        newMsg := strings.ToUpper(msg)
        // отправка данных
        conn.Write([]byte(newMsg + "n"))
    }
}

ग्राहक

package main

import (
    "bufio"
    "fmt"
    "log"
    "net"
    "os"
)

func main() {
    // установка соединения
    conn, err := net.Dial("tcp", "127.0.0.1:8081")
    if err != nil {
        log.Fatalln(err)
    }

    for {
        // считывание данных с stdin
        reader := bufio.NewReader(os.Stdin)
        fmt.Print("Text to send: ")
        // построчно
        text, err := reader.ReadString('n')
        if err != nil {
            log.Fatalln(err)
        }
        // отправка
        fmt.Fprintf(conn, text+"n")
        // прием
        msg, err := bufio.NewReader(conn).ReadString('n')
        if err != nil {
            log.Fatalln(err)
        }
        // вывод полученного ответа
        fmt.Print("Msg from Server: " + msg)
    }
}

उत्पादन

विश्वसनीय डेटा संचरण और उपयोग सुनिश्चित करने वाले तंत्र

तंत्र
आवेदन, टिप्पणी

अंततः,
प्रेषित पैकेट में बिट त्रुटियों का पता लगाने के लिए उपयोग किया जाता है।

घड़ी
टाइमआउट अंतराल की गणना करना और इसकी समाप्ति को इंगित करना। उत्तरार्द्ध का अर्थ है कि उच्च स्तर की संभावना के साथ पैकेट या इसकी रसीद संचरण के दौरान खो गई थी। इस घटना में कि पैकेट देरी से वितरित किया जाता है, लेकिन खो नहीं जाता है (समय समाप्ति अंतराल की समयपूर्व समाप्ति), या रसीद खो जाती है, पुनःसंचरण से प्राप्तकर्ता पक्ष पर पैकेट की प्रतिलिपि बनती है

क्रम संख्या
प्रेषक से रिसीवर तक भेजे जाने वाले डेटा पैकेट को क्रम संख्या देने के लिए उपयोग किया जाता है। प्राप्त पैकेट की क्रम संख्या में अंतर रिसीवर को पैकेट हानि का पता लगाने की अनुमति देता है। पैकेट की समान क्रम संख्या का अर्थ है कि पैकेट एक दूसरे के डुप्लिकेट हैं।

पुष्टि
प्राप्तकर्ता पक्ष द्वारा उत्पन्न और प्रेषित पक्ष को संकेत देता है कि संबंधित पैकेट या पैकेटों का समूह सफलतापूर्वक प्राप्त हो गया है। आम तौर पर, पावती में सफलतापूर्वक प्राप्त पैकेटों की अनुक्रम संख्याएँ होती हैं। प्रोटोकॉल के आधार पर, व्यक्तिगत और समूह पावती के बीच अंतर किया जाता है।

नकारात्मक पुष्टि
रिसीवर द्वारा प्रेषक को यह सूचित करने के लिए उपयोग किया जाता है कि पैकेट सही तरीके से प्राप्त नहीं हुआ है। नकारात्मक पावती में आमतौर पर उस पैकेट की अनुक्रम संख्या शामिल होती है जो सही तरीके से प्राप्त नहीं हुआ था।

खिड़की, पाइपलाइन
पैकेट संचारित करने के लिए उपयोग की जा सकने वाली अनुक्रम संख्याओं की सीमा को सीमित करें। मल्टीकास्ट और हैंडशेक प्रोटोकॉल ACK-वेटिंग मोड की तुलना में थ्रूपुट को काफी बढ़ा सकते हैं। जैसा कि हम देखेंगे, विंडो आकार की गणना प्राप्त करने वाले छोर की प्राप्ति और बफरिंग क्षमताओं के साथ-साथ नेटवर्क लोड के आधार पर की जा सकती है।

गो नेटवर्किंग के और उदाहरण

В खजाने.

स्रोत: www.habr.com