Αξιολογήστε τις συνδέσεις στο μεσαίο τμήμα του διαγράμματος. Θα επανέλθουμε σε αυτά παρακάτω
Κάποια στιγμή, μπορεί να διαπιστώσετε ότι τα μεγάλα, πολύπλοκα δίκτυα που βασίζονται στο L2 είναι τελικώς άρρωστα. Πρώτα απ 'όλα, προβλήματα που σχετίζονται με την επεξεργασία της κυκλοφορίας BUM και τη λειτουργία του πρωτοκόλλου STP. Δεύτερον, η αρχιτεκτονική είναι γενικά απαρχαιωμένη. Αυτό προκαλεί δυσάρεστα προβλήματα με τη μορφή διακοπών και άβολου χειρισμού.
Είχαμε δύο παράλληλα έργα, όπου οι πελάτες αξιολόγησαν νηφάλια όλα τα πλεονεκτήματα και τα μειονεκτήματα των επιλογών και επέλεξαν δύο διαφορετικές λύσεις επικάλυψης και τις εφαρμόσαμε.
Υπήρχε η ευκαιρία να συγκριθεί η υλοποίηση. Όχι εκμετάλλευση· θα πρέπει να το συζητήσουμε σε δύο ή τρία χρόνια.
Λοιπόν, τι είναι ένας ιστός δικτύου με δίκτυα επικάλυψης και SDN;
Τι να κάνετε με τα πιεστικά προβλήματα της κλασικής αρχιτεκτονικής δικτύων;
Κάθε χρόνο εμφανίζονται νέες τεχνολογίες και ιδέες. Στην πράξη, η επείγουσα ανάγκη ανοικοδόμησης δικτύων δεν προέκυψε για μεγάλο χρονικό διάστημα, επειδή είναι επίσης δυνατή η εκτέλεση των πάντων με το χέρι χρησιμοποιώντας τις παλιές καλές μεθόδους. Τι γίνεται λοιπόν αν είναι ο εικοστός πρώτος αιώνας; Άλλωστε ένας διαχειριστής πρέπει να δουλεύει, και όχι να κάθεται στο γραφείο του.
Τότε άρχισε μια έκρηξη στην κατασκευή κέντρων δεδομένων μεγάλης κλίμακας. Στη συνέχεια έγινε σαφές ότι το όριο ανάπτυξης της κλασικής αρχιτεκτονικής είχε επιτευχθεί, όχι μόνο όσον αφορά την απόδοση, την ανοχή σε σφάλματα και την επεκτασιμότητα. Και μια από τις επιλογές για την επίλυση αυτών των προβλημάτων ήταν η ιδέα της δημιουργίας δικτύων επικάλυψης πάνω από μια δρομολογημένη ραχοκοκαλιά.
Επιπλέον, με την αύξηση της κλίμακας των δικτύων, το πρόβλημα της διαχείρισης τέτοιων εργοστασίων έχει γίνει οξύ, με αποτέλεσμα να εμφανίζονται λύσεις δικτύωσης που καθορίζονται από λογισμικό με δυνατότητα διαχείρισης ολόκληρης της δικτυακής υποδομής ως ενιαίο σύνολο. Και όταν η διαχείριση του δικτύου γίνεται από ένα μόνο σημείο, είναι ευκολότερο για άλλα στοιχεία της υποδομής πληροφορικής να αλληλεπιδράσουν μαζί του και τέτοιες διαδικασίες αλληλεπίδρασης είναι ευκολότερο να αυτοματοποιηθούν.
Σχεδόν κάθε μεγάλος κατασκευαστής όχι μόνο εξοπλισμού δικτύου, αλλά και εικονικοποίησης, έχει επιλογές για τέτοιες λύσεις στο χαρτοφυλάκιό του.
Το μόνο που μένει είναι να καταλάβουμε τι είναι κατάλληλο για ποιες ανάγκες. Για παράδειγμα, για ιδιαίτερα μεγάλες εταιρείες με καλή ομάδα ανάπτυξης και λειτουργίας, οι συσκευασμένες λύσεις από προμηθευτές δεν ικανοποιούν πάντα όλες τις ανάγκες και καταφεύγουν στην ανάπτυξη των δικών τους λύσεων SD (καθορισμένες από λογισμικό). Για παράδειγμα, αυτοί είναι πάροχοι cloud που διευρύνουν συνεχώς το φάσμα των υπηρεσιών που παρέχονται στους πελάτες τους και οι συσκευασμένες λύσεις απλά δεν είναι σε θέση να συμβαδίσουν με τις ανάγκες τους.
Για τις μεσαίου μεγέθους εταιρείες, η λειτουργικότητα που προσφέρει ο πωλητής με τη μορφή μιας λύσης σε κουτί είναι επαρκής στο 99 τοις εκατό των περιπτώσεων.
Τι είναι τα δίκτυα επικάλυψης;
Ποια είναι η ιδέα πίσω από τα δίκτυα επικάλυψης; Ουσιαστικά, παίρνετε ένα κλασικό δρομολογημένο δίκτυο και δημιουργείτε ένα άλλο δίκτυο πάνω του για να αποκτήσετε περισσότερες δυνατότητες. Τις περισσότερες φορές, μιλάμε για την αποτελεσματική κατανομή του φορτίου στον εξοπλισμό και τις γραμμές επικοινωνίας, τη σημαντική αύξηση του ορίου επεκτασιμότητας, την αύξηση της αξιοπιστίας και ένα σωρό καλούδια ασφαλείας (λόγω τμηματοποίησης). Και οι λύσεις SDN, εκτός από αυτό, παρέχουν την ευκαιρία για πολύ, πολύ, πολύ βολική ευέλικτη διαχείριση και κάνουν το δίκτυο πιο διαφανές για τους καταναλωτές του.
Γενικά, αν τα τοπικά δίκτυα είχαν εφευρεθεί τη δεκαετία του 2010, θα έμοιαζαν πολύ διαφορετικά από αυτά που κληρονομήσαμε από τον στρατό τη δεκαετία του 1970.
Όσον αφορά τις τεχνολογίες για την κατασκευή υφασμάτων με χρήση δικτύων επικάλυψης, υπάρχουν επί του παρόντος πολλές υλοποιήσεις προμηθευτών και έργα Internet RFC (EVPN+VXLAN, EVPN+MPLS, EVPN+MPLSoGRE, EVPN+Geneve και άλλα). Ναι, υπάρχουν πρότυπα, αλλά η εφαρμογή αυτών των προτύπων από διαφορετικούς κατασκευαστές μπορεί να διαφέρει, επομένως κατά τη δημιουργία τέτοιων εργοστασίων, είναι ακόμα δυνατό να εγκαταλειφθεί εντελώς η κλειδαριά πωλητή μόνο θεωρητικά σε χαρτί.
Με μια λύση SD, τα πράγματα είναι ακόμα πιο μπερδεμένα· κάθε προμηθευτής έχει το δικό του όραμα. Υπάρχουν εντελώς ανοιχτές λύσεις που, θεωρητικά, μπορείς να ολοκληρώσεις μόνος σου, και υπάρχουν εντελώς κλειστές.
Η Cisco προσφέρει την έκδοση του SDN για κέντρα δεδομένων - ACI. Φυσικά, αυτή είναι μια λύση 100% κλειδωμένη από τον προμηθευτή όσον αφορά την επιλογή εξοπλισμού δικτύου, αλλά ταυτόχρονα είναι πλήρως ενσωματωμένη με συστήματα εικονικοποίησης, κοντέινερ, ασφάλεια, ενορχήστρωση, εξισορροπητές φορτίου κ.λπ. Στην ουσία, όμως, εξακολουθεί να είναι είδος μαύρου κουτιού, χωρίς τη δυνατότητα πλήρους πρόσβασης σε όλες τις εσωτερικές διαδικασίες. Δεν συμφωνούν όλοι οι πελάτες με αυτήν την επιλογή, καθώς εξαρτάστε πλήρως από την ποιότητα του γραπτού κώδικα λύσης και την υλοποίησή του, αλλά από την άλλη πλευρά, ο κατασκευαστής έχει μια από τις καλύτερες τεχνικές υποστήριξης στον κόσμο και έχει μια αποκλειστική ομάδα αφοσιωμένη σε αυτή τη λύση. Η Cisco ACI επιλέχθηκε ως λύση για το πρώτο έργο.
Για το δεύτερο έργο, επιλέχθηκε μια λύση Juniper. Ο κατασκευαστής έχει επίσης το δικό του SDN για το κέντρο δεδομένων, αλλά ο πελάτης αποφάσισε να μην εφαρμόσει το SDN. Ως τεχνολογία κατασκευής δικτύου επιλέχθηκε ένα ύφασμα EVPN VXLAN χωρίς τη χρήση κεντρικών ελεγκτών.
Σε τι χρησιμεύει;
Η δημιουργία ενός εργοστασίου σάς επιτρέπει να δημιουργήσετε ένα εύκολα επεκτάσιμο, ανεκτικό σε σφάλματα, αξιόπιστο δίκτυο. Η αρχιτεκτονική (leaf-spine) λαμβάνει υπόψη τα χαρακτηριστικά των κέντρων δεδομένων (διαδρομές κυκλοφορίας, ελαχιστοποίηση καθυστερήσεων και συμφόρησης στο δίκτυο). Οι λύσεις SD σε κέντρα δεδομένων σάς επιτρέπουν να διαχειρίζεστε πολύ εύκολα, γρήγορα και με ευελιξία ένα τέτοιο εργοστάσιο και να το ενσωματώνετε στο οικοσύστημα του κέντρου δεδομένων.
Και οι δύο πελάτες έπρεπε να δημιουργήσουν πλεονάζοντα κέντρα δεδομένων για να διασφαλίσουν την ανοχή σφαλμάτων, και επιπλέον, η κίνηση μεταξύ των κέντρων δεδομένων έπρεπε να κρυπτογραφηθεί.
Ο πρώτος πελάτης εξέταζε ήδη λύσεις χωρίς ύφασμα ως πιθανό πρότυπο για τα δίκτυά του, αλλά σε δοκιμές είχαν προβλήματα με τη συμβατότητα STP μεταξύ πολλών προμηθευτών υλικού. Υπήρχαν διακοπές λειτουργίας που προκάλεσαν τη διακοπή λειτουργίας των υπηρεσιών. Και για τον πελάτη αυτό ήταν κρίσιμο.
Η Cisco ήταν ήδη το εταιρικό πρότυπο του πελάτη, εξέτασαν την ACI και άλλες επιλογές και αποφάσισαν ότι άξιζε να πάρουν αυτήν τη λύση. Μου άρεσε η αυτοματοποίηση του ελέγχου από ένα κουμπί μέσω ενός μόνο ελεγκτή. Οι υπηρεσίες διαμορφώνονται ταχύτερα και διαχειρίζονται ταχύτερα. Αποφασίσαμε να διασφαλίσουμε την κρυπτογράφηση της κυκλοφορίας εκτελώντας το MACSec μεταξύ των διακοπτών IPN και SPINE. Έτσι, καταφέραμε να αποφύγουμε το bottleneck με τη μορφή μιας πύλης κρυπτογράφησης, να τα εξοικονομήσουμε και να χρησιμοποιήσουμε το μέγιστο εύρος ζώνης.
Ο δεύτερος πελάτης επέλεξε μια λύση χωρίς ελεγκτή από την Juniper επειδή το υπάρχον κέντρο δεδομένων του είχε ήδη μια μικρή εγκατάσταση που υλοποιούσε ένα ύφασμα EVPN VXLAN. Αλλά εκεί δεν ήταν ανεκτικό σε σφάλματα (χρησιμοποιήθηκε ένας διακόπτης). Αποφασίσαμε να επεκτείνουμε την υποδομή του κύριου κέντρου δεδομένων και να δημιουργήσουμε ένα εργοστάσιο στο εφεδρικό κέντρο δεδομένων. Το υπάρχον EVPN δεν χρησιμοποιήθηκε πλήρως: η ενθυλάκωση VXLAN δεν χρησιμοποιήθηκε στην πραγματικότητα, καθώς όλοι οι κεντρικοί υπολογιστές ήταν συνδεδεμένοι σε έναν διακόπτη και όλες οι διευθύνσεις MAC και οι /32 διευθύνσεις κεντρικού υπολογιστή ήταν τοπικές, η πύλη για αυτούς ήταν ο ίδιος διακόπτης, δεν υπήρχαν άλλες συσκευές , όπου χρειάστηκε να κατασκευαστούν τούνελ VXLAN. Αποφάσισαν να διασφαλίσουν την κρυπτογράφηση της κυκλοφορίας χρησιμοποιώντας την τεχνολογία IPSEC μεταξύ των τειχών προστασίας (η απόδοση του τείχους προστασίας ήταν επαρκής).
Δοκίμασαν επίσης το ACI, αλλά αποφάσισαν ότι λόγω της κλειδαριάς του προμηθευτή, θα έπρεπε να αγοράσουν πάρα πολύ υλικό, συμπεριλαμβανομένης της αντικατάστασης νέου εξοπλισμού που αγόρασαν πρόσφατα, και απλά δεν είχε οικονομικό νόημα. Ναι, το ύφασμα Cisco ενσωματώνεται με τα πάντα, αλλά μόνο οι συσκευές του είναι δυνατές μέσα στο ίδιο το ύφασμα.
Από την άλλη πλευρά, όπως είπαμε νωρίτερα, δεν μπορείτε απλώς να αναμίξετε ένα ύφασμα EVPN VXLAN με οποιονδήποτε γειτονικό προμηθευτή, επειδή οι υλοποιήσεις πρωτοκόλλου είναι διαφορετικές. Είναι σαν να διασχίζετε τη Cisco και τη Huawei σε ένα δίκτυο - φαίνεται ότι τα πρότυπα είναι κοινά, αλλά θα πρέπει να χορέψετε με ένα ντέφι. Δεδομένου ότι πρόκειται για τράπεζα και οι δοκιμές συμβατότητας θα ήταν πολύ μεγάλες, αποφασίσαμε ότι ήταν καλύτερο να αγοράσετε από τον ίδιο προμηθευτή τώρα και να μην παρασυρθούμε πολύ με λειτουργικότητα πέρα από τις βασικές.
Σχέδιο μετανάστευσης
Δύο κέντρα δεδομένων που βασίζονται σε ACI:
Οργάνωση αλληλεπίδρασης μεταξύ data centers. Επιλέχθηκε η λύση Multi-Pod - κάθε κέντρο δεδομένων είναι ένα pod. Λαμβάνονται υπόψη οι απαιτήσεις για κλιμάκωση με βάση τον αριθμό των διακοπτών και τις καθυστερήσεις μεταξύ των pods (RTT μικρότερο από 50 ms). Αποφασίστηκε να μην δημιουργηθεί μια λύση Multi-Site για ευκολία διαχείρισης (μια λύση Multi-Pod χρησιμοποιεί μια ενιαία διεπαφή διαχείρισης, μια Multi-Site θα είχε δύο διεπαφές ή θα απαιτούσε έναν ενορχηστρωτή πολλαπλών τοποθεσιών) και επειδή δεν υπάρχει γεωγραφική απαιτείται κράτηση των τοποθεσιών.
Από την άποψη της μετεγκατάστασης υπηρεσιών από το δίκτυο παλαιού τύπου, επιλέχθηκε η πιο διαφανής επιλογή, μεταφέροντας σταδιακά VLAN που αντιστοιχούν σε ορισμένες υπηρεσίες.
Για τη μετεγκατάσταση, δημιουργήθηκε ένα αντίστοιχο EPG (End-point-group) για κάθε VLAN στο εργοστάσιο. Πρώτα, το δίκτυο επεκτάθηκε μεταξύ του παλιού δικτύου και του ιστού πάνω από το L2, στη συνέχεια, μετά τη μετεγκατάσταση όλων των κεντρικών υπολογιστών, η πύλη μετακινήθηκε στον ιστό και το EPG αλληλεπιδρά με το υπάρχον δίκτυο μέσω L3OUT, ενώ η αλληλεπίδραση μεταξύ L3OUT και EPG περιγράφηκε χρησιμοποιώντας συμβόλαια. Κατά προσέγγιση διάγραμμα:
Ένα δείγμα δομής των περισσότερων εργοστασιακών πολιτικών ACI φαίνεται στο παρακάτω σχήμα. Ολόκληρη η ρύθμιση βασίζεται σε πολιτικές που είναι ένθετες σε άλλες πολιτικές και ούτω καθεξής. Στην αρχή είναι πολύ δύσκολο να το καταλάβουμε, αλλά σταδιακά, όπως δείχνει η πρακτική, οι διαχειριστές δικτύου συνηθίζουν σε αυτήν τη δομή σε περίπου ένα μήνα και στη συνέχεια αρχίζουν να καταλαβαίνουν πόσο βολικό είναι.
Σύγκριση
Στη λύση Cisco ACI, πρέπει να αγοράσετε περισσότερο εξοπλισμό (ξεχωριστούς διακόπτες για αλληλεπίδραση Inter-Pod και ελεγκτές APIC), γεγονός που τον καθιστά πιο ακριβό. Η λύση της Juniper δεν απαιτούσε την αγορά ελεγκτών ή αξεσουάρ. Ήταν δυνατή η μερική χρήση του υπάρχοντος εξοπλισμού του πελάτη.
Εδώ είναι η αρχιτεκτονική υφάσματος EVPN VXLAN για δύο κέντρα δεδομένων του δεύτερου έργου:
Με το ACI λαμβάνετε μια έτοιμη λύση - δεν χρειάζεται να ασχοληθείτε, δεν χρειάζεται να βελτιστοποιήσετε. Κατά την αρχική γνωριμία του πελάτη με το εργοστάσιο, δεν χρειάζονται προγραμματιστές, δεν χρειάζονται άτομα υποστήριξης για κώδικα και αυτοματισμό. Είναι αρκετά εύκολο στη χρήση, πολλές ρυθμίσεις μπορούν να γίνουν μέσω του οδηγού, κάτι που δεν είναι πάντα πλεονέκτημα, ειδικά για άτομα που είναι συνηθισμένα στη γραμμή εντολών. Σε κάθε περίπτωση, χρειάζεται χρόνος για να ξαναχτιστεί ο εγκέφαλος σε νέες πίστες, στις ιδιαιτερότητες των ρυθμίσεων μέσω πολιτικών και λειτουργίας με πολλές ένθετες πολιτικές. Επιπλέον, είναι πολύ επιθυμητό να υπάρχει μια σαφής δομή για την ονομασία πολιτικών και αντικειμένων. Εάν προκύψει οποιοδήποτε πρόβλημα στη λογική του ελεγκτή, μπορεί να λυθεί μόνο μέσω τεχνικής υποστήριξης.
Σε EVPN - κονσόλα. Να υποφέρεις ή να χαίρεσαι. Μια οικεία διεπαφή για την παλιά φρουρά. Ναι, υπάρχει τυπική διαμόρφωση και οδηγοί. Θα πρέπει να καπνίσεις μάνα. Διαφορετικά σχέδια, όλα είναι ξεκάθαρα και λεπτομερή.
Φυσικά, και στις δύο περιπτώσεις, κατά τη μετανάστευση, είναι καλύτερο να μεταφέρετε πρώτα όχι τις πιο κρίσιμες υπηρεσίες, για παράδειγμα, δοκιμαστικά περιβάλλοντα και μόνο τότε, αφού συλλάβετε όλα τα σφάλματα, να προχωρήσετε στην παραγωγή. Και μην συντονιστείτε την Παρασκευή το βράδυ. Δεν πρέπει να εμπιστεύεστε τον πωλητή ότι όλα θα πάνε καλά, είναι πάντα καλύτερο να το παίζετε με ασφάλεια.
Πληρώνετε περισσότερα για το ACI, αν και η Cisco προωθεί ενεργά αυτήν τη λύση και συχνά παρέχει καλές εκπτώσεις σε αυτήν, αλλά εξοικονομείτε χρήματα στη συντήρηση. Η διαχείριση και κάθε αυτοματοποίηση εργοστασίου EVPN χωρίς ελεγκτή απαιτεί επενδύσεις και τακτικά κόστη - παρακολούθηση, αυτοματοποίηση, υλοποίηση νέων υπηρεσιών. Ταυτόχρονα, η αρχική εκτόξευση στο ACI διαρκεί 30-40 τοις εκατό περισσότερο. Αυτό συμβαίνει επειδή χρειάζεται περισσότερος χρόνος για τη δημιουργία ολόκληρου του συνόλου των απαραίτητων προφίλ και πολιτικών που θα χρησιμοποιηθούν στη συνέχεια. Αλλά καθώς το δίκτυο μεγαλώνει, ο αριθμός των απαιτούμενων διαμορφώσεων μειώνεται. Χρησιμοποιείτε προδημιουργημένες πολιτικές, προφίλ, αντικείμενα. Μπορείτε να διαμορφώσετε ευέλικτα την τμηματοποίηση και την ασφάλεια, να διαχειρίζεστε κεντρικά συμβόλαια που είναι υπεύθυνα για τη δυνατότητα ορισμένων αλληλεπιδράσεων μεταξύ των EPG - ο όγκος της εργασίας μειώνεται απότομα.
Στο EVPN, πρέπει να διαμορφώσετε κάθε συσκευή στο εργοστάσιο, η πιθανότητα σφαλμάτων είναι μεγαλύτερη.
Ενώ το ACI ήταν πιο αργό στην εφαρμογή, το EVPN χρειάστηκε σχεδόν διπλάσιο χρόνο για τον εντοπισμό σφαλμάτων. Εάν στην περίπτωση της Cisco μπορείτε πάντα να καλέσετε έναν μηχανικό υποστήριξης και να ρωτήσετε για το δίκτυο συνολικά (γιατί καλύπτεται ως λύση), τότε από την Juniper Networks αγοράζετε μόνο υλικό, και αυτό καλύπτεται. Έχουν φύγει τα πακέτα από τη συσκευή; Λοιπόν, εντάξει, τότε τα προβλήματά σας. Αλλά μπορείτε να ανοίξετε μια ερώτηση σχετικά με την επιλογή λύσης ή σχεδίασης δικτύου - και στη συνέχεια θα σας συμβουλεύσουν να αγοράσετε μια επαγγελματική υπηρεσία, με επιπλέον χρέωση.
Η υποστήριξη ACI είναι πολύ ωραία, γιατί είναι ξεχωριστή: μια ξεχωριστή ομάδα κάθεται ακριβώς για αυτό. Υπάρχουν επίσης ρωσόφωνοι ειδικοί. Ο οδηγός είναι αναλυτικός, οι λύσεις προκαθορισμένες. Κοιτάζουν και συμβουλεύουν. Επικυρώνουν γρήγορα το σχέδιο, το οποίο είναι συχνά σημαντικό. Η Juniper Networks κάνει το ίδιο πράγμα, αλλά πολύ πιο αργά (το είχαμε αυτό, τώρα θα έπρεπε να είναι καλύτερα σύμφωνα με φήμες), κάτι που σας αναγκάζει να κάνετε τα πάντα μόνοι σας όπου θα μπορούσε να συμβουλεύσει ένας μηχανικός λύσεων.
Το Cisco ACI υποστηρίζει ενοποίηση με συστήματα εικονικοποίησης και κοντέινερ (VMware, Kubernetes, Hyper-V) και κεντρική διαχείριση. Διατίθεται με υπηρεσίες δικτύου και ασφάλειας - εξισορρόπηση, τείχη προστασίας, WAF, IPS κ.λπ... Καλή μικροτμηματοποίηση εκτός συσκευασίας. Στη δεύτερη λύση, η ενσωμάτωση με τις υπηρεσίες δικτύου είναι παιχνιδάκι και είναι καλύτερο να συζητάτε τα φόρουμ εκ των προτέρων με αυτούς που το έχουν κάνει.
Σύνολο
Για κάθε συγκεκριμένη περίπτωση, είναι απαραίτητο να επιλέξετε μια λύση, όχι μόνο με βάση το κόστος του εξοπλισμού, αλλά είναι επίσης απαραίτητο να ληφθούν υπόψη περαιτέρω λειτουργικά κόστη και τα κύρια προβλήματα που αντιμετωπίζει ο πελάτης αυτή τη στιγμή, καθώς και τα σχέδια εκεί είναι για την ανάπτυξη της υποδομής πληροφορικής.
Το ACI, λόγω πρόσθετου εξοπλισμού, ήταν πιο ακριβό, αλλά η λύση είναι έτοιμη χωρίς να χρειάζεται πρόσθετο φινίρισμα· η δεύτερη λύση είναι πιο περίπλοκη και δαπανηρή από άποψη λειτουργίας, αλλά φθηνότερη.
Εάν θέλετε να συζητήσετε πόσο μπορεί να κοστίσει η εφαρμογή ενός ιστού δικτύου σε διαφορετικούς προμηθευτές και τι είδους αρχιτεκτονική χρειάζεται, μπορείτε να συναντηθείτε και να συνομιλήσετε. Θα σας συμβουλεύσουμε δωρεάν μέχρι να πάρετε ένα πρόχειρο σκίτσο της αρχιτεκτονικής (με το οποίο μπορείτε να υπολογίσετε προϋπολογισμούς), η λεπτομερής επεξεργασία, φυσικά, έχει ήδη πληρωθεί.
Vladimir Klepche, εταιρικά δίκτυα.
Πηγή: www.habr.com