In MMX societatis 50 servitores erant et exemplar retis simplex: backend, frontend and firewall. Numerus ministrantium crevit, exemplar factus est magis complexus: choragi, solitarii VLANs cum ACLs, deinde VPNs cum VRFs, VLANs cum ACLs in L2, VRFs cum ACLs in L3. Caput est nere? Magis fun postea erit.
Cum aderant 16 servientes, impossibile factum est sine lacrimis tot segmentis heterogeneis laborare. Alia igitur solutione pervenimus. BIBLIOTHECA Netfilter cepimus, Consul ei ut data fonte accessimus, et firewall ieiunium distribuimus. ACLs in iter reponebant, eosque pro firewall externo et interno adhibebant. Ad instrumentum dynamice administrandum, systema BEFW elaboravimus, quod ubique usitatum est: ab usuario accessum administrandi ad retis producti ad segmenta retis ab invicem segreganda.
Dicet tibi quomodo omnia opera et cur hanc rationem diligentius inspicias. Ioannes Agarkov () - Caput infrastructurae securitatis coetus divisionis sustentationis ad centrum progressionis societatis Minsk. Ivan SELinux ventilabrum est, Perl amat, et codicem scribit. Ut caput informationis coetus securitatis, regulariter cum lignis, tergum et R&D operatur ut ab hackers Wargaming protegat et operationem omnium lusorum ministrantium in comitatu obtineat.
historical notitia
Priusquam dicam tibi quomodo id fecerim, dicam tibi quomodo hoc in primis venimus et quare opus fuit. Ad hoc facere, revertamur ante annos VIIII: MMX, Mundus Tanks iustus apparuit. Wargaming circiter 9 servitores habuit.
Societatis cultor incrementum chart.
Exemplar retis habuimus. Nam id tempus erat.
Retis exemplum in 2010.
Sunt mali guys in fine anteriori qui nos frangere cupiunt, sed firewall. Nulla firewall in dorso, sed 50 servientes ibi sunt, omnes scimus. Omnia bene operatur.
In 4 annis, serviens classis 100 vicibus crevit, ad 5000. Prima retiacula solitaria apparuerunt - choragi: ad productionem ire non poterant, et saepe ibi concurrebant quae periculosa esse possent.
Retis exemplum in 2014.
Per inertiam isdem ferramentis usi sumus, et omne opus separatim VLANs exercebatur: ACLs ad VLANs scriptae sunt, quae nexum aliquem admittunt vel negant.
Anno MMXVI, numerus servorum VIII 2016 pervenit. Wargaming studiosorum alios occupavit, et retia adiuncta affiliata apparuerunt. Nostrum esse videntur, sed non satis: saepe VLAN sociis non laborat, uti VPN cum VRF habetis, solitudo magis implicata fit. Nulla mixtura ACL crevit.
Retis exemplum in 2016.
Ab ineunte 2018 machinarum classis ad XVI 16 creverat. Fuerunt 000 segmenta, et reliquas non numeravimus, inclusis etiam in quibus notitia nummaria recondita erat. Continens retiacula (Kubernetes), DevOps, retia nubis per VPN connexa, exempli gratia, ab IVS, apparuerunt. Multum praecepta fuerunt - dolor erat.
Retis exemplar et methodorum solitudo in MMXVIII.
Solo enim usi sumus: VLAN cum ACL in L2, VRF cum ACL in L3, VPN et multo magis. Nimium.
problems
Quisque vivit cum ACL et VLAN. Quid mali? Haec quaestio ab Haraldo respondit, dolorem occultans.
Multae difficultates, sed quinque magnae erant.
- Geometrica pretium pro novis regulis incremento. Quaelibet nova regula plusquam priori addere potuit, quia necesse erat prius videre an talis regula iam esset.
- Nulla firewall intra segmenta. Segmenta ab invicem quodammodo separata erant, et intus copiae iam non satis erant.
- Praecepta diu apposita sunt. Operatores una horae regulae locales scribere potuerunt. Unus globalem aliquot dies suscepit.
- Difficultates cum auditing praecepta. Accuratius fieri non potuit. Primae regulae anno 2010 rescriptae sunt, et plerique auctores eorum societati non amplius laboraverunt.
- Low level of infrastructure control. Haec est maxima quaestio - quid in nostra patria ageretur optime nesciebamus.
Hoc est quod machinator retis in 2018 aspectu similis est cum audivit: “ACL magis egeo”.
Solutions
Principio MMXVIII, aliquid de eo agere placuit.
Pretium integrationum perpetuo crescit. Principium initium fuit quod magnae centri notitiae solitariae VLANs et ACLs favere cessaverunt quia cogitationes memoriae manaverunt.
Solutio: provisio ad maximum accessum removimus factorem humanum et automated.
Novae regulae longum tempus adhibere. Solutio: accelera applicatio regularum distributa et parallela. Hoc systema distributum requirit ut normae sine rsync vel SFTP ad mille systemata se tradantur.
Intus segmenta firewall nulla. Firewall intra segmenta ad nos venire coeperunt, cum diversa officia in eadem retis apparuerunt. Solutio: uti firewall ad gradum exercitus - firewalls host-se fundatur. Fere ubique Linux habemus, ubique iptables, non obstat.
Difficultates cum audiendis regulis. Solutio: Omnes regulas in uno loco recenseri et administrationis servare, ut omnia audire possimus.
Low level of control over infrastructure. Solutio: sume inventarium omnium officiorum et accessuum inter eos.
Haec magis processus administrativus quam technicus est. Aliquando 200-300 novas emissiones habemus per hebdomadam, praesertim in promotionibus et festis. Hoc autem unum tantum manipulum nostrum DevOps. Cum tot solvo, impossibile est videre quibus portibus, IPS, et integrationibus opus sit. Ergo mancipes operandi nobis necessarii opus sunt, qui iunctos quaesiverunt: "Quid est usquam, et cur adduxistis illud?"
Postquam omnia demisimus, machinalis retis in MMXIX hoc modo spectare coepit.
consule
Statuimus ut omnia quae invenimus cum ope muneris actoribus Consulis et inde scriberemus regulas iptables.
Quomodo hoc facere constituimus?
- Omnia officia, reticula et utentes colligemus.
- Regulas iptables in illis fundatur.
- Automate potestate sumus.
- ....
- COMPENDIUM.
Consul API longinquus non est, per singulas nodes currere potest et ad iptables scribere. Reliquum est ut cum latis nucleis quae supervacaneas emundant, et pleraque problemata solventur! Reliqua pereamus operabimus.
Cur Consul?
Bene se probavit. In 2014-15, hoc ut tergum pro Vault, in quo tesseras condimus, usi sumus.
Non perdet data. Per tempus usus, Consul data per unum casum non amisit. Hoc plus est ingens pro administratione firewall systematis.
P2P nexus accelerant propagationem mutationis. Cum P2P, omnes mutationes cito veniunt, horas non expectandum est.
COMMODA REST API. Etiam Apache ZooKeeper consideravimus, sed requiem API non habet, sic fusum instituere debebis.
Opera ut utraque clavis Vault (KV) et Directory (Service Inventionis). Officia, catalogos, et centra statim condere potes. Hoc non solum nobis, sed etiam pro vicinis iugis convenit, quod ministerium globalem aedificando magnum putamus.
Scriptum in Go, quae pars est BIBLIOTHECA Wargaming. Amamus hanc linguam habemus multas Ire tincidunt.
Potens ACL ratio. In Consul, qui scribit id quod imperare potes ACLS. Praecepta firewall praestamus non aliud cum alio incidere, nec cum hoc problemata habebimus.
Sed et consul vitia sua habet.
- Non scandet intra centrum datae nisi negotium habes. Scalabile est per foederationem.
- Valde dependens a qualitate retis et oneris servientis. Consul non recte faciet ut ministrator in servo negotioso si qui sunt in retis, exempli gratia, inaequale celeritatem. Hoc accidit P2P nexus et exempla distributionis renovationis.
- Difficultas magna disponibilitate. In statu consulis dicere omnia bona esse potest, sed diu mortuus est.
Plurima harum quaestionum solvimus consulem utens, quam ob rem eam elegimus. Societas consilia ad aliud retrahendum habet, sed difficultates agere et cum consule nunc vivere didicimus.
Ut consul operatur
Tres ad quinque servientes in media notitia conditionali instituemus. Unus vel duo servientes non operantur: non possunt ordinare quorumdam ac discernere quis sit ius et qui iniusti sunt cum notitia non congruunt. Plus quam quinque sensu caret, fructibus stillabit.
Clientes ministris quovis ordine coniungunt: eosdem agentes, solum cum vexillo server = false.
Postea clientes indicem nexuum P2P accipiunt et nexus inter se aedificant.
In gradu globali plura centra data coniungimus. Pertinent etiam P2P et communicant.
Cum notitias ex alio Mauris interdum velit recuperare, petitio a servo ad ministratorem accedit. Ea res appellatur Serf protocol. Protocollum Serf, sicut Consul, ab HashiCorp evolvit.
Quaedam magna facta de consule
Consul documentum habet quomodo operatur. solum selecta dabo quae scitu digna sunt.
Consules ministri dominum ex suffraganeis eligunt. Consul dominum e numero ministrantium eligit pro quolibet centri, et omnes petitiones tantum ad eum eunt, cujuscumque numerus ministrantium. Magister torpore ad re-electionem non ducit. Si dominus non electus, petitiones non sunt ab aliquo.
Ascendens horizontalem vis? Soorry, no.
Postulatio ad alium centrum datae a domino ad dominum vadit, cuiuscumque servo perventum est. Dominus electus C% oneris accipit, excepto onere in petitionibus antrorsum. Omnes servientes in centrum datae habent up-to-date exemplum notitiarum, sed unum tantum respondet.
Sola via scalae est ut vetustatem in cliente capiat.
In modo stali, potes respondere sine quorum. Hic modus est in quo constantiam datam relinquimus, sed paulo celerius quam consuetum legitur, et cuivis servo respondet. Videlicet notans nisi per dominum.
Consul non effingo data inter data centers. Cum foederatio convenitur, unusquisque server tantum data sua habebit. Ad alios, ad alium semper convertitur.
Atomicitas operationum extra transactionem non praestatur. Memento te non solum esse qui res mutare potest. Si aliter voles, seram rem geras.
Clausus res non spondet obfirmatis. Petitio a domino ad dominum vadit, et non directe, ideo non est cautum quod interclusio operabitur cum te impediat, exempli gratia, in alio Mauris interdum.
ACL etiam aditum non spondet (in multis casibus). ACL laborare non potest quia in una notitia centri foederationis ACL reponitur (primum DC). Si DC non responderit tibi, ACL non laborabit.
Unus dominus congelatus totam foederationem congelatur. Exempli gratia: centra 10 sunt in foederatione, et unus retis malus habet, et unus dominus deficit. Omnis qui cum Eo communicat, in gyrum figetur: rogatio est, responsio non est, filum concrescit. Cum hoc futurum sit, non est scire, modo una hora vel duabus tota foederatio cadet. Nihil de hoc facere potes.
Status, quorum et electiones separatim tractantur. Re-electio non fiet, status nihil ostendet. Consulem vivere putas te habere, requiris, et nihil fit -- nihil est quod respondeam. Simul, status ostendit omnia esse pulchrum.
Hanc quaestionem invenimus et certas partes centra datorum ad vitandum reficere debebamus.
Negotium versio consul Enterprise quaedam incommoda supra non habet. Multa munera utilia habet: eligens suffragia, distributio, scalas. Una tantum est "sed" - systema licentiae in systemate distributo valde carus est.
vita habitant, rm -rf /var/lib/consul — Remedium omnium morborum agentis. Si aliquid tibi non opus est, tantum notitias tuas delere et ex exemplari notitias extrahere. Maxime, Consul laborabit.
BEFW
Nunc de consule quid adiecimus.
est Acronym for BblackEndFiraWomnis. Productum aliquo modo nominare habui cum repositio creavi ut primum experimentum committit. Hoc nomen manet.
Regulae templates
Praecepta in syntaxi iptables scripta sunt.
- -N BEFW
- -P INPUT DRO
- -A INPUT -m STATU COGNATUS, CONSTITUTUS -j ACCEPTO
- -A INPUT -i lo -j ACCEPT
- -A INPUT -j BEFW
Omnia in catenam BEFW intrat, excepto ESTABLISHED, RELATED et localhost. Exemplum potest aliquid esse, hoc est exemplum.
Quomodo est utilis BEFW?
Services
Servitium habemus, portum semper habet, nodi in quo currit. Ex nostro nodo possumus procuratorem localiter petere et invenire nos habere aliquod servitium. Etiam quis posuere purus.
Quodlibet officium currit et descripserunt cum Consule in regulas iptables vertit. Habemus portum SSH 22. Scriptum Bash simplex est: Crispum et iptables, nihil aliud opus est.
clients
Quomodo non omnibus, sed selectis aditus pateat? IP tabulas addere per nomen officii repositionis KV.
Exempli gratia, volumus omnes retis decimas ad servitium SSH_TCP_22 accedere posse. Unum parvum ttl adde agrum? et nunc habemus tempus permittit, verbi gratia, ad diem.
Accesses
Officia et clientes coniungimus: servitium habemus, KV repositio parata est singulis. Nunc aditum non omnibus, sed selectis damus.
coetibus
Si milia IPS scribemus ad accessum omni tempore, deceptus erimus. Veniamus cum gregibus separatis subset in KV. Alias eam vocemus (vel coetus) et catervas ibi reponant secundum idem principium.
Coniungamus: nunc SSH aperire possumus non nominatim pro P2P, sed pro toto coetu vel plurium coetuum. Eodem modo est TTL - addere potes et removere e coetu temporaliter.
Integrationem
Quaestio nostra est factor et automatio humana. Hactenus hoc modo solutum est.
Puppet laboramus, omniaque quae ad systema (applicandi codicem) pertinent, transfermus. Puppetdb (regularis PostgreSQL) album officiorum quae ibi currit, inveniri possunt ex typo resource. Ibi reperias qui ead. Nos quoque petitionem trahere et ratio huius postulationis merge.
Befw-sync scripsimus, simplex solutio data translationi adiuvat. Primum, sync crustula accesserunt a puppetdb. HTTP API configuratur ibi: petimus quae officia habemus, quid fieri oporteat. Petunt deinde a consule.
Estne integratio? Ita: scripserunt regulas et petitiones extrahere permisit ut accipiatur. Egesne portu quodam aut hospitem aliquo globo adicere? Peto trahe, retracta - amplius "Invenire CC alias ACLs et conari aliquid de ea facere".
ipsum
Ping localhost cum inani regula catena capit 0,075 ms.
Huic catenae 10 inscriptionum iptarum addamus. Quam ob rem, ping augebit 000 vicibus: iptables est omnino linearis, singulas inscriptiones processus aliquo tempore accipit.
Pro firewall ubi mille ACLs migramus, multa praecepta habemus, et hoc latency introducit. Ludorum protocolla malum est.
Si autem 10 allocutiones in ipset Etiam decre- viens erit.
Punctum est illud "O" (algorithm multiplicitas) quia ipset semper 1 aequalis est, quamvis multae regulae sint. Limitatio vera est - non potest plus esse quam 65535 regulae: hoc enim nunc vivimus: illas potes miscere, dilatare, duos ipsetas in uno facere.
storage
Logica continuatio processus iterationis est informationes de clientibus pro servitio in ipset accommodans.
Nunc eundem SSH habemus, nec simul 100 IPS scribimus, sed nomen ipsiust quo communicare debemus, et regulam sequentem. DROP. Potest in unam regulam converti "Quis non est hic, DRO", sed clarius est.
Nunc nos regit et ponit. Praecipuum opus est ut regulam scribendo proponamus, quia aliter regulam iptables non scribet.
generalis schematic
In forma figurae haec omnia quae dixi videntur.
Puppet committimus, omnia mittantur ad militiam, servitia hic, ipset ibi, et quisquis non est ibi non licet.
Pati negare
Ad mundum cito salvandum vel aliquem cito debilitandum, in principio omnium vinculorum duos ipsetas fecimus; rules_allow и rules_deny. Quomodo facitur?
Exempli gratia, aliquis onus in tela nostra cum autocinetis creat. Priusquam invenire debebas eius IP ex lignis, eum ad fabrum retis ducere, ut fontem negotiationis inveniret et eum interdiceret. Nunc varius dictum velit.
Consuli eam mittimus, 2,5 secundis expecta, et factum est. Cum consul cito per P2P distribuat, ubique in qualibet parte mundi operatur.
Semel nescio quo modo omnino cessavi WOT ob errorem cum firewall. rules_allow - Haec est nostra assecurationis contra tales casus. Si alicubi erravimus cum firewall, quod alicubi saeptum est, semper possumus mittere conditionalem 0.0/0celeriter omnia colligere. Postea omnia manu figemus.
Aliae
Potes addere alia summa in spatio $IPSETS$.
Quod? Aliquando aliquis ipset eget, exempli gratia, ut aemulemur clausuram alicuius botri. Quivis potest quemvis occidere, nominare, et a Consule lecta erunt. Eodem tempore ponit regulas iptables vel participare vel agere ut equos NOOP: constantia servabitur a daemone.
users
Antea sic erat: utens retis connexus et ambitum recipiens per dominicum. Ante adventum novae firewalls generationis, Cisco nesciebat quomodo usor erat et ubi IP erat. Itaque solum per machinae hostname aditus dabatur.
Quid fecimus? Adhæsit nos in tempore inscriptionis accepimus. Solet haec dot1x, Wi-Fi vel VPN - omnia per RADIUS. Pro unoquoque usuario, globum usoris creamus et locum IP in eo cum TTL aequale eius dhcp.lease - simulac exspirat, regula evanescet.
Nunc accessum aperire possumus ad officia, sicut caeteri coetus, ex usuario. Hostnames cum mutant dolorem cepimus, et fabrum retis onus sustulimus, quia Cisco non opus est. Iam ipsi fabrum accessum mandant in servientibus suis.
Insulation
Eodem tempore, velit incepimus detrahere. Ministerii procuratores inventarium acceperunt, et omnia retiacula nostra enucleata sunt. Easdem in circulos dividamus et in necessariis servitoribus coetuum additae sunt, exempli gratia, negare. Sed idem scaenae solitudo terminatur ad regulam productionis, non autem in ipsa productione.
Consilium cito et simpliciter operatur: omnia ACLs a servientibus removemus, ferramenta exoneratis et numerum VLANs solitarium minuimus.
Integritas imperium
Antea singularem felis habuimus quae nuntiavit cum aliquis regulam manualem firewall mutaverit. Ingens linter scribebam ad regulas firewall reprimendas, difficile erat. Nunc integritas refrenat BEFW. Invidet invigilat ut praecepta sua non mutet. Si quis mutat firewall praecepta, omnia retro mutabit. “Procuratorem celeriter constituo ut domo laborare possem”—non sunt optiones tales.
BEFW moderatur ipset a servitiis et index in befw.conf, regulas officiorum in catena BEFW. Sed nec monitor alios vinculorum et regit et alios ipsets.
Crash praesidium
BEFW semper ultimum bonum notum statum bonum in state.bin structura binaria directe reponit. Si quid siet, semper ad hanc rem volvitur.bin.
Hoc est assecurationis contra instabilem Consulem operationem, quando datam vel aliquem non misit, erravit et praecepta adhibita applicari non potest. Ut sine murus non relinquimur, BEFW ad novissimum statum revolvetur si error in quovis statu occurrit.
In dubiis adiunctis haec cautio est ut fire pariete laboranti relinquemur. Omnes retiacula cinerea aperimus in spem venientem admin ac reficere. Aliquando hoc in ficis ponam, nunc tantum tres retiacula cinerea habemus: 10/8, 172/12 et 192.168/16. In nostro Consule, haec magni momenti notio est, quae ulterius progredi nos adiuvat.
Demo: in fama, Ivan modum demo BEFW demonstrat. Demonstrationem spectare facilius est . Demo source code available .
foveisque
Dicam tibi de cimices quos invenimus.
ipset adde pone 0.0.0.0/0. Quid fit si 0.0.0.0/0 addas ut ipset? Omnes IPS additae erunt? Et Internet accessum sit praesto?
Imo, dabimus tibi cimex qui nobis duabus horis constat downtime. Praeterea, cimex ex 2016 non laboravit, in RedHat Bugzilla sub numero #1297092 sita est, et eam casu invenimus - ex relatione elit.
Est nunc stricte regula apud BEFW quod 0.0.0.0/0 vertit in duas inscriptiones; 0.0.0.0/1 и 128.0.0.0/1.
ipset restituet posuit < file. Quid ipset facit cum hoc dicas? restore? Putasne eadem opera facere cum iptables? Notitia recuperabit?
Nihil tale - merge facit, et inscriptiones veteres alibi non abeunt, aditum non obstruunt.
Cimex cum tentat solitudo invenimus. Nunc est ratio implicatior - loco restore held create tempergo restore flush temp и restore temp. In fine VERTO: nam atomicity quia si id primum flush et in hoc momento aliquod fasciculum advenit, abiicietur et aliquid errabit. Est igitur aliquid magicae nigrae ibi.
consul kv adepto -datacenter=alia. Ut dixi, aliquas notitias quaerimus, sed vel data vel errorem habebimus. Consul per locum hoc facere possumus, sed in hoc casu utrumque durabitur.
Consul loci cliens est fascia super HTTP API. Sed solum pendet et non respondet Ctrl+C, vel Ctrl+Z, vel quidvis, tantummodo kill -9 in altera console. Hoc convenimus cum magnum botrum aedificaremus. Sed nondum solutionem habemus, hunc errorem in Consule figere paramus.
Consul dux non respondet. Dominus noster in centrum datae non respondet, cogitamus: "Fortasse resectio algorithmus nunc laborabit?"
Imo, non laborabit, et vigilantia aliquid non ostendet: Consul dicet munus indicem esse, ducem inventum, omnia denique esse.
Quomodo hoc agimus? service consul restart in cron omni hora. Si 50 servitores habetis, nihil pensi habet. Cum 16 eorum fuerint, quomodo operandum intelliges.
conclusio,
Quam ob rem haec commoda accepimus;
- 100% coverage de omnibus machinis Linux.
- Celeritate.
- Automation.
- Nos ferramenta et fabrum retis a servitute liberavimus.
- Facultates integrae apparuerunt paene infinitae: etiam apud Kubernetes, etiam cum Ansible, etiam cum Pythone.
Минусы: Consule, cum quo nunc vivendum est, maximoque erroris damno. Exemplum, semel in 6 pm (primo tempore in Russia) aliquid recensebam in retiacula indicem. Nulla in BEFW tempore aedificabamus. Alicubi erravi, larva iniuriam indicasse mihi videtur, sed omnia in secunda ceciderunt. Vigilantia inluminat, adminiculum ad officium accurrit: "Omnia habemus!" Donec dolor canesceret, cum rem explicavit cur hoc factum sit.
Sumptus erroris tam altus est ut nos cum nostro complexu praeventionis procedendi ascendissemus. Si hoc in magna productionis situ aggrediaris, magistro in Consule omnibus dare non debes. Hic male finiet.
Pretium. Solus 400 horas codicem scripsi. Mea turma 4 hominum agit 10 horas in mense in auxilio pro omnibus. Pretium alicuius novae generationis firewall comparatus est, libera est.
Consilia. Longum tempus consilium est invenire aliud translationem reponere consulem vel complementum. Fortasse Kafka erit vel simile quid. At in consule vivemus in futuros annos.
Consilia immediata: integratio cum Fail2ban, cum vigilantia, cum nftables, fortasse cum aliis distributionibus, metricis, vigilantia provecta, optimizatio. Auxilia Kubernetes etiam alicubi in consiliis habent, quod nunc plures glomerulos et desiderium habemus.
Plus a consiliis;
- anomalia negotiatio quaerere;
- tabula retis procuratio;
- subsidium Kubernetes;
- sarcinas pro omnibus systematibus congregans;
- Web-UI.
Constanter laboramus ut schematismus augeamus, metrice et optimizationi augeamus.
Coniunge res. Exertum frigus evasit, sed, dolor, adhuc unum consilium. veni ad et conare aliquid agere: committo, experire, suggere aliquid, da censum tuum.
Interea paramus quae fient die 6 aprilis et 7 apud St. Petersburg, et nos invitamus tincidunt systematis onustici. . Periti oratores jam sciunt quid agere debeamus, sed illis novis dicendis commendamus saltem . Participatio colloquii sicut orator multa commoda habet. Legere potes quae, exempli gratia, in fine .
Source: www.habr.com