🥇Vela → nutikas vahemälu ajasari ja mitte ainult

Finantstehnoloogia valdkonnas peame tihti töötlema üsna suuri valuutakursi andmehulkasid. Me saame andmeid erinevatest allikatest, ja igaühel neist on oma tõlgendus, kuidas projitseerida kursse homme, ülehomme, järgmisel kuul ja isegi järgmistel kolmel aastal. Kui keegi oskaks kursse ennustada, oleks mõistlik ettevõte lõpetada ja lihtsalt raha edasi-tagasi vahetada. õigestiMõned allikad on usaldusväärsemad, mõned pakuvad puhtalt prügi, haruldaste peaaegu õigete väärtuste sissekannetega, kuid eksootiliste paaride jaoks. Meie töö on filtreerida need kümned tuhanded väärtused sekundis ning määrata, mida näidata klientidele. Peame filtreerima ainulaadse õige väärtuse tonni mustuse ja mudase seest, nagu flamingod lõunasöögi ajal.

Flamingo eristav tunnus on suur allapoole kõverdatud nokk, millega nad filtreerivad toitu veest või mudast.
— Wiki

Nii sündis teekond Vela, mis salvestab olekukäigu mitme väärtuse jaoks määratud ajavahemikes. Selle all toimub halvimate ja aegunud andmete automaatne filtreerimine ning juurdepääs viimastele N kontrollitud väärtustele iga võtme (valuutapaaride, meie juhul) jaoks.

Oletame, et kogume kursse kolmele valuutpaarile. Lihtsaim määratlus Vela aktiivsete seisundite salvestamiseks näeks välja nii:

defmodule Pairs do
  use Vela,
    eurusd: [sorter: &Kernel. 0
end

Väärtuste värskendamine

Vela.put/3 funktsioon teeb järjestikku järgmist:

kutsub esile validator väljaande väärtuse peale, kui see on määratud (vt peatükk Valideerimine allpool);
lisab väärtuse kas heade väärtuste rikka, kui validatsioon õnnestus, või teenindusliku rea :__errors__ vastasel juhul;
kutsub esile sortimise, kui sorter on selle võtme jaoks määratud, või lihtsalt paneb väärtuse nimekirja ette (LIFO, vt peatükk Sorteerimine allpool);
lõikab rida vastavalt parameetrile :limit mis on loomisel edastatud;
tagastab värskendatud struktuuri. Vela.

iex|1 > pairs = %Pairs{}
iex|2 > Vela.put(pairs, :eurcad, 1.0)
#⇒ %Pairs{..., eurcad: [1.0], ...}
iex|3 > Vela.put(pairs, :eurcad, -1.0)
#⇒ %Pairs{__errors__: [eurcad: -1.0], ...}
iex|4 > pairs |> Vela.put(:eurusd, 2.0) |> Vela.put(:eurusd, 1.0)
#⇒ %Pairs{... eurusd: [1.0, 2.0]}

Samuti Vela rakendab Access, nii et väärtuste uuendamiseks võib kasutada mõnda tavalist struktuuride sügava uuendamise funktsioonidest Kernel: Kernel.get_in/2, Kernel.put_in/3, Kernel.update_in/3, Kernel.pop_in/2, ja Kernel.get_and_update_in/3.

Valideerimine

Validaator võib olla määratletud kui:

välisfunktsioon ühe argumendiga (&MyMod.my_fun/1), see saab ainult kontrollimise väärtuse;
välisfunktsioon kahe argumendiga, &MyMod.my_fun/2, see saab paari serie, value kontrollimiseks;
moodul, mis rakendab Vela.Validator;
konfigureerimisparameeter threshold, ja - valikuliselt - compare_by, vt peatükk Comparison allpool.

Kui kontrollimine on edukas, lisatakse väärtus vastava võtme alla nimekirja, vastasel juhul saadetakse tuple {serie, value} aadressile :__errors_.

Võrdlus

Nendes ridades salvestatavad väärtused võivad olla mis tahes. Et õpetada Vela neid võrdlema, tuleb edastada compare_by parameeter rida määratlusse (kui väärtusi ei saa võrrelda tavalise Kernel.<\/2); see parameeter peab olema tüübiga (Vela.value() -> number()). Vaikimisi on see lihtsalt & &1.

Samuti võib rida määratlusse edastada parameetri comparator delta väärtuste arvutamiseks (min/max); näiteks edastades Date.diff/2 komparatoorina, on võimalik saada korrektsed deltid kuupäevade jaoks.

Teine mugav viis töötamiseks on parameetri edastamine threshold, mis määrab maksimaalse lubatava suhte uue väärtuse ja {min, max} vahemiku vahel. Kuna see on väljendatud protsentides, ei kasuta kontroll comparator, kuid kasutab endiselt compare_by. Näiteks, et määrata künnis kuupäeva väärtuste jaoks, tuleb märkida compare_by: &DateTime.to_unix/1 (täisarvuline väärtus) ja threshold: 1, mille tulemuseks on, et uued väärtused on lubatud ainult siis, kui nad on ±band vahe ulatuses praegustest väärtustest.

Lõpuks saab kasutada Vela.equal?/2 compare/2 , et võrrelda kahte vahemälu. Kui väärtused määravad funktsiooni või equal?/2compare/2 ==/2.

, siis neid funktsioone kasutatakse võrdlemiseks, vastasel juhul kasutame lihtsalt

Väärtuste saamine Praeguse oleku töötlemine algab tavaliselt kõnegaVela.purge/1 validator , mis eemaldab aegunud väärtused (kui seondubajatempleid). Seejärel saab kutsuda Vela.slice/1, mis tagastab märksõna ridade nimed võtmetena ja esimesed, kehtivad väärtused.

Samuti saab kasutada get_in/2/pop_in/2 madalama taseme juurdepääsuks väärtustele igas reas.

Rakendus

Vela võib osutuda äärmiselt kasulikuks ajasari vahemälu kui protsessi tüüp GenServer/Agent. Me ei taha kunagi kasutada aegunud kursi väärtusi ja selleks hoiame lihtsalt protsessi olekut, mida töödeldakse Vela, koos valideerijaga, mis on näidatud allpool.

@impl Vela.Validator
def valid?(_key, %Rate{} = rate),
  do: Rate.age(rate) < @death_age

ja Praeguse oleku töötlemine algab tavaliselt kõnega rahulikult eemaldab kõik aegunud väärtused iga kord, kui vajame andmeid. Aktiivsete väärtuste juurde pääsemiseks kutsume lihtsalt Vela.slice/1, ja kui vajame väikest ajalugu kursist (kogu rida tervikuna), tagastame selle lihtsalt – juba sorteerituna – valideeritud väärtustega.

Edu ajavahemike vahemälu loomisel!

Allikas: habr.com