🥇Vela → nutikas vahemälu ajavee jaoks ja enam

Fintech-sektoris seisame sageli silmitsi suurte andmemassidega valuutakursside töötlemisel. Saame andmeid erinevatest allikatest, ja igal neist on oma viis defineerida, kuidas projitseerida kursse järgmiseks päevaks, ülejärgmiseks päevaks, järgmise kuu ja isegi kolme aasta kaugusele. Kui keegi oskaks kursse ennustada, oleks aeg äri sulgeda ja lihtsalt vahetada raha edasi-tagasi. õigestiMõned allikad on usaldusväärsemad kui teised, mõned toovad pigem prügi, harvade peaaegu õigete väärtuste vahelt, kuid siiski eksootiliste paaride jaoks. Meie ülesanne on filtreerida need kümned tuhanded väärtused sekundis ja otsustada, mida klientidele näidata. Peame välja filtreerima ainulaadse õige väärtuse mustast august, just nagu flamingod söömisel.

Flamingo eripära on suur allapoole kumer nokk, millega nad filtreerivad toitu veest või mudast.
— Wiki

Nii sündis teekäimise raamatukogu Vela, mis salvestab oleku vahemälu mitme väärtuse jaoks määratud ajavahemikes. Selle sisemus eemaldab reaalajas halvad ja aegunud andmed ning pakub ligipääsu viimasetele N kehtestatud väärtustele igas võtmes (valuutapaarid meie puhul).

Oletame, et kogume kursse kolmele valuutapaarile. Lihtsaim määratlemine Vela kehtiva oleku salvestamiseks näeks välja umbes nii:

defmodule Pairs do
  use Vela,
    eurusd: [sorter: &Kernel. 0
end

Väärtuste uuendamine

Vela.put/3 funktsioon teeb järjestikku järgmist:

kutsub välja validatori antud väärtuse üle, kui see on määratud (vt peatükki Kehtivus allpool);
lisab väärtuse hea väärtuste ritta, kui kehtivusõpe lõppes edukalt, muul juhul siis teeninduslikku ritta :__errors__ vastu;
kutsub välja sortimise, kui sorter on antud võtme jaoks määratud või lihtsalt lisab väärtuse nimekirja ette (LIFO, vt peatükki Sorteerimine allpool);
lõikab ritta vastavalt parameetrile :limit mille määrasime loomisel;
tagastab uuendatud struktuuri Vela.

iex|1 > pairs = %Pairs{}
iex|2 > Vela.put(pairs, :eurcad, 1.0)
#⇒ %Pairs{..., eurcad: [1.0], ...}
iex|3 > Vela.put(pairs, :eurcad, -1.0)
#⇒ %Pairs{__errors__: [eurcad: -1.0], ...}
iex|4 > pairs |> Vela.put(:eurusd, 2.0) |> Vela.put(:eurusd, 1.0)
#⇒ %Pairs{... eurusd: [1.0, 2.0]}

Samuti Vela rakendab Access, seega on võimalik väärtuste uuendamiseks kasutada mõnda tavalist funktsiooni sügaval struktuuri uuendamiseks Kernel: Kernel.get_in/2, Kernel.put_in/3, Kernel.update_in/3, Kernel.pop_in/2, ja Kernel.get_and_update_in/3.

Kehtivus

Kehtivus võib olla määratletud järgmiselt:

välisfunktsioon, millel on üks argument (&MyMod.my_fun/1), see saab vaid kehtivuse jaoks kontrollitava väärtuse;
välisfunktsioon, millel on kaks argumenti, &MyMod.my_fun/2, see saab paari serie, value kehtivuse jaoks;
moodul, mis rakendab Vela.Validator;
konfiguratsiooniparameeter lävend, ja - valikuliselt - compare_by, vt peatükki Võrdlus alla.

Kui kehtivus on edukalt läbitud, lisatakse väärtus nimekirja vastava võtme all, muul juhul saadetakse tuplet {serie, value} järgmisse :__errors_.

Võrdlus

Nendes ridades salvestatavad väärtused võivad olla igasugused. Et õpetada Vela neid võrdlema, tuleb parameeter edastada rea määratlemisel (kui väärtusi ei saa võrrelda tavalise compare_by Kernel</2 ); see parameeter peab olema tüübilt(Vela.value() -> number()) . Vaikimisi on see lihtsalt& &1 Samuti on rea määratlemisel võimalik edastada parameeter.

comparator delta väärtuste arvutamiseks ( ); näiteks, edastadesmin/maxDate.diff/2 võrreldes, võib saada õigeid deltasid kuupäevade jaoks. Teine mugav töömeetod on parameetri edastamine

, mis määratleb maksimaalselt lubatud suhte uue väärtuse ja lävend{min, max} vahemiku vahel. Kuna see on määratud protsentides, ei kasuta kontroll , kuid kasutab siiski delta väärtuste arvutamiseks (. Näiteks, et määrata kuupäeva väärtuse künnise väärtus, tuleb märkida compare_bycompare_by: &DateTime.to_unix/1 (kuni täisarvuväärtuseni) ja threshold: 1 , mille tulemusel lubatakse uued väärtused alles siis, kui need jäävad±band vahemikku praegustest väärtustest. Lõpuks on võimalik kasutada

Vela.equal?/2 kahe vahemälu võrdlemiseks. Kui väärtused määravad funktsiooni equal?/2 compare/2 või , kasutatakse neid võrdlemiseks, muul juhul kasutame me lihtsaltVäärtuste saamine ==/2.

Praeguse oleku töötlemine algab tavaliselt kutsumisega

Vela.purge/1 , mis eemaldab aegunud väärtused (kuiseotud validatori timestampsiga). Seejärel on võimalik kutsuda Vela.slice/1, mis tagastab nimed ridadena võtmetena ja esimesed, kehtivad väärtused.Samuti on võimalik kasutada keyword get_in/2

pop_in/2 madalama taseme ligipääsu saamiseks iga rea väärtustele./pop_in/2 madala taseme juurdepääs iga rea väärtustele.

Rakendus

Vela võib osutuda äärmiselt kasulikuks ajavee vahemällu hoidmiseks protsessi seisundi tüübi puhul GenServer/Agent. Soovime kunagi mitte kasutada aegunud kursiväärtusi, ja selleks hoiame protsessi, mille olek on töödeldud Vela, allpool näidatud valideerijaga.

@impl Vela.Validator
def valid?(_key, %Rate{} = rate),
  do: Rate.age(rate) < @death_age

ja , mis eemaldab aegunud väärtused (kui rahulikult eemaldab kõik aegunud väärtused iga kord, kui andmeid vajame. Aktiivsete väärtuste saamiseks lihtsalt kutsume välja nimed ridadena võtmetena ja esimesed, kehtivad väärtused., ja kui me vajame väikest ajalugu kursist (kogu seeria), tagastame selle lihtsalt - juba sorteeritud - kehtivate väärtustega.

Edu ajavee vahemällu hoidmisel!

Allikas: habr.com