Vela → מטמון חכם לסדרות זמן ועוד

בפינטק, לעתים קרובות אנו צריכים לעבד כמויות די מסיביות של נתוני שער חליפין. אנו מקבלים נתונים ממקורות שונים, ולכל אחד מהם יש רעיון משלו כיצד לבצע אקסטרפולציה של שערי חליפין למחר, מחרתיים, לחודש הבא ואפילו לשלוש השנים הבאות. אם רק מישהו היה יכול לחזות שיעורים נכון, זה יהיה הזמן לסגור את העסק ופשוט להחליף כסף הלוך ושוב בטיפשות. חלק מהמקורות אמינים יותר, חלק מספקים זבל מלא, עם הכללות נדירות של ערכים כמעט נכונים, אבל לזוגות אקזוטיים. התפקיד שלנו הוא לנפות בין עשרות אלפי הערכים הללו בשנייה ולקבוע מה בדיוק להראות ללקוחות. אנחנו צריכים לסנן את הערך הנכון אחד מטונות של לכלוך וסחף, בדיוק כמו שפלמינגו עושים בצהריים.

מאפיין מיוחד של פלמינגו הוא מקורם המאסיבי המתעקל כלפי מטה, שבעזרתו הם מסננים מזון ממים או בוץ.
 - ויקי

כך נולדה הספרייה Vela, המאחסן מטמון מצב עבור מספר ערכים במרווחי זמן מוגדרים. מתחת למכסה המנוע, הוא מסנן נתונים רעים ומיושנים תוך כדי תנועה, וגם מספק גישה לעדונים האחרונים N ערכים מאומתים עבור כל מפתח (צמדי מטבעות, במקרה שלנו).

נניח שאנו אוספים תעריפים עבור שלושה צמדי מטבעות. ההגדרה הפשוטה ביותר Vela כדי לאחסן את המצב הנוכחי זה ייראה בערך כך:

defmodule Pairs do
  use Vela,
    eurusd: [sorter: &Kernel.<=/2],
    eurgbp: [limit: 3, errors: 1],
    eurcad: [validator: Pairs]

  @behaviour Vela.Validator

  @impl Vela.Validator
  def valid?(:eurcad, rate), do: rate > 0
end

עדכון ערכים

Vela.put/3 הפונקציה תעשה את הפעולות הבאות ברצף:

• יגרום validator על הערך, אם מוגדר כזה (ראה פרק מַתַן תוֹקֵף לְהַלָן);
• יוסיף את הערך לשורת הערכים הטובים אם האימות הצליח, או לשורת השירות :__errors__ אחרת;
• יגרום למיון אם sorter מוגדר עבור מפתח נתון, או פשוט יכניס את הערך בראש הרשימה (LIFO, ראה פרק Сортировка לְהַלָן);
• יקצץ את השורה לפי הפרמטר :limit עבר על הבריאה;
• יחזיר את המבנה המעודכן Vela.

iex|1 > pairs = %Pairs{}
iex|2 > Vela.put(pairs, :eurcad, 1.0)
#⇒ %Pairs{..., eurcad: [1.0], ...}
iex|3 > Vela.put(pairs, :eurcad, -1.0)
#⇒ %Pairs{__errors__: [eurcad: -1.0], ...}
iex|4 > pairs |> Vela.put(:eurusd, 2.0) |> Vela.put(:eurusd, 1.0)
#⇒ %Pairs{... eurusd: [1.0, 2.0]}

גם Vela מיישם Access, כך שתוכל להשתמש בכל אחת מהפונקציות הסטנדרטיות לעדכון מבנים עמוקים מהארסנל לעדכון ערכים Kernel: Kernel.get_in/2, Kernel.put_in/3, Kernel.update_in/3, Kernel.pop_in/2, ו Kernel.get_and_update_in/3.

מַתַן תוֹקֵף

ניתן להגדיר מאמת כ:

• פונקציה חיצונית עם ארגומנט אחד (&MyMod.my_fun/1), הוא יקבל רק את הערך לאימות;
• פונקציה חיצונית עם שני ארגומנטים, &MyMod.my_fun/2, היא תקבל זוג serie, value לצורך אימות;
• יישום מודול Vela.Validator;
• פרמטר תצורה threshold, ו - אופציונלי - compare_by, ראה פרק השוואה לְהַלָן.

אם האימות הצליח, הערך מתווסף לרשימה מתחת למפתח המתאים; אחרת, ה-tuple {serie, value} הולך ל :__errors_.

השוואה

הערכים המאוחסנים בשורות אלה יכולים להיות כל דבר. ללמד Vela כדי להשוות ביניהם, יש צורך להעביר compare_by פרמטר בהגדרת הסדרה (אלא אם לא ניתן להשוות את הערכים לתקן Kernel.</2); פרמטר זה חייב להיות מסוג (Vela.value() -> number()). כברירת מחדל זה פשוט & &1.

כמו כן, ניתן להעביר פרמטר להגדרת השורה comparator כדי לחשב ערכי דלתא (min/max); למשל, על ידי שידור Date.diff/2 בתור השוואה, אתה יכול לקבל את הדלתות הנכונות לתאריכים.

דרך נוחה נוספת לעבוד היא להעביר פרמטר threshold, המגדיר את היחס המרבי המותר של הערך החדש ל {min, max} הַפסָקָה. מכיוון שהוא מצוין באחוזים, הצ'ק אינו משתמש comparatorאבל עדיין משתמש compare_by. לדוגמה, כדי לציין ערך סף לשעות תאריכים, עליך לציין compare_by: &DateTime.to_unix/1 (כדי לקבל ערך של מספר שלם) ו threshold: 1, מה שגורם לערכים חדשים להיות מורשים רק אם הם נמצאים ±band מרווח מהערכים הנוכחיים.

לבסוף, אתה יכול להשתמש Vela.equal?/2 להשוות בין שני מטמונים. אם הערכים מגדירים פונקציה equal?/2 או compare/2, אז הפונקציות האלה ישמשו להשוואה, אחרת אנחנו משתמשים בטיפשות ==/2.

קבלת ערכים

עיבוד המצב הנוכחי מתחיל בדרך כלל בהתקשרות Vela.purge/1, אשר מסיר ערכים מיושנים (אם validator קשור ל timestamps). לאחר מכן תוכל להתקשר Vela.slice/1אשר יחזור keyword עם שמות שורות כמפתחות והערכים הראשונים בפועל.

אתה יכול גם להשתמש get_in/2/pop_in/2 לגישה ברמה נמוכה לערכים בכל שורה.

יישום

Vela יכול להיות שימושי ביותר כמטמון של סדרת זמן במצב תהליך כמו GenServer/Agent. אנחנו רוצים לעולם לא להשתמש בערכי קורס מיושנים, וכדי לעשות זאת אנחנו פשוט שומרים על התהליך עם מצב מעובד Vela, עם המאמת המוצג להלן.

@impl Vela.Validator
def valid?(_key, %Rate{} = rate),
  do: Rate.age(rate) < @death_age

и Vela.purge/1 מסיר בשקט את כל הערכים המעופשים בכל פעם שאנחנו צריכים את הנתונים. כדי לגשת לערכים בפועל אנו פשוט מתקשרים Vela.slice/1, וכשנדרשת היסטוריה קטנה של הקורס (כל הסדרה), אנחנו פשוט מחזירים אותה - כבר ממוינת - עם ערכים מאומתים.

• GitHub
• הקסדוקס

אחסון בסדרות זמן שמח!

מקור: www.habr.com