Vela → 시계열 등을 위한 스마트 캐시

핀테크에서는 상당히 방대한 양의 환율 데이터를 처리해야 하는 경우가 많습니다. 우리는 다양한 소스로부터 데이터를 얻습니다. 각 소스는 내일, 모레, 다음 달, 향후 XNUMX년에 대한 환율을 추정하는 방법에 대한 자체 아이디어를 가지고 있습니다. 누군가가 금리를 예측할 수 있다면 바르게, 이제 사업을 닫고 어리석게 돈을 앞뒤로 바꿀 시간이 될 것입니다. 일부 소스는 더 신뢰할 수 있고 일부 소스는 완전한 쓰레기를 제공하며 거의 정확한 값이 드물게 포함되지만 이국적인 커플에게는 적합합니다. 우리의 임무는 초당 수만 개의 값을 선별하여 고객에게 정확히 무엇을 보여줄지 결정하는 것입니다. 플라밍고가 점심 시간에 하는 것처럼 우리는 수많은 흙과 미사에서 하나의 정확한 값을 걸러내야 합니다.

플라밍고의 특별한 특징은 아래쪽으로 굽은 거대한 부리로 물이나 진흙에서 먹이를 걸러냅니다.
 - 위키

그리하여 도서관이 탄생했다 Vela, 지정된 시간 간격으로 여러 값에 대한 상태 캐시를 저장합니다. 내부적으로는 불량하고 오래된 데이터를 즉시 필터링하고 최신 정보에 대한 액세스도 제공합니다. N 각 키에 대해 검증된 값(우리의 경우 통화 쌍)

세 가지 통화쌍에 대한 환율을 수집한다고 가정해 보겠습니다. 가장 간단한 정의 Vela 현재 상태를 저장하려면 다음과 같이 표시됩니다.

defmodule Pairs do
  use Vela,
    eurusd: [sorter: &Kernel.<=/2],
    eurgbp: [limit: 3, errors: 1],
    eurcad: [validator: Pairs]

  @behaviour Vela.Validator

  @impl Vela.Validator
  def valid?(:eurcad, rate), do: rate > 0
end

값 업데이트

Vela.put/3 이 함수는 다음 작업을 순서대로 수행합니다.

• 원인이됩니다 validator 정의된 경우 값에 대해(장 참조) 확인 아래에);
• 유효성 검사에 성공하면 좋은 값 행에 값을 추가하거나 서비스 행에 값을 추가합니다. :__errors__ 그렇지 않으면;
• 다음과 같은 경우 정렬이 발생합니다. sorter 주어진 키에 대해 정의되거나 단순히 목록의 머리 부분에 값을 넣습니다(LIFO, 장 참조 정렬 아래에);
• 매개변수에 따라 행을 자릅니다. :limit 창조 시 전달됨;
• 업데이트된 구조를 반환합니다 Vela.

iex|1 > pairs = %Pairs{}
iex|2 > Vela.put(pairs, :eurcad, 1.0)
#⇒ %Pairs{..., eurcad: [1.0], ...}
iex|3 > Vela.put(pairs, :eurcad, -1.0)
#⇒ %Pairs{__errors__: [eurcad: -1.0], ...}
iex|4 > pairs |> Vela.put(:eurusd, 2.0) |> Vela.put(:eurusd, 1.0)
#⇒ %Pairs{... eurusd: [1.0, 2.0]}

또한 Vela 구현하다 Access, 따라서 무기고에서 값을 업데이트하기 위해 구조를 심층 업데이트하기 위한 표준 기능 중 하나를 사용할 수 있습니다. Kernel: Kernel.get_in/2, Kernel.put_in/3, Kernel.update_in/3, Kernel.pop_in/2및 Kernel.get_and_update_in/3.

확인

유효성 검사기는 다음과 같이 정의할 수 있습니다.

• 인수가 하나인 외부 함수(&MyMod.my_fun/1), 유효성 검사를 위한 값만 받습니다.
• 두 개의 인수가 있는 외부 함수, &MyMod.my_fun/2, 그 사람은 한 켤레 살 거예요 serie, value 검증을 위해;
• 모듈 구현 Vela.Validator;
• 구성 매개변수 threshold및 - 선택적으로 - compare_by, 장 참조 비교 아래에.

유효성 검사가 성공하면 값이 해당 키 아래 목록에 추가됩니다. 그렇지 않으면 튜플 {serie, value} 로 이동 :__errors_.

비교

이 행에 저장된 값은 무엇이든 될 수 있습니다. 가르치다 Vela 비교하려면 전송이 필요합니다. compare_by 시리즈 정의의 매개변수(값을 표준과 비교할 수 없는 경우 제외) Kernel.</2); 이 매개변수는 유형이어야 합니다. (Vela.value() -> number()). 기본적으로는 간단합니다 & &1.

또한 행 정의에 매개변수를 전달할 수도 있습니다. comparator 델타 값을 계산하려면 ​​(min/max); 예를 들어 전송을 통해 Date.diff/2 비교기로 날짜에 대한 올바른 델타를 얻을 수 있습니다.

또 다른 편리한 작업 방법은 매개변수를 전달하는 것입니다. threshold, 새 값의 최대 허용 비율을 정의합니다. {min, max} 간격. 백분율로 지정되므로 수표에는 사용되지 않습니다. comparator하지만 아직도 사용하고 있어요 compare_by. 예를 들어, 날짜 시간에 대한 임계값을 지정하려면 다음을 지정해야 합니다. compare_by: &DateTime.to_unix/1 (정수 값을 얻기 위해) 그리고 threshold: 1, 새로운 값이 다음에 있는 경우에만 허용됩니다. ±band 현재 값의 간격입니다.

마지막으로 다음을 사용할 수 있습니다. Vela.equal?/2 두 캐시를 비교합니다. 값이 함수를 정의하는 경우 equal?/2 또는 compare/2, 그러면 이 함수는 비교에 사용됩니다. 그렇지 않으면 우리는 어리석게 사용합니다. ==/2.

가치 얻기

현재 상태 처리는 일반적으로 호출로 시작됩니다. Vela.purge/1, 더 이상 사용되지 않는 값을 제거합니다(만약 validator 에 묶여 timestamps). 그런 다음 전화를 걸 수 있습니다. Vela.slice/1반환됩니다 keyword 행 이름을 키로 사용하고 첫 번째 실제 값을 사용합니다.

당신은 또한 사용할 수 있습니다 get_in/2/pop_in/2 각 행의 값에 대한 낮은 수준의 액세스를 위해.

신청

Vela 다음과 같은 프로세스 상태에서 시계열 캐시로 매우 유용할 수 있습니다. GenServer/Agent. 우리는 오래된 코스 값을 절대 사용하지 않기를 원하며 이를 위해 단순히 상태가 처리된 프로세스를 유지하기만 하면 됩니다. Vela, 아래에 표시된 유효성 검사기를 사용합니다.

@impl Vela.Validator
def valid?(_key, %Rate{} = rate),
  do: Rate.age(rate) < @death_age

и Vela.purge/1 데이터가 필요할 때마다 모든 오래된 값을 조용히 제거합니다. 실제 값에 액세스하려면 간단히 호출하면 됩니다. Vela.slice/1, 코스의 작은 기록(전체 시리즈)이 필요한 경우 이미 정렬된 검증된 값을 사용하여 간단히 반환합니다.

• GitHub의
• Hexdoc

행복한 시계열 캐싱!

출처 : habr.com