🥇Whale로 쉽고 빠르게 데이터 검색하는 방법

이 기사에서는 KDPV에서 볼 수 있는 가장 간단하고 빠른 데이터 검색 도구에 대해 설명합니다. 흥미롭게도 Whale은 원격 git 서버에서 호스팅되도록 설계되었습니다. 컷 아래의 세부 사항.

Airbnb의 데이터 검색 도구가 내 인생을 바꾼 방법

내 경력에서 나는 몇 가지 재미있는 문제를 해결하는 즐거움을 누렸습니다. MIT에서 학위를 받는 동안 흐름 수학을 공부했고 증분 모델 작업을 했으며 오픈 소스 프로젝트를 진행했습니다. 파이리프트 Wayfair에서 새로운 홈페이지 타겟팅 모델과 Airbnb에서 CUPED 개선 사항을 구현했습니다. 그러나이 모든 작업은 결코 화려하지 않았습니다. 사실 저는 대부분의 시간을 데이터를 검색, 연구 및 검증하는 데 보냈습니다. 이것은 직장에서 지속적인 상태였지만 Airbnb에 도착하여 데이터 검색 도구로 문제를 해결하기 전까지는 이것이 문제라는 생각이 들지 않았습니다. 데이터 포털.

{{데이터}}는 어디에서 찾을 수 있나요? 데이터 포털.
이 열은 무엇을 의미합니까? 데이터 포털.
오늘 {{metric}}은(는) 어떤가요? 데이터 포털.
삶의 감각이란 무엇입니까? 안에 데이터 포털, 아마.

좋아, 당신은 그림을 제시했다. 데이터를 찾고 그 의미, 생성 방법 및 사용 방법을 이해하는 데 몇 시간이 아닌 몇 분이면 충분합니다. 메모를 파헤치고 반복적인 SQL 쿼리를 작성하고 Slack에서 동료를 언급하여 다른 사람이 이미 가지고 있는 컨텍스트를 다시 생성하는 대신 간단한 결론 또는 새로운 알고리즘을 도출하는 데(... 또는 데이터에 대한 임의의 질문에 답하는 데) 시간을 보낼 수 있습니다. .

뭐가 문제 야?

나는 대부분의 친구들이 그러한 도구에 접근할 수 없다는 것을 깨달았습니다. Dataportal과 같은 플랫폼 도구를 구축하고 유지 관리하는 데 막대한 리소스를 기꺼이 투입하는 회사는 거의 없습니다. 또한 몇 가지 오픈 소스 솔루션이 있지만 확장 가능하도록 설계된 경향이 있어 전담 DevOps 엔지니어 없이는 설정 및 유지 관리가 어렵습니다. 그래서 새로운 것을 만들기로 했습니다.

Whale: 어리석을 정도로 단순한 데이터 검색 도구

그리고 네, 어리석게 단순하다는 것은 어리석게 단순함을 의미합니다. 고래에는 두 가지 구성 요소만 있습니다.

메타데이터를 수집하고 MarkDown에서 형식을 지정하는 Python 라이브러리입니다.
이 데이터를 검색하기 위한 Rust 명령줄 인터페이스.

유지보수를 위한 내부 인프라의 관점에서 볼 때 텍스트 파일과 텍스트를 업데이트하는 프로그램만 있을 뿐입니다. 그게 다야 Github와 같은 git 서버에서 호스팅하는 것이 간단합니다. 새로운 쿼리 언어를 배울 필요도, 관리 인프라도, 백업도 없습니다. 누구나 Git을 알고 있으므로 동기화 및 협업이 무료입니다. 기능을 자세히 살펴 보겠습니다. 고래 v1.0.

모든 기능을 갖춘 git 기반 GUI

Whale은 원격 git 서버의 바다에서 헤엄치도록 설계되었습니다. 그 아주 쉬운 구성 가능: 몇 가지 연결을 정의하고 Github Actions 스크립트를 복사(또는 선택한 CI/CD 플랫폼용으로 작성)하면 바로 데이터 검색 웹 도구를 사용할 수 있습니다. Github에서 직접 스프레드시트를 검색, 보기, 문서화 및 공유할 수 있습니다.

Github 작업을 사용하여 생성된 스텁 테이블의 예입니다. 전체 작업 데모 이 섹션에서 참조.

리포지토리에 대한 번개처럼 빠른 CLI 검색

Whale은 명령줄에서 살아 숨쉬며 테이블 전체에 강력한 밀리초 조회를 제공합니다. 수백만 개의 테이블이 있는 경우에도 일부 영리한 캐싱 메커니즘을 사용하고 Rust에서 백엔드를 재구축하여 Whale의 성능을 놀라울 정도로 향상시켰습니다. 검색 지연이 발생하지 않습니다. [hello Google DS]

Whale 데모, 백만 테이블 조회.

측정항목 자동 계산[베타]

데이터 과학자로서 가장 싫어하는 것 중 하나는 사용 중인 데이터의 품질을 확인하기 위해 동일한 쿼리를 반복해서 실행하는 것입니다. Whale은 메타데이터 정리 파이프라인과 함께 실행되도록 예약될 일반 SQL에서 메트릭을 정의하는 기능을 지원합니다. 스텁 테이블 내부에 YAML 메트릭 블록을 정의하면 Whale이 일정에 따라 자동으로 실행되고 메트릭에 중첩된 쿼리가 실행됩니다.

```metrics
metric-name:
  sql: |
    select count(*) from table
```

Github와 결합된 이 접근 방식은 Whale이 메트릭 정의를 위한 쉬운 중앙 진실 소스 역할을 할 수 있음을 의미합니다. Whale은 값을 타임스탬프와 함께 "~/. whale/metrics"는 차트 작성 또는 보다 심층적인 연구를 수행하려는 경우에 사용할 수 있습니다.

미래

시험판 버전의 Whale 사용자들과 이야기를 나눈 후 우리는 사람들에게 더 많은 기능이 필요하다는 것을 깨달았습니다. 테이블 조회 도구가 필요한 이유는 무엇입니까? 메트릭 검색 도구가 아닌 이유는 무엇입니까? 모니터링하지 않는 이유는 무엇입니까? SQL 쿼리 실행 도구가 아닌 이유는 무엇입니까? Whale v1은 원래 간단한 CLI 동반 도구로 생각되었지만 Dataportal/Amundsen, 이미 모든 기능을 갖춘 독립 실행형 플랫폼으로 발전했으며 데이터 과학자 툴킷의 필수 부분이 되기를 바랍니다.

개발 과정에서 보고 싶은 것이 있다면 저희와 함께하세요. Slack 커뮤니티에, 공개 문제: 깃허브또는 직접 연락 링크드인. 이미 Jinja 템플릿, 북마크, 검색 필터, Slack 알림, Jupyter 통합, 메트릭용 CLI 대시보드 등 멋진 기능이 많이 있지만 여러분의 의견을 환영합니다.

결론

Whale은 최근에 다른 사람들과 공동 창립한 스타트업인 Dataframe에서 개발하고 유지 관리합니다. Whale이 데이터 과학자를 위해 만들어졌다면 Dataframe은 데이터 과학자를 위해 만들어졌습니다. 보다 긴밀한 협업을 원하는 분들은 언제든지 주소대기자 명단에 추가하겠습니다.

그리고 프로모션 코드로 하브르, 배너에 표시된 할인에 추가 10%를 얻을 수 있습니다.

더 많은 과정

특집 기사

출처 : habr.com

Whale로 쉽고 빠르게 데이터를 검색하는 방법