분석 플랫폼에 로우코드 적용

독자 여러분, 좋은 하루 되세요!

조만간 데이터 수집 및 분석을 위한 IT 플랫폼을 구축하는 작업은 지능적으로 로드된 서비스 제공 모델이나 기술적으로 복잡한 제품 생성을 기반으로 하는 비즈니스를 운영하는 모든 회사에서 발생합니다. 분석 플랫폼을 구축하는 것은 복잡하고 시간이 많이 걸리는 작업입니다. 그러나 모든 작업을 단순화할 수 있습니다. 이 기사에서는 분석 솔루션을 만드는 데 도움이 되는 로우 코드 도구를 사용한 경험을 공유하고 싶습니다. 이 경험은 Neoflex 회사의 빅 데이터 솔루션 방향에서 여러 프로젝트를 실행하는 동안 획득되었습니다. 2005년부터 네오플렉스의 빅데이터 솔루션 방향은 데이터 웨어하우스 및 레이크 구축 문제를 다루고, 정보 처리 속도 최적화 문제를 해결하며, 데이터 품질 관리를 위한 방법론을 연구해 왔습니다.

약하거나 강하게 구조화된 데이터가 의식적으로 축적되는 것을 누구도 피할 수 없습니다. 아마도 우리가 중소기업에 대해 이야기하고 있는 경우에도 마찬가지일 것입니다. 결국, 사업을 확장할 때 유망한 기업가는 충성도 프로그램 개발 문제에 직면하게 될 것이고, POS(Point of Sale)의 효율성을 분석하고 싶고, 타겟 광고에 대해 생각하고, 동반 제품에 대한 수요로 인해 당황하게 될 것입니다. . 첫 번째 근사치로 문제는 "무릎 위에서" 해결될 수 있습니다. 그러나 비즈니스가 성장함에 따라 분석 플랫폼을 사용하는 것은 여전히 ​​불가피합니다.

그러나 어떤 경우에 데이터 분석 작업이 "로켓 과학" 수업 문제로 발전할 수 있습니까? 아마도 우리가 정말 빅 데이터에 대해 이야기하고 있는 순간일 것입니다.
로켓 과학을 더 쉽게 만들기 위해 코끼리를 한 조각씩 먹을 수 있습니다.

애플리케이션/서비스/마이크로서비스가 더욱 개별적이고 자율적일수록 귀하, 동료 및 전체 비즈니스가 코끼리를 소화하기가 더 쉬워집니다.

거의 모든 고객이 DevOps 팀의 엔지니어링 관행을 기반으로 환경을 재구축하여 이 가정에 도달했습니다.

그러나 "별도의 코끼리식" 식단을 사용하더라도 IT 환경이 "과포화"될 가능성이 높습니다. 지금은 멈추고 숨을 내쉬며 옆을 바라볼 가치가 있습니다. 로우코드 엔지니어링 플랫폼.

많은 개발자는 코드를 직접 작성하는 것에서 로우 코드 시스템의 UI 인터페이스에 있는 "끌기" 화살표로 이동할 때 경력이 막다른 골목에 도달할 가능성에 대해 두려워합니다. 그러나 공작 기계의 출현은 엔지니어의 실종으로 이어지지 않고 그들의 작업을 새로운 차원으로 끌어 올렸습니다!

이유를 알아봅시다.

물류, 통신 산업, 미디어 조사, 금융 분야의 데이터 분석은 항상 다음과 같은 질문과 연관됩니다.

• 자동화된 분석 속도
• 주요 데이터 생산 흐름에 영향을 주지 않고 실험을 수행할 수 있는 능력
• 준비된 데이터의 신뢰성
• 변경 추적 및 버전 관리
• 데이터 출처, 데이터 계보, CDC;
• 프로덕션 환경에 새로운 기능을 빠르게 제공합니다.
• 그리고 악명 높은 것은 개발 및 지원 비용입니다.

즉, 엔지니어는 낮은 수준의 개발 작업에 대한 의식을 비워야만 충분한 효율성으로 완료할 수 있는 엄청난 수의 높은 수준의 작업을 가지고 있습니다.

개발자가 새로운 단계로 나아가기 위한 전제조건은 비즈니스의 진화와 디지털화였습니다. 개발자의 가치도 변화하고 있습니다. 자동화되는 비즈니스의 개념에 몰입할 수 있는 개발자가 상당히 부족합니다.

저수준 프로그래밍 언어와 고급 프로그래밍 언어로 비유를 그려보겠습니다. 저수준 언어에서 고급 언어로의 전환은 "하드웨어 언어로 직접 지시문"을 작성하는 것에서 "사람 언어로 지시문"을 작성하는 전환입니다. 즉, 추상화 계층을 추가하는 것입니다. 이 경우, 고급 프로그래밍 언어에서 로우코드 플랫폼으로의 전환은 "사람의 언어로 된 지침"에서 "비즈니스 언어로 된 지침"으로의 전환입니다. 이 사실을 안타까워하는 개발자들이 있다면 아마도 배열 정렬 기능을 사용하는 자바스크립트가 탄생한 순간부터 안타까움을 느꼈을 것이다. 물론 이러한 기능은 동일한 고급 프로그래밍의 다른 수단을 통해 내부적으로 소프트웨어 구현을 갖습니다.

따라서 로우코드는 또 다른 추상화 수준의 모습일 뿐입니다.

로우코드를 활용한 응용경험

로우코드라는 주제는 꽤 광범위하지만, 이제 우리 프로젝트 중 하나를 예로 들어 "로우코드 개념"의 실제 적용에 대해 이야기하고 싶습니다.

Neoflex의 빅 데이터 솔루션 사업부는 비즈니스의 금융 부문, 데이터 웨어하우스 및 레이크 구축, 다양한 보고 자동화를 전문으로 합니다. 이 틈새 시장에서는 로우 코드 사용이 오랫동안 표준이 되었습니다. 다른 로우 코드 도구 중에서 ETL 프로세스 구성을 위한 도구인 Informatica Power Center, IBM Datastage, Pentaho Data Integration을 언급할 수 있습니다. 또는 데이터 액세스 및 편집을 위한 인터페이스의 신속한 개발을 위한 환경 역할을 하는 Oracle Apex입니다. 그러나 로우 코드 개발 도구를 사용한다고 해서 항상 공급업체에 대한 명확한 의존성을 지닌 상용 기술 스택에서 고도로 타겟팅된 애플리케이션을 구축하는 것이 포함되는 것은 아닙니다.

로우 코드 플랫폼을 사용하면 데이터 흐름의 조정을 구성하고, 데이터 과학 플랫폼을 생성하거나, 예를 들어 데이터 품질 확인을 위한 모듈을 만들 수도 있습니다.

로우 코드 개발 도구 사용 경험의 적용 사례 중 하나는 러시아 미디어 연구 시장의 선두주자 중 하나인 Neoflex와 Mediascope 간의 협력입니다. 이 회사의 비즈니스 목표 중 하나는 광고주, 인터넷 플랫폼, TV 채널, 라디오 방송국, 광고 대행사 및 브랜드가 광고 구매에 대한 결정을 내리고 마케팅 커뮤니케이션을 계획하는 데 필요한 데이터를 생산하는 것입니다.

미디어 연구는 기술적으로 탑재된 비즈니스 영역입니다. 비디오 시퀀스를 인식하고, 시청을 분석하는 장치에서 데이터를 수집하고, 웹 리소스에 대한 활동을 측정하는 것은 모두 회사가 대규모 IT 직원을 보유하고 있으며 분석 솔루션 구축에 대한 막대한 경험을 보유하고 있음을 의미합니다. 그러나 정보의 양, 정보 소스의 수 및 다양성이 기하급수적으로 증가함에 따라 IT 데이터 산업은 지속적으로 발전하고 있습니다. 이미 작동하고 있는 Mediascope 분석 플랫폼을 확장하는 가장 간단한 솔루션은 IT 직원을 늘리는 것입니다. 그러나 훨씬 더 효과적인 솔루션은 개발 프로세스 속도를 높이는 것입니다. 이러한 방향으로 이끄는 단계 중 하나는 로우코드 플랫폼을 사용하는 것일 수 있습니다.

프로젝트가 시작될 당시 회사는 이미 제대로 작동하는 제품 솔루션을 갖고 있었습니다. 그러나 MSSQL의 솔루션 구현은 수용 가능한 개발 비용을 유지하면서 기능 확장에 대한 기대치를 완전히 충족할 수 없었습니다.

우리 앞에 놓인 임무는 정말 야심적이었습니다. Neoflex와 Mediascope는 시작일의 XNUMX분기 이내에 MVP가 출시된다는 조건 하에 XNUMX년도 채 안 되어 산업용 솔루션을 만들어야 했습니다.

Hadoop 기술 스택은 로우 코드 컴퓨팅을 기반으로 하는 새로운 데이터 플랫폼을 구축하기 위한 기반으로 선택되었습니다. HDFS는 쪽모이 세공 파일을 사용하는 데이터 저장의 표준이 되었습니다. 플랫폼에 있는 데이터에 접근하기 위해 Hive를 사용했는데, 여기서 사용 가능한 모든 매장이 외부 테이블 형식으로 표시됩니다. 스토리지에 데이터를 로드하는 작업은 Kafka 및 Apache NiFi를 사용하여 구현되었습니다.

이 개념의 Lowe-code 도구는 분석 플랫폼 구축에서 가장 노동 집약적인 작업인 데이터 계산 작업을 최적화하는 데 사용되었습니다.

로우 코드 데이터그램 도구가 데이터 매핑의 주요 메커니즘으로 선택되었습니다. 네오플렉스 데이터그램 변환 및 데이터 흐름을 개발하기 위한 도구입니다.
이 도구를 사용하면 Scala 코드를 수동으로 작성하지 않고도 작업을 수행할 수 있습니다. Scala 코드는 모델 기반 아키텍처 접근 방식을 사용하여 자동으로 생성됩니다.

이 접근 방식의 확실한 이점은 개발 프로세스 속도를 높이는 것입니다. 그러나 속도 외에도 다음과 같은 장점도 있습니다.

• 소스/수신자의 내용 및 구조 보기
• 데이터 흐름 객체의 출처를 개별 필드(계보)로 추적합니다.
• 중간 결과를 확인하면서 변환을 부분적으로 실행합니다.
• 실행하기 전에 소스 코드를 검토하고 조정합니다.
• 변환의 자동 검증
• 자동 데이터 다운로드 1 in 1.

변환 생성을 위한 로우 코드 솔루션에 대한 진입 장벽은 매우 낮습니다. 개발자는 SQL을 알아야 하고 ETL 도구 작업 경험이 있어야 합니다. 코드 기반 변환 생성기는 넓은 의미에서 ETL 도구가 아니라는 점을 언급할 가치가 있습니다. 로우 코드 도구에는 자체 코드 실행 환경이 없을 수 있습니다. 즉, 생성된 코드는 로우코드 솔루션을 설치하기 전부터 클러스터에 존재했던 환경에서 실행됩니다. 그리고 이것은 아마도 로우코드 카르마의 또 다른 장점일 것입니다. 로우 코드 팀과 병행하여 "클래식" 팀은 예를 들어 순수한 Scala 코드로 기능을 구현하는 작업을 수행할 수 있습니다. 두 팀의 개선 사항을 프로덕션에 적용하는 것은 간단하고 원활할 것입니다.

로우 코드 외에도 코드 없는 솔루션도 있다는 점은 주목할 가치가 있습니다. 그리고 핵심은 서로 다릅니다. 로우 코드를 사용하면 개발자가 생성된 코드에 더 많은 간섭을 할 수 있습니다. Datagram의 경우 생성된 Scala 코드를 보고 편집하는 것이 가능하며, 코드가 없으면 그러한 기회가 제공되지 않을 수 있습니다. 이러한 차이는 솔루션의 유연성 측면뿐만 아니라 데이터 엔지니어의 작업에 대한 편안함과 동기 부여 측면에서도 매우 중요합니다.

솔루션 아키텍처

로우 코드 도구가 데이터 계산 기능 개발 속도를 최적화하는 문제를 해결하는 데 어떻게 도움이 되는지 정확히 알아내도록 하겠습니다. 먼저 시스템의 기능적 아키텍처를 살펴보겠습니다. 이 경우의 예로는 미디어 연구를 위한 데이터 생산 모델이 있습니다.

우리의 경우 데이터 소스는 매우 이질적이고 다양합니다.

• 피플 미터(TV 미터)는 연구에 참여하는 가구에서 누가, 언제, 어떤 TV 채널을 시청했는지 등 텔레비전 패널 응답자의 사용자 행동을 읽는 소프트웨어 및 하드웨어 장치입니다. 제공되는 정보는 미디어 패키지 및 미디어 제품과 연결된 방송 시청 간격의 스트림입니다. Data Lake에 로드되는 단계의 데이터는 특정 미디어 제품의 TV 시청을 분석하는 데 필요한 인구통계학적 특성, 지리층화, 시간대 및 기타 정보로 강화될 수 있습니다. 측정된 측정값은 광고 캠페인을 분석 또는 계획하고, 청중의 활동과 선호도를 평가하고, 방송 네트워크를 구성하는 데 사용될 수 있습니다.
• 데이터는 텔레비전 방송을 스트리밍하고 인터넷에서 비디오 리소스 콘텐츠의 시청을 측정하기 위한 모니터링 시스템에서 가져올 수 있습니다.
• 사이트 중심 및 사용자 중심 미터를 모두 포함하는 웹 환경의 측정 도구입니다. Data Lake의 데이터 공급자는 검색 표시줄 브라우저 추가 기능과 VPN이 내장된 모바일 애플리케이션일 수 있습니다.
• 또한 온라인 설문지 작성 결과와 회사 설문조사의 전화 인터뷰 결과를 통합하는 사이트에서 데이터를 얻을 수도 있습니다.
• 파트너사의 로그에서 정보를 다운로드하여 데이터 레이크를 추가로 강화할 수 있습니다.

소스 시스템에서 원시 데이터의 기본 스테이징으로 로드되는 그대로의 구현은 다양한 방식으로 구성될 수 있습니다. 이러한 목적으로 로우코드를 사용하면 메타데이터를 기반으로 한 로딩 스크립트의 자동 생성이 가능합니다. 이 경우 소스-타겟 매핑 개발 수준으로 내려갈 필요가 없습니다. 자동 로딩을 구현하려면 소스에 대한 연결을 설정한 다음 로딩 인터페이스에서 로드할 엔터티 목록을 정의해야 합니다. HDFS의 디렉터리 구조는 자동으로 생성되며 소스 시스템의 데이터 저장 구조에 해당합니다.

그러나 이 프로젝트의 맥락에서 우리는 Mediascope 회사가 이미 Nifi + Kafka 조합을 사용하여 유사한 서비스를 생산하는 작업을 독립적으로 시작했기 때문에 로우 코드 플랫폼의 이 기능을 사용하지 않기로 결정했습니다.

이러한 도구는 상호 교환이 가능하지 않고 오히려 보완적이라는 점을 즉시 지적할 가치가 있습니다. Nifi와 Kafka는 직접(Nifi -> Kafka) 연결과 역방향(Kafka -> Nifi) 연결 모두에서 작동할 수 있습니다. 미디어 연구 플랫폼의 경우 번들의 첫 번째 버전이 사용되었습니다.

우리의 경우 NayFi는 소스 시스템의 다양한 유형의 데이터를 처리하여 Kafka 브로커로 보내야 했습니다. 이 경우 메시지는 PublishKafka Nifi 프로세서를 사용하여 특정 Kafka 주제로 전송되었습니다. 이러한 파이프라인의 조정 및 유지 관리는 시각적 인터페이스에서 수행됩니다. Nifi 도구와 Nifi + Kafka 조합의 사용은 개발에 대한 로우 코드 접근 방식이라고도 할 수 있으며, 이는 빅 데이터 기술 진입 장벽이 낮고 애플리케이션 개발 프로세스의 속도를 높입니다.

프로젝트 구현의 다음 단계는 세부 데이터를 단일 의미 계층 형식으로 가져오는 것이었습니다. 엔터티에 기록 속성이 있는 경우 해당 파티션의 컨텍스트에서 계산이 수행됩니다. 엔터티가 기록되지 않은 경우 선택적으로 개체의 전체 내용을 다시 계산하거나 이 개체의 다시 계산을 완전히 거부할 수 있습니다(변경 사항이 없기 때문에). 이 단계에서는 모든 엔터티에 대한 키가 생성됩니다. 키는 분석 플랫폼의 키와 소스 시스템의 키 간의 대응을 포함하는 마스터 개체에 해당하는 Hbase 디렉터리에 저장됩니다. 원자 개체의 통합에는 분석 데이터의 예비 계산 결과가 강화됩니다. 데이터 계산을 위한 프레임워크는 Spark였습니다. 데이터를 단일 의미 체계로 가져오기 위해 설명된 기능도 로우 코드 데이터그램 도구의 매핑을 기반으로 구현되었습니다.

대상 아키텍처에는 비즈니스 사용자의 데이터에 대한 SQL 액세스가 필요했습니다. 이 옵션에는 Hive가 사용되었습니다. 로우 코드 도구에서 "Registr Hive Table" 옵션을 활성화하면 개체가 Hive에 자동으로 등록됩니다.

계산 흐름 제어

Datagram에는 작업 흐름 흐름 디자인을 생성하기 위한 인터페이스가 있습니다. Oozie 스케줄러를 사용하여 매핑을 시작할 수 있습니다. 스트림 개발자 인터페이스에서는 병렬, 순차 또는 실행 종속 데이터 변환을 위한 체계를 생성할 수 있습니다. 쉘 스크립트와 Java 프로그램이 지원됩니다. Apache Livy 서버를 사용하는 것도 가능합니다. Apache Livy는 개발 환경에서 직접 애플리케이션을 실행하는 데 사용됩니다.

회사에 이미 자체 프로세스 오케스트레이터가 있는 경우 REST API를 사용하여 기존 흐름에 매핑을 포함할 수 있습니다. 예를 들어 우리는 Scala의 매핑을 PLSQL 및 Kotlin으로 작성된 오케스트레이터에 삽입하는 데 꽤 성공적인 경험을 했습니다. 로우 코드 도구의 REST API에는 매핑 디자인을 기반으로 실행 가능한 연도 생성, 매핑 호출, 매핑 시퀀스 호출, 매개 변수를 URL에 전달하여 매핑 실행과 같은 작업이 포함됩니다.

Oozie와 함께 Airflow를 사용하여 계산 흐름을 구성하는 것이 가능합니다. 아마도 Oozie와 Airflow의 비교에 대해서는 길게 설명하지 않겠지만, 미디어 연구 프로젝트 작업의 맥락에서 선택이 Airflow에 유리했다는 점만 말씀드리고 싶습니다. 이번에 주요 주장은 제품을 개발하는 더욱 활발한 커뮤니티와 더욱 발전된 인터페이스 + API였습니다.

Airflow는 계산 프로세스를 설명하기 위해 인기 있는 Python을 사용하기 때문에 좋습니다. 그리고 일반적으로 오픈 소스 워크플로 관리 플랫폼은 그리 많지 않습니다. 프로세스 실행(간트 차트 포함)을 시작하고 모니터링하면 Airflow의 카르마에만 포인트가 추가됩니다.

로우 코드 솔루션 매핑을 실행하기 위한 구성 파일 형식이 스파크 제출이 되었습니다. 이는 두 가지 이유로 발생했습니다. 첫째, Spark-submit을 사용하면 콘솔에서 jar 파일을 직접 실행할 수 있습니다. 둘째, 워크플로를 구성하는 데 필요한 모든 정보를 포함할 수 있습니다(이렇게 하면 Dag를 생성하는 스크립트를 더 쉽게 작성할 수 있습니다).
우리의 경우 Airflow 워크플로의 가장 일반적인 요소는 SparkSubmitOperator였습니다.

SparkSubmitOperator를 사용하면 미리 생성된 입력 매개변수를 사용하여 패키지된 데이터그램 매핑인 jar를 실행할 수 있습니다.

각 Airflow 작업은 별도의 스레드에서 실행되며 다른 작업에 대해서는 아무것도 모른다는 점을 언급할 가치가 있습니다. 따라서 작업 간의 상호 작용은 DummyOperator 또는 BranchPythonOperator와 같은 제어 연산자를 사용하여 수행됩니다.

전체적으로 구성 파일의 보편화(Dag 구성)와 함께 Datagram 로우 코드 솔루션을 사용하면 데이터 로딩 흐름 개발 프로세스가 크게 가속화되고 단순화되었습니다.

쇼케이스 계산

아마도 분석 데이터 생산에서 가장 지능적으로 로드되는 단계는 쇼케이스를 구축하는 단계일 것입니다. 조사 회사의 데이터 계산 흐름 중 하나의 맥락에서 이 단계에서 데이터는 시간대 수정을 고려하여 기준 방송으로 축소되고 방송 그리드에 연결됩니다. 지역 방송 네트워크(지역 뉴스 및 광고)에 맞게 조정하는 것도 가능합니다. 무엇보다도 시청 간격 분석을 기반으로 미디어 제품의 연속 시청 간격을 세분화하는 단계입니다. 즉시 시청 가치는 중요성에 대한 정보(보정 계수 계산)를 기반으로 "가중치"를 적용합니다.

쇼케이스를 준비하는 별도의 단계는 데이터 검증입니다. 검증 알고리즘에는 다양한 수학적 과학 모델의 사용이 포함됩니다. 그러나 로우 코드 플랫폼을 사용하면 복잡한 알고리즘을 시각적으로 읽을 수 있는 여러 개의 개별 매핑으로 나눌 수 있습니다. 각 매핑은 좁은 작업을 수행합니다. 결과적으로 데이터 준비 단계의 중간 디버깅, 로깅 및 시각화가 가능합니다.

검증 알고리즘을 다음 하위 단계로 구분하기로 결정되었습니다.

• 60일 동안 해당 지역의 모든 네트워크를 시청하면서 해당 지역의 TV 네트워크 시청 종속성에 대한 회귀를 구축합니다.
• 모든 회귀 지점과 계산된 날짜에 대해 스튜던트화 잔차(회귀 모델에 의해 예측된 값과 실제 값의 편차)를 계산합니다.
• 정산일의 학생화 잔액이 표준(작업 설정에 따라 지정됨)을 초과하는 변칙적인 지역-네트워크 쌍의 선택입니다.
• 해당 지역의 네트워크를 시청한 각 응답자에 대해 비정상적인 지역-TV 네트워크 쌍에 대한 수정된 스튜던트화 잔차를 다시 계산하여 샘플에서 이 응답자의 시청을 제외할 때 이 응답자의 기여도(스튜던트화 잔차의 변화량)를 결정합니다. .
• 제외로 인해 학생 급여 잔액이 정상으로 돌아온 후보자를 검색합니다.

위의 예는 데이터 엔지니어가 이미 너무 많은 생각을 갖고 있다는 가설을 확증해 줍니다... 그리고 이것이 실제로 "코더"가 아닌 "엔지니어"라면 로우 코드 도구를 사용할 때 직업적 저하에 대한 두려움이 있을 것입니다. 결국 물러나야 한다.

로우코드로 또 무엇을 할 수 있나요?

Scala에서 수동으로 코드를 작성할 필요 없이 일괄 처리 및 스트림 데이터 처리를 위한 로우 코드 도구의 적용 범위는 여기서 끝나지 않습니다.

데이터레이크 개발에 로우코드를 사용하는 것은 이미 우리의 표준이 되었습니다. Hadoop 스택 기반 솔루션은 RDBMS 기반의 기존 DWH 개발 경로를 따른다고 말할 수 있습니다. Hadoop 스택의 로우 코드 도구는 데이터 처리 작업과 최종 BI 인터페이스 구축 작업을 모두 해결할 수 있습니다. 또한 BI는 데이터 표현뿐만 아니라 비즈니스 사용자의 편집도 의미할 수 있다는 점에 유의해야 합니다. 우리는 금융 부문을 위한 분석 플랫폼을 구축할 때 이 기능을 자주 사용합니다.

무엇보다도 로우 코드, 특히 데이터그램을 사용하면 개별 필드(계보)까지 원자성 있게 데이터 스트림 객체의 출처를 추적하는 문제를 해결할 수 있습니다. 이를 위해 로우코드 도구는 Apache Atlas 및 Cloudera Navigator와의 인터페이스를 구현합니다. 기본적으로 개발자는 Atlas 사전에 개체 집합을 등록하고 매핑을 작성할 때 등록된 개체를 참조해야 합니다. 데이터 원본을 추적하거나 개체 종속성을 분석하는 메커니즘은 계산 알고리즘을 개선해야 할 때 많은 시간을 절약합니다. 예를 들어 재무제표를 작성할 때 이 기능을 사용하면 입법 변경 기간을 더욱 편안하게 견딜 수 있습니다. 결국, 세부 레이어 개체의 맥락에서 형태 간 의존성을 더 잘 이해할수록 "갑작스러운" 결함이 덜 발생하고 재작업 횟수가 줄어듭니다.

데이터 품질 및 로우코드

Mediascope 프로젝트의 로우 코드 도구로 구현된 또 다른 작업은 데이터 품질 클래스 작업이었습니다. 연구 회사 프로젝트를 위한 데이터 검증 파이프라인 구현의 특징은 주요 데이터 계산 흐름의 성능과 속도에 대한 영향이 부족하다는 것입니다. 독립적인 데이터 검증 흐름을 조율할 수 있도록 이미 익숙한 Apache Airflow가 사용되었습니다. 데이터 생성의 각 단계가 준비됨에 따라 DQ 파이프라인의 별도 부분이 병렬로 시작되었습니다.

분석 플랫폼에서 데이터가 시작된 순간부터 데이터 품질을 모니터링하는 것은 좋은 관행으로 간주됩니다. 메타데이터에 대한 정보가 있으면 해당 정보가 기본 레이어에 입력되는 순간부터 기본 조건(Null, 제약 조건, 외래 키 아님)을 준수하는지 확인할 수 있습니다. 이 기능은 데이터그램에서 자동으로 생성된 데이터 품질 계열 매핑을 기반으로 구현됩니다. 이 경우 코드 생성도 모델 메타데이터를 기반으로 합니다. Mediascope 프로젝트에서는 Enterprise Architect 제품의 메타데이터를 사용하여 인터페이스를 수행했습니다.

로우 코드 도구를 Enterprise Architect와 결합하면 다음 검사가 자동으로 생성됩니다.

• "not null" 수정자를 사용하여 필드에 "null" 값이 있는지 확인합니다.
• 기본 키의 중복 여부를 확인합니다.
• 엔터티의 외래 키를 확인합니다.
• 필드 집합을 기반으로 문자열의 고유성을 확인합니다.

데이터 가용성 및 신뢰성에 대한 보다 복잡한 검사를 위해 Zeppelin의 분석가가 준비한 외부 Spark SQL 검사 코드를 입력으로 사용하는 Scala Expression을 사용하여 매핑이 생성되었습니다.

물론 자동 검사 생성은 점진적으로 이루어져야 합니다. 설명된 프로젝트의 프레임워크 내에서 이 작업은 다음 단계로 진행되었습니다.

• Zeppelin 노트북에 구현된 DQ
• 매핑에 DQ가 내장되어 있습니다.
• 별도의 엔터티에 대한 전체 검사 세트를 포함하는 별도의 대규모 매핑 형태의 DQ입니다.
• 메타데이터 및 비즈니스 검사에 대한 정보를 입력으로 받아들이는 범용 매개변수화된 DQ 매핑입니다.

아마도 매개변수화된 검사 서비스 생성의 주요 이점은 프로덕션 환경에 기능을 제공하는 데 걸리는 시간이 단축된다는 점일 것입니다. 새로운 품질 검사는 개발 및 테스트 환경을 통해 간접적으로 코드를 전달하는 일반적인 패턴을 우회할 수 있습니다.

• EA에서 모델이 수정되면 모든 메타데이터 확인이 자동으로 생성됩니다.
• 데이터 가용성 검사(특정 시점의 데이터 존재 여부 확인)는 개체 컨텍스트에서 다음 데이터 조각이 나타나는 예상 시점을 저장하는 디렉터리를 기반으로 생성될 수 있습니다.
• 비즈니스 데이터 유효성 검사는 분석가가 Zeppelin 노트북에서 생성합니다. 여기에서 생산 환경의 DQ 모듈 설정 테이블로 직접 전송됩니다.

스크립트를 프로덕션 환경으로 직접 배송할 위험이 없습니다. 구문 오류가 발생하더라도 데이터 계산 흐름과 품질 확인 시작 흐름이 서로 분리되어 있기 때문에 한 번의 확인을 수행하지 못하는 것이 우리를 위협하는 최대값입니다.

본질적으로 DQ 서비스는 프로덕션 환경에서 영구적으로 실행되며 다음 데이터가 나타나는 순간 작업을 시작할 준비가 되어 있습니다.

대신 결론

로우코드 사용의 장점은 분명합니다. 개발자는 처음부터 애플리케이션을 개발할 필요가 없습니다. 그리고 추가 작업에서 해방된 프로그래머는 더 빠르게 결과를 생성합니다. 결과적으로 속도는 최적화 문제 해결을 위한 추가 시간을 확보합니다. 따라서 이 경우 더 좋고 빠른 솔루션을 기대할 수 있습니다.

물론 로우코드는 만병통치약이 아니며 저절로 마법이 일어나지는 않습니다.

• 로우 코드 산업은 "강화" 단계를 거치고 있으며 아직 통일된 산업 표준이 없습니다.
• 많은 로우 코드 솔루션은 무료가 아니며 이를 구매하는 것은 이를 사용하는 데 따른 금전적 이점에 대한 완전한 확신을 가지고 이루어져야 하는 의식적인 단계여야 합니다.
• 많은 로우 코드 솔루션이 GIT/SVN에서 항상 잘 작동하는 것은 아닙니다. 혹은 생성된 코드가 숨겨져 있으면 사용하기 불편합니다.
• 아키텍처를 확장할 때 로우 코드 솔루션을 개선해야 할 수도 있습니다. 이는 결과적으로 로우 코드 솔루션 공급업체에 대한 "애착 및 의존" 효과를 유발합니다.
• 적절한 수준의 보안은 가능하지만 노동 집약적이며 로우 코드 시스템 엔진에서는 구현하기 어렵습니다. 로우코드 플랫폼은 사용을 통해 이익을 추구한다는 원칙만을 바탕으로 선택해서는 안 됩니다. 선택할 때 조직의 전체 IT 환경 수준에 대한 식별 데이터의 액세스 제어 및 위임/상승을 위한 기능의 가용성에 대해 질문하는 것이 좋습니다.

그러나 선택한 시스템의 모든 단점을 알고 있고 그 사용으로 인한 이점이 대다수에 속한다면 두려움 없이 작은 코드로 이동하십시오. 더욱이 진화가 불가피한 것처럼 그 전환도 불가피합니다.

로우 코드 플랫폼에서 한 명의 개발자가 로우 코드가 없는 두 명의 개발자보다 자신의 작업을 더 빠르게 수행한다면 회사는 모든 면에서 앞서 나갈 수 있습니다. 로우코드 솔루션에 진입하기 위한 임계값은 "전통적인" 기술에 비해 낮으며 이는 인력 부족 문제에 긍정적인 영향을 미칩니다. 로우 코드 도구를 사용하면 기능 팀 간의 상호 작용 속도를 높이고 선택한 데이터 과학 연구 경로의 정확성에 대해 더 빠른 결정을 내릴 수 있습니다. 낮은 수준의 플랫폼은 생산된 솔루션을 비기술 전문가(특히 비즈니스 사용자)가 이해할 수 있기 때문에 조직의 디지털 혁신을 주도할 수 있습니다.

마감 기한이 촉박하고 비즈니스 로직이 부족하며 기술 전문 지식이 부족하고 출시 시간을 단축해야 하는 경우 로우 코드가 요구 사항을 충족하는 한 가지 방법입니다.

기존 개발 도구의 중요성을 부인할 수는 없지만, 많은 경우 로우 코드 솔루션을 사용하는 것이 해결 중인 작업의 효율성을 높이는 가장 좋은 방법입니다.

출처 : habr.com