Databricks-Certified-Data-Engineer-Professional-KR 문제 1
플랫폼 팀에서 CI/CD를 지원하기 위해 Databricks Asset Bundles의 표준 템플릿을 만들고 있습니다. 이 템플릿은 아티팩트, 워크스페이스 루트 경로 및 실행 ID에 대한 기본값을 지정해야 하며, "dev" 대상을 기본값으로 설정하고 특정 경로를 재정의할 수 있도록 허용해야 합니다. 이러한 요구 사항을 충족하기 위해 팀은 databricks.yml 파일을 어떻게 활용해야 할까요?
Databricks-Certified-Data-Engineer-Professional-KR 문제 2
데이터 아키텍트는 데이터 레이크의 내장 버전 관리 및 타임 트래블 기능에 대해 알게 되었습니다. 감사 목적으로 고객 테이블에 나타나는 모든 유효한 도로명 주소를 완벽하게 유지해야 하는 요구 사항이 있습니다.
건축가는 기존 레코드를 새 값으로 덮어쓰고 Delta Lake의 타임 트래블 기능을 활용하여 장기적인 데이터 감사를 지원하는 Type 1 테이블을 구현하는 데 관심이 있습니다. 프로젝트의 데이터 엔지니어는 Type 2 테이블이 더 나은 성능과 확장성을 제공할 것이라고 생각합니다. 이 결정에 있어 어떤 정보가 핵심적일까요?
건축가는 기존 레코드를 새 값으로 덮어쓰고 Delta Lake의 타임 트래블 기능을 활용하여 장기적인 데이터 감사를 지원하는 Type 1 테이블을 구현하는 데 관심이 있습니다. 프로젝트의 데이터 엔지니어는 Type 2 테이블이 더 나은 성능과 확장성을 제공할 것이라고 생각합니다. 이 결정에 있어 어떤 정보가 핵심적일까요?
Databricks-Certified-Data-Engineer-Professional-KR 문제 3
매일 밤 실행되는 배치 작업은 클라우드 객체 스토리지 컨테이너에서 모든 데이터 파일을 가져오도록 구성되어 있으며, 해당 컨테이너의 레코드는 YYYY/MM/DD 형식의 중첩 디렉터리 구조로 저장됩니다. 각 날짜의 데이터는 해당 날짜에 소스 시스템에서 처리된 모든 레코드를 나타내며, 일부 레코드는 관리자 승인을 기다리는 동안 지연될 수 있습니다. 각 항목은 제품에 대한 사용자 리뷰를 나타내며 다음과 같은 스키마를 갖습니다.
user_id STRING, review_id BIGINT, product_id BIGINT, review_timestamp TIMESTAMP, review_text STRING 데이터 수집 작업은 이전 날짜의 모든 데이터를 소스 시스템과 동일한 스키마를 가진 대상 테이블 reviews_raw에 추가하도록 구성됩니다. 파이프라인의 다음 단계는 reviews_raw에 삽입된 모든 새 레코드를 중복 제거, 유효성 검사 및 보강이 완료된 테이블로 일괄 기록하는 작업입니다.
이 데이터 배치를 전파하는 데 필요한 컴퓨팅 비용을 최소화하는 솔루션은 무엇입니까?
user_id STRING, review_id BIGINT, product_id BIGINT, review_timestamp TIMESTAMP, review_text STRING 데이터 수집 작업은 이전 날짜의 모든 데이터를 소스 시스템과 동일한 스키마를 가진 대상 테이블 reviews_raw에 추가하도록 구성됩니다. 파이프라인의 다음 단계는 reviews_raw에 삽입된 모든 새 레코드를 중복 제거, 유효성 검사 및 보강이 완료된 테이블로 일괄 기록하는 작업입니다.
이 데이터 배치를 전파하는 데 필요한 컴퓨팅 비용을 최소화하는 솔루션은 무엇입니까?
Databricks-Certified-Data-Engineer-Professional-KR 문제 4
데이터 조직에서 Unity Catalog 기반 워크스페이스에서 선별된 데이터 세트를 안전하게 배포하기 위해 Delta Sharing을 도입했습니다. 데이터 엔지니어링 팀은 대규모 Delta 테이블을 Databricks-to-Databricks를 통해 내부적으로 공유하고, 집계 보고서 생성을 위해 Open Sharing을 통해 외부로 공유합니다. 테스트 과정에서 접근 제어, 데이터 업데이트 가시성, 공유 가능한 객체 유형과 관련된 문제에 직면했습니다. Databricks-to-Databricks 또는 Open Sharing과 함께 Delta Sharing 프로토콜 또는 구현을 사용할 때 발생하는 제한 사항은 무엇일까요?
Databricks-Certified-Data-Engineer-Professional-KR 문제 5
신입 데이터 엔지니어가 Lakehouse의 silver_device_recordings라는 테이블에 대한 로직을 구현하는 작업을 진행하고 있습니다. 원본 데이터는 고도로 중첩된 JSON 구조에 100개의 고유 필드를 포함하고 있습니다.
silver_device_recordings 테이블은 여러 프로덕션 모니터링 대시보드와 프로덕션 모델을 구동하는 데 사용될 예정입니다. 현재 100개 필드 중 45개가 이러한 애플리케이션 중 하나 이상에서 사용되고 있습니다.
데이터 엔지니어는 데이터의 고도로 중첩된 구조와 수많은 필드를 고려하여 스키마 선언을 처리하는 최적의 접근 방식을 찾으려고 노력하고 있습니다.
다음 중 Delta Lake와 Databricks에 대한 정보를 정확하게 제시하여 그들의 의사 결정 과정에 영향을 미칠 수 있는 것은 무엇입니까?
silver_device_recordings 테이블은 여러 프로덕션 모니터링 대시보드와 프로덕션 모델을 구동하는 데 사용될 예정입니다. 현재 100개 필드 중 45개가 이러한 애플리케이션 중 하나 이상에서 사용되고 있습니다.
데이터 엔지니어는 데이터의 고도로 중첩된 구조와 수많은 필드를 고려하여 스키마 선언을 처리하는 최적의 접근 방식을 찾으려고 노력하고 있습니다.
다음 중 Delta Lake와 Databricks에 대한 정보를 정확하게 제시하여 그들의 의사 결정 과정에 영향을 미칠 수 있는 것은 무엇입니까?
