Databricks-Certified-Professional-Data-Engineer 문제 96
운영 데이터에 대한 우발적인 커밋을 방지하기 위해, 선임 데이터 엔지니어는 모든 개발 작업에서 Delta Lake 테이블의 복제본을 참조하는 정책을 수립했습니다. 딥 복제본과 얕은 복제본을 모두 테스트한 후, 얕은 복제본을 사용하여 개발 테이블을 생성합니다.
최초 테이블 생성 후 몇 주 후, Type 1 Slowly Changing Dimension(SCD)으로 구현된 여러 테이블의 복제본이 작동을 멈췄습니다. 원본 테이블의 트랜잭션 로그에 따르면 전날 vacuum이 실행된 것으로 나타납니다.
복제된 테이블이 더 이상 작동하지 않는 이유는 무엇입니까?
최초 테이블 생성 후 몇 주 후, Type 1 Slowly Changing Dimension(SCD)으로 구현된 여러 테이블의 복제본이 작동을 멈췄습니다. 원본 테이블의 트랜잭션 로그에 따르면 전날 vacuum이 실행된 것으로 나타납니다.
복제된 테이블이 더 이상 작동하지 않는 이유는 무엇입니까?
Databricks-Certified-Professional-Data-Engineer 문제 97
Databricks 작업에서 두 가지 작업을 설정하라는 요청을 받았습니다. 첫 번째 작업은 원격 시스템에서 데이터를 다운로드하기 위한 노트북을 실행하고 두 번째 작업은 이 데이터를 처리할 수 있는 DLT 파이프라인입니다. 작업 UI에서 이를 어떻게 구성할 계획입니까?
Databricks-Certified-Professional-Data-Engineer 문제 98
데이터 파이프라인은 구조화된 스트리밍을 사용하여 카프카에서 델타 레이크로 데이터를 수집합니다. 데이터는 브론즈 테이블에 저장되며, 카프카에서 생성된 타임스탬프, 키, 값을 포함합니다. 파이프라인이 배포된 지 3개월 후, 데이터 엔지니어링 팀은 특정 시간대에 지연 시간이 발생하는 것을 발견했습니다.
선임 데이터 엔지니어는 델타 테이블의 스키마와 수집 로직을 업데이트하여 Apache Spark에서 기록된 현재 타임스탬프와 Kafka 토픽 및 파티션을 포함합니다. 팀은 추가 메타데이터 필드를 사용하여 일시적인 처리 지연을 진단할 계획입니다.
이 문제를 진단하는 동안 팀은 어떤 한계에 직면하게 될까요?
선임 데이터 엔지니어는 델타 테이블의 스키마와 수집 로직을 업데이트하여 Apache Spark에서 기록된 현재 타임스탬프와 Kafka 토픽 및 파티션을 포함합니다. 팀은 추가 메타데이터 필드를 사용하여 일시적인 처리 지연을 진단할 계획입니다.
이 문제를 진단하는 동안 팀은 어떤 한계에 직면하게 될까요?
Databricks-Certified-Professional-Data-Engineer 문제 99
분산된 데이터 분석가 팀은 자동 확장이 설정된 대화형 클러스터에서 컴퓨팅 리소스를 공유합니다. 비용과 쿼리 처리량을 더욱 효율적으로 관리하기 위해, 작업 공간 관리자는 클러스터 확장이 많은 동시 사용자로 인해 발생하는지, 아니면 리소스를 많이 사용하는 쿼리로 인해 발생하는지 평가하고자 합니다.
클러스터 크기 조정 이벤트에 대한 타임라인을 어디에서 검토할 수 있나요?
클러스터 크기 조정 이벤트에 대한 타임라인을 어디에서 검토할 수 있나요?
Databricks-Certified-Professional-Data-Engineer 문제 100
각 장치에서 온도 센서가 임계 온도(100.00)를 초과하는 횟수를 식별하라는 요청을 받았습니다. 각 행에는 5분마다 수집된 5개의 판독값이 포함되어 있습니다. 빈칸에 적절한 기능을 채우세요.
스키마: deviceId INT, deviceTemp ARRAY<double>, dateTimeCollected TIMESTAMP
장치 ID, __ (__ (__(장치 온도], i -> i > 100.00)))를 선택하세요.
장치에서
장치 ID로 그룹화
스키마: deviceId INT, deviceTemp ARRAY<double>, dateTimeCollected TIMESTAMP
장치 ID, __ (__ (__(장치 온도], i -> i > 100.00)))를 선택하세요.
장치에서
장치 ID로 그룹화
