Databricks-Certified-Professional-Data-Engineer 문제 21
데이터 엔지니어링 팀의 주니어 멤버가 Databricks 노트북의 언어 상호 운용성을 연구하고 있습니다. 아래 코드의 의도된 결과는 geo_lookuptable에 나타나는 아프리카 대륙 국가에서 발생한 모든 판매 내역을 등록하는 것입니다.
코드를 실행하기 전에 현재 데이터베이스에서 SHOWTABLES를 실행하면 데이터베이스에 geo_lookup과 sales라는 두 개의 테이블만 있다는 것을 나타냅니다.
대화형 노트북에서 이러한 명령 셀을 순서대로 실행한 결과를 올바르게 설명한 것은 무엇입니까?
코드를 실행하기 전에 현재 데이터베이스에서 SHOWTABLES를 실행하면 데이터베이스에 geo_lookup과 sales라는 두 개의 테이블만 있다는 것을 나타냅니다.
대화형 노트북에서 이러한 명령 셀을 순서대로 실행한 결과를 올바르게 설명한 것은 무엇입니까?
Databricks-Certified-Professional-Data-Engineer 문제 22
데이터 파이프라인은 구조화된 스트리밍을 사용하여 카프카에서 델타 레이크로 데이터를 수집합니다. 데이터는 브론즈 테이블에 저장되며, 카프카에서 생성된 타임스탬프, 키, 값을 포함합니다. 파이프라인이 배포된 지 3개월 후, 데이터 엔지니어링 팀은 특정 시간대에 지연 시간이 발생하는 것을 발견했습니다.
선임 데이터 엔지니어는 델타 테이블의 스키마와 수집 로직을 업데이트하여 Apache Spark에서 기록된 현재 타임스탬프와 Kafka 토픽 및 파티션을 포함합니다. 팀은 추가 메타데이터 필드를 사용하여 일시적인 처리 지연을 진단할 계획입니다.
이 문제를 진단하는 동안 팀은 어떤 한계에 직면하게 될까요?
선임 데이터 엔지니어는 델타 테이블의 스키마와 수집 로직을 업데이트하여 Apache Spark에서 기록된 현재 타임스탬프와 Kafka 토픽 및 파티션을 포함합니다. 팀은 추가 메타데이터 필드를 사용하여 일시적인 처리 지연을 진단할 계획입니다.
이 문제를 진단하는 동안 팀은 어떤 한계에 직면하게 될까요?
Databricks-Certified-Professional-Data-Engineer 문제 23
데이터 엔지니어는 고객이 대여 자전거를 이용하는 동안 어디로 이동하는지 파악하기 위해 데이터 수집 파이프라인을 구축하고 있습니다. 엔지니어는 시간이 지남에 따라 자전거 센서에서 전송되는 데이터에 위도와 경도와 같은 주요 정보가 포함되지 않는다는 것을 발견했습니다. 다운스트림 분석가는 정리된 레코드와 격리된 레코드를 모두 별도로 처리해야 합니다.
데이터 엔지니어는 이미 다음 코드를 가지고 있습니다.
dlt 가져오기
pyspark.sql.functions에서 expr 가져오기
규칙 = {
"valid_lat": "(lat는 NULL이 아닙니다)",
"valid_long": "(long은 NULL이 아닙니다)"
}
격리_규칙 = "NOT({})".format(" AND ".join(규칙.값()))
@dlt.view
def raw_trips_data():
spark.readStream.table("ride_and_go.telemetry.trips")을 반환합니다.
데이터 엔지니어는 좋은 데이터와 나쁜 데이터를 수집하기 위한 요구 사항을 어떻게 충족해야 할까요?
데이터 엔지니어는 이미 다음 코드를 가지고 있습니다.
dlt 가져오기
pyspark.sql.functions에서 expr 가져오기
규칙 = {
"valid_lat": "(lat는 NULL이 아닙니다)",
"valid_long": "(long은 NULL이 아닙니다)"
}
격리_규칙 = "NOT({})".format(" AND ".join(규칙.값()))
@dlt.view
def raw_trips_data():
spark.readStream.table("ride_and_go.telemetry.trips")을 반환합니다.
데이터 엔지니어는 좋은 데이터와 나쁜 데이터를 수집하기 위한 요구 사항을 어떻게 충족해야 할까요?
Databricks-Certified-Professional-Data-Engineer 문제 24
뷰 업데이트는 고객 테이블에 삽입되거나 업데이트되는 모든 새로 수집된 데이터의 증분적 배치를 나타냅니다.
다음 논리는 이러한 레코드를 처리하는 데 사용됩니다.
이 구현을 설명하는 문장은 무엇입니까?
다음 논리는 이러한 레코드를 처리하는 데 사용됩니다.
이 구현을 설명하는 문장은 무엇입니까?
Databricks-Certified-Professional-Data-Engineer 문제 25
데이터 아키텍트는 두 개의 구조화된 스트리밍 작업이 단일 브론즈 델타 테이블에 동시에 데이터를 쓰는 시스템을 설계했습니다. 각 작업은 Apache Kafka 소스에서 서로 다른 토픽을 구독하지만, 동일한 스키마로 데이터를 씁니다. 디렉터리 구조를 단순화하기 위해 데이터 엔지니어는 두 스트림이 공유할 체크포인트 디렉터리를 중첩하기로 결정했습니다.
제안된 디렉토리 구조는 아래와 같습니다.
다음 중 이 체크포인트 디렉토리 구조가 주어진 시나리오에 유효한지 여부와 그 이유를 설명하는 문장은 무엇입니까?
제안된 디렉토리 구조는 아래와 같습니다.
다음 중 이 체크포인트 디렉토리 구조가 주어진 시나리오에 유효한지 여부와 그 이유를 설명하는 문장은 무엇입니까?