무료 온라인 액세스 Databricks.Databricks-Certified-Professional-Data-Engineer-KR.v2026-08-24.q101 모의 시험 (Page 5)

Databricks-Certified-Professional-Data-Engineer-KR 문제 16

데이터 엔지니어가 스트리밍 주문 데이터를 처리하기 위해 Lakeflow 선언적 파이프라인을 설계하고 있습니다. 이 파이프라인은 Auto Loader를 사용하여 데이터를 수집하며, customer_id와 amount 값이 0보다 큰지 확인하여 데이터 품질을 보장해야 합니다. 유효하지 않은 레코드는 삭제해야 합니다.
Lakeflow Declarative Pipelines 구성 중 어떤 구성이 Python을 사용하여 이 요구 사항을 구현합니까?

A. @dlt.table
def silver_orders():
return (
dlt.read_stream( " bronze_orders " )
.expect_or_drop( " valid_customer " , " customer_id IS NOT NULL " )
.expect_or_drop( " valid_amount " , " amount > 0 " )
)

B. @dlt.table
@dlt.expect( " valid_customer " , " customer_id IS NOT NULL " )
@dlt.expect( " valid_amount " , " amount > 0 " )
def silver_orders():
return dlt.read_stream( " bronze_orders " )

C. @dlt.table
def silver_orders():
return (
dlt.read_stream( " bronze_orders " )
.expect( " valid_customer " , " customer_id IS NOT NULL " )
.expect( " valid_amount " , " amount > 0 " )
)

D. @dlt.table
@dlt.expect_or_drop( " valid_customer " , " customer_id IS NOT NULL " )
@dlt.expect_or_drop( " valid_amount " , " amount > 0 " )
def silver_orders():
return dlt.read_stream( " bronze_orders " )

Databricks-Certified-Professional-Data-Engineer-KR 문제 17

다음 중 델타 호수와 레이크하우스에 대한 설명으로 옳은 것은 무엇입니까?

A. Parquet은 데이터를 행 단위로 압축하기 때문에, 문자열은 동일한 문자가 여러 번 반복될 때만 압축됩니다.

B. Delta Lake는 각 테이블의 처음 32개 열에 대한 통계를 자동으로 수집하며, 이는 쿼리 필터에 따라 데이터 건너뛰기에 활용됩니다.

C. 레이크하우스의 뷰는 소스 테이블의 최신 버전에 대한 유효한 캐시를 항상 유지합니다.

D. 기본 키 및 외래 키 제약 조건을 활용하여 차원 테이블에 중복 값이 입력되지 않도록 할 수 있습니다.

E. Z-순서는 Delta Lake 테이블에 저장된 숫자 값에만 적용할 수 있습니다.

정답: B

https://docs.delta.io/2.0.0/table-properties.html
Delta Lake automatically collects statistics on the first 32 columns of each table, which are leveraged in data skipping based on query filters 1 . Data skipping is a performance optimization technique that aims to avoid reading irrelevant data from the storage layer 1 . By collecting statistics such as min/max values, null counts, and bloom filters, Delta Lake can efficiently prune unnecessary files or partitions from the query plan 1 . This can significantly improve the query performance and reduce the I/O cost.
The other options are false because:
* Parquet compresses data column by column, not row by row 2 . This allows for better compression ratios, especially for repeated or similar values within a column 2 .
* Views in the Lakehouse do not maintain a valid cache of the most recent versions of source tables at all times 3 . Views are logical constructs that are defined by a SQL query on one or more base tables 3
. Views are not materialized by default, which means they do not store any data, but only the query definition 3 . Therefore, views always reflect the latest state of the source tables when queried 3 .
However, views can be cached manually using the CACHE TABLE or CREATE TABLE AS SELECT commands.
* Primary and foreign key constraints can not be leveraged to ensure duplicate values are never entered into a dimension table. Delta Lake does not support enforcing primary and foreign key constraints on tables. Constraints are logical rules that define the integrity and validity of the data in a table. Delta Lake relies on the application logic or the user to ensure the data quality and consistency.
* Z-order can be applied to any values stored in Delta Lake tables, not only numeric values. Z-order is a technique to optimize the layout of the data files by sorting them on one or more columns. Z-order can improve the query performance by clustering related values together and enabling more efficient data skipping. Z-order can be applied to any column that has a defined ordering, such as numeric, string, date, or boolean values.
References: Data Skipping , Parquet Format , Views , [Caching], [Constraints] , [Z-Ordering]

Databricks-Certified-Professional-Data-Engineer-KR 문제 18

Databricks를 처음 사용하는 사용자가 작업 중인 파이프라인 로직의 실행 시간이 너무 오래 걸리는 문제를 해결하려고 합니다. 현재 사용자는 display() 호출을 사용하여 코드를 셀 단위로 실행하면서 새로운 변환이 작업에 추가될 때 코드가 논리적으로 올바른 결과를 생성하는지 확인하고 있습니다. 평균 실행 시간을 측정하기 위해 각 셀을 대화형으로 여러 번 실행하고 있습니다.
다음 중 어떤 조정을 하면 실제 운영 환경에서 코드 성능을 더 정확하게 측정할 수 있을까요?

A. Scala는 인터랙티브 노트북을 사용하여 정확하게 테스트할 수 있는 유일한 언어입니다. Scala 코드를 JAR 파일로 컴파일하여 사용할 때 최상의 성능을 얻을 수 있기 때문입니다. 모든 PySpark 및 Spark SQL 로직은 리팩토링해야 합니다.

B. 개발 노트북에서 코드 실행 시간을 의미 있게 문제 해결하는 유일한 방법은 프로덕션 규모의 데이터와 프로덕션 규모의 클러스터를 사용하여 "모두 실행" 모드로 실행하는 것입니다.

C. 실제 운영 환경에서의 코드 개발은 반드시 IDE를 사용하여 수행해야 합니다. 오픈 소스 Spark 및 Delta Lake의 로컬 빌드 환경에서 코드를 실행하면 실제 운영 환경에서의 코드 성능을 가장 정확하게 예측할 수 있습니다.

D. display()를 호출하면 작업이 강제로 트리거되지만, 많은 변환은 논리적 쿼리 계획에만 추가됩니다. 캐싱으로 인해 동일한 로직이 반복적으로 실행되면 의미 있는 결과를 얻을 수 없습니다.

E. Photon은 예약된 작업을 위해 시작된 클러스터에서만 활성화할 수 있으므로, 증분 코드 개발 중에 노트북을 작업으로 실행하고 실행 시간을 추적하려면 Jobs UI를 활용해야 합니다.

Databricks-Certified-Professional-Data-Engineer-KR 문제 19

데이터 엔지니어는 워크스페이스에 있는 기존 파이프라인의 설정을 가져와서 이를 기반으로 JSON 파일을 생성하고 버전 관리하여 새 파이프라인을 만들어야 합니다.
Databricks CLI로 구성된 웹 터미널에서 데이터 엔지니어는 어떤 명령어를 입력해야 합니까?

A. get 명령어를 사용하여 기존 파이프라인의 설정을 가져옵니다. pipeline_id를 제거하고 파이프라인 이름을 변경한 다음, 이를 create 명령어에 사용합니다.

B. 기존 파이프라인을 중지하고, 반환된 설정을 재설정 명령에 사용합니다.

C. alone 명령어를 사용하여 기존 파이프라인의 복사본을 생성하고, get JSON 명령어를 사용하여 파이프라인 정의를 가져온 다음, 이를 Git에 저장합니다.

D. 파이프라인 목록을 사용하여 모든 파이프라인의 사양을 가져옵니다. 반환된 결과를 파싱하여 파이프라인 사양을 가져온 다음, 이를 사용하여 파이프라인을 생성합니다.

Databricks-Certified-Professional-Data-Engineer-KR 문제 20

데이터 엔지니어가 Databricks의 Jobs API를 사용하여 작업 모니터링 및 복구를 자동화하려고 합니다. 모든 작업을 나열하고, 실패한 작업을 식별한 후 다시 실행해야 합니다.
데이터 엔지니어는 어떤 순서로 API 작업을 수행해야 할까요?

A. jobs/list 엔드포인트를 사용하여 작업 목록을 확인하고, jobs/runs/list를 사용하여 작업 실행 상태를 확인하고, jobs/run-now를 사용하여 실패한 작업을 다시 실행합니다.

B. jobs/get 엔드포인트를 사용하여 작업 세부 정보를 가져온 다음 jobs/update를 사용하여 실패한 작업을 다시 실행합니다.

C. jobs/list 엔드포인트를 사용하여 작업 목록을 확인한 다음, jobs/create 엔드포인트를 사용하여 새 작업을 생성하고, jobs/run-now를 사용하여 새 작업을 실행합니다.

D. jobs/cancel 엔드포인트를 사용하여 실패한 작업을 제거한 다음 jobs/create를 사용하여 새 작업을 다시 생성하고 실행하십시오.