무료 온라인 액세스 Databricks.Databricks-Certified-Professional-Data-Engineer-KR.v2026-08-24.q101 모의 시험 (Page 7)

Databricks-Certified-Professional-Data-Engineer-KR 문제 26

데이터 엔지니어가 데이터브릭스에서 파이프라인을 설계하고 있는데, 이 파이프라인은 데이터 도착이 지연되는 경우가 흔한 카프카 스트림의 레코드를 처리합니다.
데이터 엔지니어는 어떤 접근 방식을 사용해야 할까요?

A. Databricks Jobs를 사용하여 모든 과거 데이터를 주기적으로 재처리하는 사용자 지정 솔루션을 구현합니다.

B. 일괄 처리를 사용하여 매번 전체 출력 테이블을 덮어쓰므로 늦게 도착한 데이터도 정확하게 반영됩니다.

C. 배치 테이블이 있는 Auto CDC 파이프라인을 사용하여 지연 데이터 처리를 간소화합니다.

D. 예상 도착 시간 이후에 도착하는 레코드를 수용하기 위해 허용되는 지연 시간을 지정하는 워터마크를 사용하여 정확한 집계 및 상태 관리를 보장합니다.

Databricks-Certified-Professional-Data-Engineer-KR 문제 27

데이터 조직에서 Unity Catalog 기반 워크스페이스에서 선별된 데이터 세트를 안전하게 배포하기 위해 Delta Sharing을 도입했습니다. 데이터 엔지니어링 팀은 대규모 Delta 테이블을 Databricks 간 내부 공유와 Open Sharing을 통해 외부로 공유하여 집계 보고서를 생성합니다. 테스트 과정에서 접근 제어, 데이터 업데이트 가시성, 공유 가능한 객체 유형과 관련된 문제에 직면했습니다.
Databricks 간 공유 또는 오픈 공유와 함께 Delta Sharing 프로토콜 또는 구현을 사용할 때의 한계점은 무엇입니까?

A. 오픈 공유를 사용하면 수신자는 볼륨, 모델 또는 노트북에 액세스할 수 없으며 정적 델타 테이블만 지원됩니다.

B. Delta Sharing은 Unity Catalog가 활성화된 테이블을 지원하지 않습니다. 기존 Hive Metastore 테이블만 공유할 수 있습니다.

C. Databricks 간 공유를 사용하는 경우 Unity Catalog 수신자는 COPY INTO 또는 REST API를 사용하여 데이터를 수동으로 다시 수집해야 합니다.

D. 델타 공유(Databricks 간 공유 및 오픈 공유 모두)를 사용하면 수신자가 특정 권한이 있는 경우 원본 데이터를 수정할 수 있습니다.

Databricks-Certified-Professional-Data-Engineer-KR 문제 28

데이터 엔지니어 팀은 Databricks에서 기본적으로 지원하지 않는 외부 데이터베이스에 대한 연결을 구성하는 작업을 맡았습니다. 해당 외부 데이터베이스는 이미 그룹 멤버십을 기반으로 데이터 보안이 구성되어 있습니다. 이러한 그룹은 회사 내 다양한 팀을 대표하는 Databricks에 이미 생성된 사용자 그룹에 직접 매핑됩니다.
외부 데이터베이스의 각 그룹에 대해 새 로그인 자격 증명이 생성되었습니다. Databricks 유틸리티 비밀 모듈을 사용하여 이러한 자격 증명을 Databricks 사용자에게 제공할 수 있습니다.
외부 데이터베이스에 모든 자격 증명이 올바르게 구성되어 있고 Databricks에 그룹 멤버십이 제대로 구성되어 있다고 가정할 때, 팀에게 이러한 자격 증명을 사용하는 데 필요한 최소한의 액세스 권한을 부여하는 방법을 설명하는 문장은 무엇입니까?

A. 특정 팀에서 사용할 자격 증명에 매핑된 비밀 키에 '읽기' 권한을 설정해야 합니다.

B. 비밀이 추가된 작업 공간에서 모든 사용자가 관리자로 구성되어 있는 경우 추가 구성은 필요하지 않습니다.

C. 특정 팀에서 사용할 자격 증명만 포함하는 비밀 범위에 "읽기" 권한을 설정해야 합니다.

D. "관리" 권한은 특정 팀에서 사용할 자격 증명만 포함하는 비밀 범위에 설정해야 합니다.

Databricks-Certified-Professional-Data-Engineer-KR 문제 29

데이터 엔지니어가 의료비 청구 데이터를 처리하기 위해 Lakeflow Declarative Pipelines 파이프라인을 구축하고 있습니다. 메타데이터 JSON 파일에는 다음을 포함한 여러 테이블에 대한 데이터 품질 규칙이 정의되어 있습니다.
{
" claims " : [
{ " name " : " valid_patient_id " , " constraint " : " patient_id IS NOT NULL " },
{ " name " : " non_negative_amount " , " constraint " : " claim_amount > = 0 " }
]
}
파이프라인은 규칙을 하드코딩하지 않고 이러한 규칙을 클레임 테이블에 동적으로 적용해야 합니다.
데이터 엔지니어는 어떻게 이를 달성해야 할까요?

A. JSON 메타데이터를 로드하고, 해당 항목을 순회하며, dlt.expect_all을 사용하여 기대치를 적용합니다.

B. 외부 API를 호출하여 메타데이터 규칙에 따라 레코드의 유효성을 검사합니다.

C. 테이블 선언에서 각 기대치를 참조할 때 @dlt.expect 데코레이터를 사용하세요.

D. JSON 파일 경로를 참조하는 SQL CONSTRAINT 블록을 사용하십시오.

Databricks-Certified-Professional-Data-Engineer-KR 문제 30

프로덕션 환경에 배포된 구조화된 스트리밍 작업이 하루 중 사용량이 많은 시간대에 지연 현상을 보이고 있습니다. 현재 정상적인 실행 시에는 각 마이크로배치 데이터 처리 시간이 3초 미만입니다. 하지만 사용량이 많은 시간대에는 각 마이크로배치의 처리 시간이 매우 불규칙해지며, 때로는 3초를 초과하기도 합니다.
30초. 스트리밍 쓰기는 현재 10초의 트리거 간격으로 구성되어 있습니다.
다른 모든 변수를 일정하게 유지하고 레코드를 10초 이내에 처리해야 한다고 가정할 때, 어떤 조정이 요구 사항을 충족할까요?

A. 트리거 간격을 5초로 줄이세요. 배치 처리를 더 자주 트리거하면 이전 배치의 실행 시간이 긴 작업이 완료되는 동안 유휴 실행기가 다음 배치 처리를 시작할 수 있습니다.

B. 트리거 간격을 30초로 늘리십시오. 각 배치에 대해 관찰된 최대 실행 시간에 가깝게 트리거 간격을 설정하는 것이 레코드가 누락되지 않도록 하는 가장 좋은 방법입니다.

C. 체크포인트 디렉토리를 수정하지 않고는 트리거 간격을 수정할 수 없습니다. 현재 스트림 상태를 유지하려면 셔플 파티션 수를 늘려 병렬 처리를 최대화하십시오.

D. '한 번만 트리거' 옵션을 사용하고 Databricks 작업을 구성하여 10초마다 쿼리를 실행하도록 설정하십시오. 이렇게 하면 모든 백로그 레코드가 각 배치에서 처리됩니다.

E. 트리거 간격을 5초로 줄이십시오. 배치 처리를 더 자주 실행하면 레코드가 쌓이거나 대량 배치 처리로 인해 데이터가 넘쳐나는 것을 방지할 수 있습니다.

정답: D

The scenario presented involves inconsistent microbatch processing times in a Structured Streaming job during peak hours, with the need to ensure that records are processed within 10 seconds. The trigger once option is the most suitable adjustment to address these challenges:
* Understanding Triggering Options:
* Fixed Interval Triggering (Current Setup): The current trigger interval of 10 seconds may contribute to the inconsistency during peak times as it doesn ' t adapt based on the processing time of the microbatches. If a batch takes longer to process, subsequent batches will start piling up, exacerbating the delays.
* Trigger Once: This option allows the job to run a single microbatch for processing all available data and then stop. It is useful in scenarios where batch sizes are unpredictable and can vary significantly, which seems to be the case during peak hours in this scenario.
* Implementation of Trigger Once:
* Setup: Instead of continuously running, the job can be scheduled to run every 10 seconds using a Databricks job. This scheduling effectively acts as a custom trigger interval, ensuring that each execution cycle handles all available data up to that point without overlapping or queuing up additional executions.
* Advantages: This approach allows for each batch to complete processing all available data before the next batch starts, ensuring consistency in handling data surges and preventing the system from being overwhelmed.
* Rationale Against Other Options:
* Option A and E (Decrease Interval): Decreasing the trigger interval to 5 seconds might exacerbate the problem by increasing the frequency of batch starts without ensuring the completion of previous batches, potentially leading to higher overhead and less efficient processing.
* Option B (Increase Interval): Increasing the trigger interval to 30 seconds could lead to latency issues, as the data would be processed less frequently, which contradicts the requirement of processing records in less than 10 seconds.
* Option C (Modify Partitions): While increasing parallelism through more shuffle partitions can improve performance, it does not address the fundamental issue of batch scheduling and could still lead to inconsistency during peak loads.
* Conclusion:
* By using the trigger once option and scheduling the job every 10 seconds, you ensure that each microbatch has sufficient time to process all available data thoroughly before the next cycle begins, aligning with the need to handle peak loads more predictably and efficiently.
References
* Structured Streaming Programming Guide - Triggering
* Databricks Jobs Scheduling