A. 버킷 AS (
device_id를 선택합니다.
window(event_ts, '5분', '2분', '5분') AS 승리,
온도_c
device_readings에서
)
device_id를 선택합니다.
win.start AS 버킷_start,
win.end AS 버킷_end,
AVG(온도_섭씨) AS avg_temp_5m
양동이에서
device_id, win을 기준으로 그룹화
device_id, bucket_start 순으로 정렬합니다.

B. device_id를 선택합니다.
이벤트_ts,
AVG(온도_c) OVER (
device_id로 분할
event_ts를 기준으로 정렬
이전 5분 간격과 현재 행 사이의 범위
) AS 평균 온도 5m
device_readings에서
WINDOW w AS (window(event_ts, '5분', '2분'));

C. device_id를 선택합니다.
date_trunc('minute', event_ts - INTERVAL 2 MINUTES) + INTERVAL 2 MINUTES AS bucket_start, date_trunc('minute', event_ts - INTERVAL 2 MINUTES) + INTERVAL 7 MINUTES AS bucket_end, AVG(temperature_c) AS avg_temp_5m FROM device_readings GROUP BY device_id, date_trunc('minute', event_ts - INTERVAL 2 MINUTES) ORDER BY device_id, bucket_start;

D. device_id를 선택합니다.
윈도우 시작을 버킷 시작으로,
윈도우 끝을 버킷 끝으로,
AVG(온도_섭씨) AS avg_temp_5m
device_readings에서
device_id, window(event_ts, '5 minutes', '5 minutes', '2 minutes')를 기준으로 그룹화하고 device_id, bucket_start를 기준으로 정렬합니다.

A. 메모리 사용량을 줄이려면 브로드캐스트 조인으로 전환하세요.

B. 정렬하기 전에 DataFrame을 단일 파티션으로 재분할합니다.

C. 정렬 작업을 필터 작업으로 변환합니다.

D. 데이터 분산을 개선하기 위해 셔플 파티션 수를 늘립니다.

A. Delta 로그와 Structured Streaming 체크포인트는 Kafka 프로듀서의 전체 이력을 기록합니다.

B. Delta Lake 스키마 진화는 원본 소스에 데이터가 있는 한 새로 추가된 필드에 대해 소급하여 올바른 값을 계산할 수 있습니다.

C. Delta Lake는 소스 데이터에 있는 모든 필드가 수집 레이어에 포함되어 있는지 자동으로 확인합니다.

D. Delta Lake에서는 데이터가 영구적으로 삭제되거나 제거되지 않으므로 어떠한 상황에서도 데이터 손실은 발생하지 않습니다.

E. Kafka에서 모든 원시 데이터와 메타데이터를 브론즈 델타 테이블로 수집하면 데이터 상태에 대한 영구적이고 재생 가능한 기록이 생성됩니다. 최신 및 실제 공인 데이터 엔지니어 전문가 시험 문제와 답변을 확인하세요.

A. 최근 파일 성능을 향상시키기 위해 각 작업 후에 OPTIMIZE/ZORDER가 실행되도록 예약합니다.

B. 델타 캐싱을 활성화합니다.

C. Liquid Clustering(CLUSTER BY AUTO) 및 예측 최적화를 활용합니다.

D. 자동 압축(optimizeWrite 및 autoCompact)을 활성화합니다.

A. mask(이메일, '?')

B. 해시(이메일)

C. sha1(이메일)

D. sha2(이메일, 0)