A. Spark UI에서 해당 쿼리와 관련된 가장 오래 실행되는 작업의 작업 시간을 확인합니다.

B. Spark UI에서 해당 쿼리와 관련된 모든 작업에 대해 모든 단계에서 실행된 모든 작업 시간의 합계를 구합니다.

C. 해당 쿼리와 연결된 쿼리 프로파일러를 열고 총 소요 시간 측정항목을 사용하십시오.

D. 해당 쿼리와 연결된 쿼리 프로파일러를 열고 집계된 작업 시간 메트릭을 사용하십시오.

A. 버킷 AS (
device_id를 선택합니다.
window(event_ts, '5분', '2분', '5분') AS win, temperature_c FROM device_readings) SELECT device_id, win.start AS bucket_start, win.end AS bucket_end, AVG(temperature_c) AS avg_temp_5m FROM buckets GROUP BY device_id, win ORDER BY device_id, bucket_start;

B. device_id를 선택합니다.
이벤트_ts,
AVG(온도_c) OVER (
device_id로 분할
event_ts를 기준으로 정렬
이전 5분 간격과 현재 행 사이의 범위
) AS 평균 온도 5m
device_readings에서
WINDOW w AS (window(event_ts, ' 5 minutes ' , ' 2 minutes ' ));

C. device_id를 선택합니다.
date_trunc('minute', event_ts - INTERVAL 2 MINUTES) + INTERVAL 2 MINUTES AS bucket_start, date_trunc('minute', event_ts - INTERVAL 2 MINUTES) + INTERVAL 7 MINUTES AS bucket_end, AVG(temperature_c) AS avg_temp_5m FROM device_readings GROUP BY device_id, date_trunc('minute', event_ts - INTERVAL 2 MINUTES) ORDER BY device_id, bucket_start;

D. device_id를 선택합니다.
윈도우 시작을 버킷 시작으로,
윈도우 끝을 버킷 끝으로,
AVG(온도_섭씨) AS avg_temp_5m
device_readings에서
GROUP BY device_id, window(event_ts, ' 5 minutes ' , ' 5 minutes ' , ' 2 minutes ' ) ORDER BY device_id, bucket_start;

A. 반복자 기반 처리를 사용하는 SCALAR_ITER Pandas UDF를 사용하고, 각 배치 처리 후 업데이트되는 영구 저장소(델타 테이블)를 통해 상태 관리를 구현하여 반복자 청크 간의 연속성을 유지합니다.

B. 전체 데이터셋을 한 번에 처리하는 스칼라 Pandas UDF를 사용하고, UDF 내에서 사용자 지정 파티셔닝 로직을 구현하여 주식 기호별로 그룹화하고 모든 실행 프로세스에서 공유되는 전역 변수를 사용하여 상태를 유지합니다.

C. 각 주식 기호에 대한 모든 행을 Pandas DataFrame으로 받는 Spark DataFrame에 applyInPandas()를 사용하여 각 그룹 내에서 처리를 수행하고 각 그룹의 처리 함수에 로컬인 상태 변수를 유지합니다.

D. 각 주식 종목 그룹을 독립적으로 처리하고, 브로드캐스트 변수를 통해 연속적인 UDF 호출 간에 전달되는 중간 집계 결과를 통해 상태를 유지하는 grouped_agg Pandas UDF를 사용합니다.

A. spark.writestream.format( ' delta ' ).mode( ' append ' )

B. CTAS 및 RTAS 진술

C. INSERT INTO 작업

D. spark.write.format( ' delta ' ).mode( ' append ' )

A. 부착 가능

B. 관리 가능

C. 볼 수 있음

D. 재시작 가능