Databricks-Certified-Professional-Data-Engineer-KR 무료 덤프문제 온라인 액세스

머신러닝 팀은 델타 레이크 레이크의 레이크하우스에 있는 customer_parsams라는 테이블을 고객 이탈 예측에 사용합니다. 이 테이블에는 여러 상위 소스에서 가져온 고객 정보가 포함되어 있습니다.
현재 데이터 엔지니어링 팀은 상위 데이터 소스에서 가져온 최신 유효 값으로 테이블을 덮어쓰는 방식으로 매일 밤 이 테이블을 업데이트합니다.
데이터 엔지니어 팀은 업데이트가 완료되는 즉시 새 버전과 이전 버전 간의 차이점을 확인하고자 합니다.
현재 구현 방식을 고려할 때, 어떤 방법을 사용할 수 있을까요?

• A.Spark 이벤트 로그를 분석하여 업데이트, 삽입 또는 삭제된 행을 식별합니다.
• B.Delta Lake 트랜잭션 로그를 분석하여 새로 기록된 모든 데이터 파일을 식별합니다.
• C.DESCRIBE HISTORY customer_churn_params 명령을 실행하여 추가되거나 수정된 ​​모든 레코드의 로그를 포함하여 업데이트에 대한 전체 작업 메트릭을 얻으십시오.
• D.Delta Lake의 내장 버전 관리 및 타임 트래블 기능을 사용하여 새 버전과 이전 버전 간의 차이를 계산하는 쿼리를 실행합니다.

시설 모니터링 팀이 Delta 테이블의 device_readings 데이터를 기반으로 거의 실시간에 가까운 PowerBI 대시보드를 구축하고 있습니다.
열:
* device_id (문자열, 고유 센서 ID)
* event_ts (TIMESTAMP, 수집 타임스탬프 UTC)
* temperature_c (DOUBLE, °C 단위의 온도)
요구 사항:
* 각 센서에 대해 겹치지 않는 5분 간격으로 한 행씩 생성하되, 2분씩 오프셋합니다(예:
00:02-00:07, 00:07-00:12, ...).
* 각 행에는 구간 시작 시간, 구간 종료 시간 및 해당 구간의 평균 온도가 포함되어야 합니다.
* 하위 BI 도구(예: Power BI)는 시계열 막대를 표시하기 위해 간격 타임스탬프를 사용해야 합니다.
옵션:

• A.device_id를 선택합니다.
  date_trunc('minute', event_ts - INTERVAL 2 MINUTES) + INTERVAL 2 MINUTES AS bucket_start, date_trunc('minute', event_ts - INTERVAL 2 MINUTES) + INTERVAL 7 MINUTES AS bucket_end, AVG(temperature_c) AS avg_temp_5m FROM device_readings GROUP BY device_id, date_trunc('minute', event_ts - INTERVAL 2 MINUTES) ORDER BY device_id, bucket_start;
• B.device_id를 선택합니다.
  이벤트_ts,
  AVG(온도_c) OVER (
  device_id로 분할
  event_ts를 기준으로 정렬
  이전 5분 간격과 현재 행 사이의 범위
  ) AS 평균 온도 5m
  device_readings에서
  WINDOW w AS (window(event_ts, ' 5 minutes ' , ' 2 minutes ' ));
• C.device_id를 선택합니다.
  윈도우 시작을 버킷 시작으로,
  윈도우 끝을 버킷 끝으로,
  AVG(온도_섭씨) AS avg_temp_5m
  device_readings에서
  GROUP BY device_id, window(event_ts, ' 5 minutes ' , ' 5 minutes ' , ' 2 minutes ' ) ORDER BY device_id, bucket_start;
• D.버킷 AS (
  device_id를 선택합니다.
  window(event_ts, '5분', '2분', '5분') AS win, temperature_c FROM device_readings) SELECT device_id, win.start AS bucket_start, win.end AS bucket_end, AVG(temperature_c) AS avg_temp_5m FROM buckets GROUP BY device_id, win ORDER BY device_id, bucket_start;

데이터 설계자는 레이크하우스의 모든 테이블을 외부 Delta Lake 테이블로 구성해야 한다고 지시했습니다.
어떤 접근 방식이 이 요구 사항을 충족시킬 수 있을까요?

• A.테이블을 생성할 때, CREATE TABLE 문에 external 키워드를 반드시 사용해야 합니다.
• B.모든 테이블 저장소를 위해 외부 데이터 웨어하우스를 구성할 때 모든 ELT에 Databricks를 활용하십시오.
• C.워크스페이스를 구성할 때 외부 클라우드 객체 스토리지가 마운트되었는지 확인하십시오.
• D.테이블을 생성할 때마다 location 키워드를 반드시 사용하십시오.
• E.데이터베이스를 생성할 때마다 location 키워드를 반드시 사용해야 합니다.

데이터 엔지니어가 Databricks 간 데이터 전송 시나리오에서 읽기 성능을 최적화하기 위해 델타 공유(Delta Sharing)를 구성하고 있습니다. 수신 측에서는 공유된 판매 데이터에 대해 시간 경과에 따른 쿼리와 스트리밍 읽기를 수행해야 합니다.
어떤 구성이 이러한 기능들을 활성화하면서 최적의 성능을 제공할까요?

• A.기록이 없는 테이블을 공유하고 쿼리 성능 향상을 위해 파티셔닝을 활성화합니다.
• B.성능 향상을 위해 Databricks 간 공유 대신 개방형 공유 프로토콜을 사용하십시오.
• C.전체 스키마를 기록 없이 공유하고 수신자 측 캐싱을 활용하여 성능을 향상시킵니다.
• D.이력 정보가 ​​포함된 테이블을 공유하고, 테이블에 파티셔닝이 활성화되어 있지 않은지 확인하고, 공유하기 전에 누적 분포 함수(CDF)를 활성화하십시오.

데이터 엔지니어가 소스에서 가져온 CDC(변경 데이터 캡처) 데이터를 처리하기 위해 Lakeflow 선언적 파이프라인을 구성하고 있습니다. 소스 이벤트는 때때로 순서대로 도착하지 않으며, 동일한 update_timestamp를 갖지만 update_sequence_id가 다른 여러 업데이트가 발생할 수 있습니다.
데이터 엔지니어는 이벤트 순서가 올바르게 유지되도록 하기 위해 무엇을 해야 할까요?

• A.LDP에서 순서가 잘못되었거나 중복된 레코드를 제거하려면 dropDuplicates()를 사용하십시오.
• B.O AUTO CDC API에서 SEQUENCE BY STRUCT(event_timestamp, update_sequence_id)를 사용하세요.
• C.LDP 파이프라인에서 update_timestamp와 같은 파티션 내에서 update_sequence_id를 정렬하기 위해 윈도우 함수를 사용합니다.
• D.AUTO CDC API에서 track_history_column_list를 [event_timestamp, event_id]로 설정합니다.