Databricks-Certified-Data-Engineer-Professional-KR 문제 11

한 조직이 웹 및 모바일 애플리케이션에서 고객 데이터를 처리합니다. 데이터에는 이름, 이메일, 전화번호 및 위치 기록이 포함됩니다. 데이터는 배치 파일(SFTP를 통해 매일 전송)과 스트리밍 JSON 이벤트(Kafka를 통해 실시간으로 전송) 형태로 수신됩니다.
데이터 개인정보 보호 정책을 준수하려면 다음 요건을 충족해야 합니다.
- 이메일, 전화번호 등의 개인 식별 정보(PII)
번호와 IP 주소는 저장하기 전에 마스킹 또는 익명화해야 합니다.
- 배치 파이프라인과 스트리밍 파이프라인 모두 일관된 개인 식별 정보(PII)를 적용해야 합니다.
손질.
- 마스킹 로직은 감사 가능하고 재현 가능해야 합니다.
- 마스킹된 데이터는 후속 분석에 계속 사용할 수 있어야 합니다.
데이터 엔지니어는 배치 모드와 스트리밍 모드를 모두 지원하고, 개인 식별 정보(PII)에 데이터 마스킹을 적용하며, 감사 추적성을 유지하는 Databricks 기반의 규정 준수 데이터 파이프라인을 어떻게 설계해야 할까요?

Databricks-Certified-Data-Engineer-Professional-KR 문제 12

Spark에 데이터를 입력할 때 Spark 파티션 크기에 직접적인 영향을 미치는 구성 매개변수는 무엇입니까?

Databricks-Certified-Data-Engineer-Professional-KR 문제 13

데이터 엔지니어링 팀은 Delta Lake 테이블의 값을 모니터링하기 위해 Databricks SQL 쿼리와 알림을 구성했습니다. recent_sensor_recordings 테이블에는 최근 5분 동안의 기록에 대한 센서 ID, 타임스탬프 및 온도가 포함되어 있습니다.
아래 쿼리는 알림을 생성하는 데 사용됩니다.

해당 쿼리는 1분마다 갱신되도록 설정되어 있으며 항상 10초 이내에 완료됩니다. 평균 온도(온도)가 120°F(섭씨 약 38도)를 초과하면 알림이 발생하도록 설정되어 있습니다. 알림은 최대 1분 간격으로 전송됩니다.
이 알림이 3분 동안 연속으로 발생하다가 멈춘다면, 다음 중 어떤 설명이 반드시 참이어야 합니까?

Databricks-Certified-Data-Engineer-Professional-KR 문제 14

데이터 엔지니어링 팀은 자동화된 ETL 프로세스의 일부로 테이블에 태깅 시스템을 구현해야 하며, Unity Catalog의 테이블에 프로그래밍 방식으로 태그를 적용해야 합니다.
테이블에 태그를 프로그래밍 방식으로 추가하는 SQL 명령은 무엇입니까?

Databricks-Certified-Data-Engineer-Professional-KR 문제 15

데이터 엔지니어가 Databricks 노트북을 파이프라인에 직접 연결하여 Lakeflow 선언적 파이프라인(LDP)을 개발하고 있습니다. 노트북에 새로운 테이블 정의와 변환 로직을 추가한 후, 실제로 데이터를 처리하거나 파이프라인을 실행하지 않고 파이프라인 코드의 구문 오류를 확인하고 싶어합니다. 데이터 엔지니어는 어떻게 구문 검사를 수행해야 할까요?