A. 계보 추적을 위해 Bronze 테이블에는 개인 식별 정보(PII)를 마스킹하지 않고 저장한 다음, 보고에 사용되는 Gold 테이블에서 마스킹 로직을 적용합니다.

B. 노트북을 사용하여 배치 데이터를 로드하고 SQL Warehouses를 사용하여 스트리밍 데이터를 수집합니다. 저장 후 Silver 테이블에서 Unity Catalog 열 마스크를 사용하여 필드를 수정합니다.

C. Lakeflow 선언적 파이프라인을 사용하여 배치 및 스트리밍 데이터를 모두 수집하고, 수집 중에 데이터가 수정되지 않도록 읽기 시점에 Unity 카탈로그 열 마스크를 통해 마스킹을 적용합니다.

D. 배치 및 스트리밍 데이터 수집을 위해 Lakeflow 선언적 파이프라인을 사용하고, 개인 식별 정보(PII) 마스킹 기능을 정의하고, Delta Lake에 기록하기 전에 Bronze 데이터 수집 중에 해당 기능을 적용합니다.

A. 관리 가능

B. 편집 가능

C. 실행 가능

D. 읽을 수 있음

A. 쓰기 작업 전에 셔플이 발생하여 데이터를 그룹화함으로써 각 실행기가 디렉터리 파티션에 따라 여러 파일을 쓰는 대신 더 적은 수의 파일을 생성합니다.

B. 최적화된 쓰기 방식은 디렉터리 파티션 대신 논리 파티션을 사용하며, 파티션 경계는 메타데이터에만 표현되므로 더 적은 수의 작은 파일이 기록됩니다.

C. 쓰기 작업이 완료된 후 파일을 추가로 압축할 수 있는지 확인하기 위해 비동기 작업이 실행됩니다. 예, 기본값인 1GB를 목표로 최적화 작업이 실행됩니다.

D. 작업 클러스터가 종료되기 전에 가장 최근 작업 중에 수정된 모든 테이블에 대해 OPTIMIZE가 실행됩니다.

A. 트리거 간격을 5초로 줄이세요. 배치 처리를 더 자주 트리거하면 이전 배치의 실행 시간이 긴 작업이 완료되는 동안 유휴 실행기가 다음 배치 처리를 시작할 수 있습니다.

B. 트리거 간격을 30초로 늘리십시오. 각 배치에 대해 관찰된 최대 실행 시간에 가깝게 트리거 간격을 설정하는 것이 레코드가 누락되지 않도록 하는 가장 좋은 방법입니다.

C. 체크포인트 디렉토리를 수정하지 않고는 트리거 간격을 수정할 수 없습니다. 현재 스트림 상태를 유지하려면 셔플 파티션 수를 늘려 병렬 처리를 최대화하십시오.

D. '한 번만 트리거' 옵션을 사용하고 Databricks 작업을 구성하여 10초마다 쿼리를 실행하도록 설정하십시오. 이렇게 하면 모든 백로그 레코드가 각 배치에서 처리됩니다.

E. 트리거 간격을 5초로 줄이십시오. 배치 처리를 더 자주 실행하면 레코드가 쌓이거나 대량 배치 처리로 인해 데이터가 넘쳐나는 것을 방지할 수 있습니다.

A. 쓰기 작업 전에 셔플이 발생하여 데이터를 그룹화함으로써 각 실행기가 디렉터리 파티션에 따라 여러 파일을 쓰는 대신 더 적은 수의 파일을 생성합니다.

B. 최적화된 쓰기 방식은 디렉터리 파티션 대신 논리 파티션을 사용하며, 파티션 경계는 메타데이터에만 표현되므로 더 적은 수의 작은 파일이 기록됩니다.

C. 쓰기 작업이 완료된 후 파일을 추가로 압축할 수 있는지 확인하기 위해 비동기 작업이 실행됩니다. 예, 기본값인 1GB를 목표로 최적화 작업이 실행됩니다.

D. 작업 클러스터가 종료되기 전에 가장 최근 작업 중에 수정된 모든 테이블에 대해 OPTIMIZE가 실행됩니다.