Databricks-Certified-Data-Engineer-Professional-KR 문제 66
데이터 엔지니어가 클라우드 스토리지에서 Delta Lake 테이블로 JSON 파일을 수집하는 스트리밍 데이터 파이프라인을 구축하고 있습니다. 이 파이프라인은 파일을 점진적으로 처리하고, 스키마 변경을 자동으로 처리하며, 정확히 한 번만 처리되도록 보장하고, 수동 인프라 관리를 최소화해야 합니다.
데이터 엔지니어는 이러한 요구 사항을 어떻게 충족해야 할까요?
데이터 엔지니어는 이러한 요구 사항을 어떻게 충족해야 할까요?
Databricks-Certified-Data-Engineer-Professional-KR 문제 67
Databricks 워크스페이스 관리자는 각 데이터 엔지니어링 그룹에 대해 대화형 클러스터를 구성했습니다. 비용 관리를 위해 클러스터는 30분 동안 활동이 없으면 종료되도록 설정되어 있습니다.
각 사용자는 하루 중 언제든지 자신에게 할당된 클러스터에 대해 워크로드를 실행할 수 있어야 합니다.
사용자가 워크스페이스에 추가되었지만 권한이 부여되지 않은 경우, 이미 구성된 클러스터를 시작하고 연결하는 데 필요한 최소 권한은 다음 중 무엇입니까?
각 사용자는 하루 중 언제든지 자신에게 할당된 클러스터에 대해 워크로드를 실행할 수 있어야 합니다.
사용자가 워크스페이스에 추가되었지만 권한이 부여되지 않은 경우, 이미 구성된 클러스터를 시작하고 연결하는 데 필요한 최소 권한은 다음 중 무엇입니까?
Databricks-Certified-Data-Engineer-Professional-KR 문제 68
현재 플랫폼 소유자가 여러 카탈로그의 소유권을 보유하고 있으며 스토리지 자격 증명 및 외부 위치를 제어하고 있습니다. 데이터 엔지니어는 연속성을 보장하기 위해 카탈로그 소유권을 플랫폼 팀 그룹으로 이전하고, 지속적인 권한 관리를 위임하며, 델타 공유를 통해 데이터를 수신하고 공유할 수 있는 기능을 유지해야 합니다. 메타스토어 전반에 걸쳐 이러한 작업을 수행하려면 어떤 역할이 필요합니까?
Databricks-Certified-Data-Engineer-Professional-KR 문제 69
프로덕션 클러스터는 3개의 실행기 노드를 가지며 드라이버와 실행기에 동일한 가상 머신 유형을 사용합니다.
이 클러스터의 Ganglia 메트릭을 평가할 때, 드라이버에서 실행되는 코드로 인해 발생하는 병목 현상을 나타내는 지표는 무엇일까요?
이 클러스터의 Ganglia 메트릭을 평가할 때, 드라이버에서 실행되는 코드로 인해 발생하는 병목 현상을 나타내는 지표는 무엇일까요?
Databricks-Certified-Data-Engineer-Professional-KR 문제 70
보안 분석 파이프라인은 수십억 건에 달하는 원시 연결 로그에 지리 위치 데이터를 추가하여 데이터를 보강해야 합니다.
조인은 각 이벤트 주소가 속하는 IPv4 범위를 찾는 데 달려 있습니다.
표 1: 네트워크 이벤트 (50억 행)
이벤트 ID IP_int
42 3232235777
표 2: IP 범위 (2백만 행)
시작 IP 주소 끝 IP 주소 국가
3232235520 3232236031 미국
현재 쿼리 속도가 매우 느립니다.
n.event_id, n.ip_int, r.country를 선택합니다.
네트워크 이벤트 n에서
IP_범위 r에 참여
n.ip_int가 r.start_ip_int와 r.end_ip_int 사이에 있을 때;
어떤 변경 사항이 논리를 유지하면서 쿼리 속도를 가장 극적으로 향상시킬까요?
조인은 각 이벤트 주소가 속하는 IPv4 범위를 찾는 데 달려 있습니다.
표 1: 네트워크 이벤트 (50억 행)
이벤트 ID IP_int
42 3232235777
표 2: IP 범위 (2백만 행)
시작 IP 주소 끝 IP 주소 국가
3232235520 3232236031 미국
현재 쿼리 속도가 매우 느립니다.
n.event_id, n.ip_int, r.country를 선택합니다.
네트워크 이벤트 n에서
IP_범위 r에 참여
n.ip_int가 r.start_ip_int와 r.end_ip_int 사이에 있을 때;
어떤 변경 사항이 논리를 유지하면서 쿼리 속도를 가장 극적으로 향상시킬까요?
