Databricks-Certified-Professional-Data-Engineer 문제 61
데이터 엔지니어가 세분화된 권한으로 작업을 배포하기 위해 Databricks 자산 번들을 구성하고 있습니다. 요구 사항은 다음과 같습니다.
* 데이터 엔지니어 그룹에 작업에 대한 CAN_MANAGE 액세스 권한을 부여합니다.
* 감사자 그룹이 작업을 볼 수 있지만 수정하거나 실행할 수는 없도록 합니다.
* 다른 사용자/그룹에 의도치 않은 권한을 부여하지 마세요.
데이터 엔지니어는 요구 사항을 충족하는 동시에 작업을 어떻게 배치해야 할까요?
* 데이터 엔지니어 그룹에 작업에 대한 CAN_MANAGE 액세스 권한을 부여합니다.
* 감사자 그룹이 작업을 볼 수 있지만 수정하거나 실행할 수는 없도록 합니다.
* 다른 사용자/그룹에 의도치 않은 권한을 부여하지 마세요.
데이터 엔지니어는 요구 사항을 충족하는 동시에 작업을 어떻게 배치해야 할까요?
Databricks-Certified-Professional-Data-Engineer 문제 62
Spark 작업이 예상보다 오래 걸립니다. 데이터 엔지니어는 Spark UI를 사용하여 특정 단계의 작업에 대한 최소, 중간, 최대 기간을 확인했는데, 작업을 완료하는 데 걸리는 최소 및 중간 시간은 거의 동일하지만, 작업의 최대 기간은 최소 기간보다 약 100배 더 길다는 것을 발견했습니다.
어떤 상황으로 인해 전체 작업 기간이 늘어나는 걸까요?
어떤 상황으로 인해 전체 작업 기간이 늘어나는 걸까요?
Databricks-Certified-Professional-Data-Engineer 문제 63
pyspark.sql.functions.broadcast의 올바른 사용법을 설명하는 문장은 무엇입니까?
Databricks-Certified-Professional-Data-Engineer 문제 64
데이터 팀은 Databricks에서 일일 멀티태스크 ETL 파이프라인을 자동화하고 있습니다. 파이프라인에는 원시 데이터 수집을 위한 노트북, 데이터 변환을 위한 Python 휠 작업, 그리고 집계를 업데이트하는 SQL 쿼리가 포함됩니다. 이들은 프로그래밍 방식으로 파이프라인을 트리거하고 GUI에서 이전 실행 내역을 확인하려고 합니다. 또한, 실패 시 작업을 재시도하고, 작업이 실패할 경우 이해관계자에게 이메일로 알림을 보내야 합니다.
이러한 요구 사항을 충족하는 두 가지 접근 방식은 무엇입니까? (답변 2개 선택)
이러한 요구 사항을 충족하는 두 가지 접근 방식은 무엇입니까? (답변 2개 선택)
Databricks-Certified-Professional-Data-Engineer 문제 65
데이터 엔지니어는 테이블에서 읽고 데이터를 조작한 다음 구조화된 스트리밍 작업을 구성했습니다.
새 테이블에 스트리밍 쓰기를 수행합니다. 데이터 엔지니어가 사용한 코드 블록은 다음과 같습니다.
1. (spark.table("판매")
2. .withColumn("평균_가격", col("판매량") / col("단위"))
3. .writeStream
4. .option("체크포인트 위치", 체크포인트 경로)
5. .outputMode("완료")
6. ._____
7. .table("신규_판매")
8.)
데이터 엔지니어가 사용 가능한 모든 데이터를 처리하기 위해 단일 마이크로 배치만 실행하는 쿼리를 원하는 경우
데이터 엔지니어는 다음 중 어떤 코드 줄을 사용하여 빈칸을 채워야 할까요?
새 테이블에 스트리밍 쓰기를 수행합니다. 데이터 엔지니어가 사용한 코드 블록은 다음과 같습니다.
1. (spark.table("판매")
2. .withColumn("평균_가격", col("판매량") / col("단위"))
3. .writeStream
4. .option("체크포인트 위치", 체크포인트 경로)
5. .outputMode("완료")
6. ._____
7. .table("신규_판매")
8.)
데이터 엔지니어가 사용 가능한 모든 데이터를 처리하기 위해 단일 마이크로 배치만 실행하는 쿼리를 원하는 경우
데이터 엔지니어는 다음 중 어떤 코드 줄을 사용하여 빈칸을 채워야 할까요?