Databricks-Certified-Professional-Data-Engineer 문제 66
데이터 과학 팀은 MLflow를 사용하여 프로덕션 모델을 생성하고 로깅했습니다. 다음 코드는 프로덕션 모델을 올바르게 가져오고 적용하여 예측 결과를 "customer_id LONG, predictions DOUBLE, date DATE" 스키마를 가진 preds라는 새 DataFrame으로 출력합니다.
데이터 과학팀은 예측 결과를 Delta Lake 테이블에 저장하여 시간 경과에 따른 모든 예측을 비교할 수 있기를 원합니다. 이탈 예측은 하루에 최대 한 번만 수행됩니다.
어떤 코드 블록이 잠재적인 컴퓨팅 비용을 최소화하면서 이 작업을 수행합니까?
데이터 과학팀은 예측 결과를 Delta Lake 테이블에 저장하여 시간 경과에 따른 모든 예측을 비교할 수 있기를 원합니다. 이탈 예측은 하루에 최대 한 번만 수행됩니다.
어떤 코드 블록이 잠재적인 컴퓨팅 비용을 최소화하면서 이 작업을 수행합니까?
Databricks-Certified-Professional-Data-Engineer 문제 67
데이터 엔지니어링 팀은 작업 중 하나가 일반적으로 15분 안에 끝나지만 네트워크 패킷 손실로 인해 원격 데이터베이스를 읽을 때 무작위로 멈추는 것을 발견했습니다. 다음 중 어떤 단계를 사용하여 작업의 안정성을 개선할 수 있습니까?
Databricks-Certified-Professional-Data-Engineer 문제 68
보안팀은 Databricks Secrets 모듈을 사용하여 외부 데이터베이스에 연결할 수 있는지 여부를 조사하고 있습니다.
모든 Python 변수를 문자열로 정의하여 코드를 테스트한 후, secrets 모듈에 비밀번호를 업로드하고 현재 활성화된 사용자에게 올바른 권한을 설정합니다. 그런 다음 코드를 다음과 같이 수정합니다(다른 변수는 모두 변경하지 않음).
위 코드가 실행되면 무슨 일이 일어날지 설명하는 문장은 무엇입니까?
모든 Python 변수를 문자열로 정의하여 코드를 테스트한 후, secrets 모듈에 비밀번호를 업로드하고 현재 활성화된 사용자에게 올바른 권한을 설정합니다. 그런 다음 코드를 다음과 같이 수정합니다(다른 변수는 모두 변경하지 않음).
위 코드가 실행되면 무슨 일이 일어날지 설명하는 문장은 무엇입니까?
Databricks-Certified-Professional-Data-Engineer 문제 69
데이터 파이프라인은 구조화된 스트리밍을 사용하여 카프카에서 델타 레이크로 데이터를 수집합니다. 데이터는 브론즈 테이블에 저장되며, 카프카에서 생성된 타임스탬프, 키, 값을 포함합니다. 파이프라인이 배포된 지 3개월 후, 데이터 엔지니어링 팀은 특정 시간대에 지연 시간이 발생하는 것을 발견했습니다.
선임 데이터 엔지니어는 델타 테이블의 스키마와 수집 로직을 업데이트하여 Apache Spark에서 기록된 현재 타임스탬프와 Kafka 토픽 및 파티션을 포함합니다. 팀은 추가 메타데이터 필드를 사용하여 일시적인 처리 지연을 진단할 계획입니다.
이 문제를 진단하는 동안 팀은 어떤 한계에 직면하게 될까요?
선임 데이터 엔지니어는 델타 테이블의 스키마와 수집 로직을 업데이트하여 Apache Spark에서 기록된 현재 타임스탬프와 Kafka 토픽 및 파티션을 포함합니다. 팀은 추가 메타데이터 필드를 사용하여 일시적인 처리 지연을 진단할 계획입니다.
이 문제를 진단하는 동안 팀은 어떤 한계에 직면하게 될까요?
Databricks-Certified-Professional-Data-Engineer 문제 70
전자상거래 플랫폼의 구조화된 데이터와 웹사이트 트래픽 및 앱 스토어의 비구조화된 데이터를 저장하는 분석 시스템을 설계하고 있는데, 이 데이터를 저장하는 위치에 어떤 접근 방식을 취하시겠습니까?
