Professional-Data-Engineer 문제 41

데이터 파이프라인에 보안 모범 사례를 구현하고 있습니다. 현재는 프로젝트 소유자로서 수동으로 작업을 실행하고 있습니다. 이제 Google Cloud Storage에서 비공개 정보가 포함된 야간 배치 파일을 가져와 Google Cloud Dataproc 클러스터에서 Spark Scala 작업으로 처리하고 결과를 Google BigQuery에 저장하는 방식으로 이러한 작업을 자동화하려고 합니다.
이 워크로드를 안전하게 실행하려면 어떻게 해야 할까요?

Professional-Data-Engineer 문제 42

Pub/Sub 피드 구독자를 위한 코드를 업데이트하고 있습니다. 배포 후 구독자가 메시지를 잘못 수신 확인하여 메시지 손실이 발생할 수 있다는 점이 우려됩니다.
구독자가 확인 메시지를 보관하도록 설정되어 있지 않습니다. 배포 후 오류 발생 시 복구할 수 있도록 하려면 어떻게 해야 합니까?

Professional-Data-Engineer 문제 43

You have a job that you want to cancel. It is a streaming pipeline, and you want to ensure that any data that is in-flight is processed and written to the output. Which of the following commands can you use on the Dataflow monitoring console to stop the pipeline job?

Professional-Data-Engineer 문제 44

Apache Kafka를 기반으로 구축된 IoT 파이프라인을 운영하고 있으며, 이 파이프라인은 일반적으로 초당 약 5,000개의 메시지를 수신합니다. Google Cloud Platform을 사용하여 1시간 이동 평균 메시지 수가 초당 4,000개 미만으로 떨어지면 알림을 생성하려고 합니다. 어떻게 해야 할까요?

Professional-Data-Engineer 문제 45

BigQuery 테이블에서 특정 파티션을 어떻게 쿼리할 수 있을까요?