Professional-Data-Engineer 문제 331
Your globally distributed auction application allows users to bid on items. Occasionally, users place identical bids at nearly identical times, and different application servers process those bids. Each bid event contains the item, amount, user, and timestamp. You want to collate those bid events into a single location in real time to determine which user bid first. What should you do?
Professional-Data-Engineer 문제 332
귀사는 항공사, 호텔, 차량 호출 서비스라는 세 가지 사업 영역에서 운영되고 있습니다. 각 영역에는 분석팀과 데이터 과학팀이 있으며, 이들은 중앙 데이터 플랫폼팀의 지원을 받아 BigQuery에 데이터 자산을 생성합니다. 그러나 각 영역이 빠르게 발전함에 따라 중앙 데이터 플랫폼팀이 병목 현상을 일으키고 있습니다. 이로 인해 데이터에서 인사이트를 도출하는 데 지연이 발생하고, 데이터 파이프라인이 최신 상태로 유지되지 않아 데이터가 오래된 상태로 남게 됩니다. 이러한 병목 현상을 해결하기 위해 Dataplex를 활용한 데이터 메시 아키텍처를 설계해야 합니다. 어떻게 해야 할까요?
Professional-Data-Engineer 문제 333
웹 서버는 클릭 이벤트를 메시지 형태로 Pub/Sub 토픽에 전송합니다. 웹 서버는 메시지에 클릭이 발생한 시간인 이벤트 타임스탬프 속성을 포함합니다. 귀사는 구독을 통해 이 Pub/Sub 토픽에서 데이터를 읽어 변환 작업을 수행한 후, 결과를 광고 부서에서 사용할 수 있도록 다른 Pub/Sub 토픽에 기록하는 Dataflow 스트리밍 작업을 운영하고 있습니다. 광고 부서는 각 메시지를 클릭 발생 후 30초 이내에 수신해야 하지만, 메시지 수신이 지연되고 있다고 보고했습니다. 귀사의 Dataflow 작업 시스템 지연 시간은 약 5초이고, 데이터 최신성은 약 40초입니다. 몇몇 메시지를 검사해 본 결과, 이벤트 타임스탬프와 게시 시간 간의 지연은 1초를 넘지 않는 것으로 나타났습니다. 문제의 원인은 무엇이며, 어떻게 해결해야 할까요?