Professional-Data-Engineer 문제 31
귀사의 BigQuery 고객 주문 테이블에는 1천만 명의 고객 주문 내역이 저장되어 있으며, 테이블 크기는 10PB입니다. 지원팀에서 주문 내역을 확인할 수 있는 대시보드를 구축해야 합니다. 대시보드에는 국가명과 사용자 이름이라는 두 가지 필터가 있으며, 두 필터 모두 BigQuery 테이블에서 문자열 데이터 유형입니다. 필터를 적용하면 대시보드는 테이블에서 주문 내역을 가져와 쿼리 결과를 표시합니다. 그러나 다음 쿼리에 필터를 적용할 때 대시보드의 결과 표시 속도가 느립니다.
더 빠른 액세스를 지원하도록 BigQuery 테이블을 어떻게 재설계해야 할까요?
더 빠른 액세스를 지원하도록 BigQuery 테이블을 어떻게 재설계해야 할까요?
Professional-Data-Engineer 문제 32
사례 연구 1 - 플로우로지스틱
회사 개요
Flowlogistic은 선도적인 물류 및 공급망 제공업체입니다. 전 세계 기업들이 자원을 관리하고 최종 목적지까지 운송할 수 있도록 지원합니다. 이 회사는 빠르게 성장하여 철도, 트럭, 항공 및 해상 운송을 포함한 다양한 서비스로 확장해 왔습니다.
회사 개요
이 회사는 지역 트럭 운송 회사로 시작하여 다른 물류 시장으로 확장했습니다.
인프라를 업데이트하지 않아 주문 및 배송 관리와 추적에 병목 현상이 발생하고 있습니다. 운영 효율성을 개선하기 위해 Flowlogistic은 소포 단위로 실시간 배송을 추적하는 자체 기술을 개발했습니다. 그러나 Apache Kafka 기반의 기술 스택이 처리량을 감당할 수 없어 해당 기술을 배포하지 못하고 있습니다. 또한 Flowlogistic은 주문 및 배송 데이터를 추가적으로 분석하여 자원을 최적으로 배분하는 방안을 모색하고자 합니다.
솔루션 컨셉
Flowlogistic은 클라우드를 사용하여 두 가지 개념을 구현하고자 합니다.
* 자사 고유 기술을 활용하여 실시간 재고 추적 시스템을 구축하고 화물의 위치를 파악합니다.
* 모든 주문 및 배송 기록(정형 및 비정형 데이터 포함)에 대한 분석을 수행하여 리소스를 가장 효율적으로 배분하는 방법과 정보 확장 대상 시장을 결정합니다. 또한 예측 분석을 활용하여 배송 지연 가능성을 미리 파악하고자 합니다.
기존 기술 환경
Flowlogistic 아키텍처는 단일 데이터 센터에 있습니다.
* 데이터베이스
2개의 클러스터에 8개의 물리적 서버
- SQL Server - 사용자 데이터, 인벤토리, 정적 데이터
물리적 서버 3대
- 카산드라 - 메타데이터, 메시지 추적
Kafka 서버 10대 - 메시지 집계 및 배치 삽입 추적
* 애플리케이션 서버 - 고객 프런트엔드, 주문/통관용 미들웨어
20개의 물리적 서버에 걸쳐 60개의 가상 머신이 있습니다.
- 톰캣 - 자바 서비스
- Nginx - 정적 콘텐츠
- 배치 서버
* 저장 가전제품
- 가상 머신(VM) 호스트용 iSCSI
- 파이버 채널 스토리지 영역 네트워크(FC SAN) - SQL 서버 스토리지
- 네트워크 연결 스토리지(NAS) 이미지 저장, 로그, 백업
* 아파치 하둡/스파크 서버 10대
- 코어 데이터 레이크
- 데이터 분석 작업 부하
* 기타 서버 20대
- 젠킨스, 모니터링, 배스천 호스트
비즈니스 요구사항
* 확장 가능한 프로덕션 환경을 구축하여 안정적이고 재현 가능한 환경을 조성하십시오.
* 분석을 위해 중앙 집중식 데이터 레이크에 데이터를 집계합니다.
* 과거 데이터를 활용하여 향후 출하량에 대한 예측 분석을 수행합니다.
* 독자적인 기술을 사용하여 전 세계 모든 배송을 정확하게 추적합니다.
* 새로운 자원을 신속하게 제공하여 비즈니스 민첩성과 혁신 속도를 향상시키십시오.
* 클라우드 환경에서 성능을 극대화하기 위한 아키텍처를 분석하고 최적화합니다.
* 다른 모든 요구 사항이 충족되면 클라우드로 완전히 마이그레이션하십시오.
기술 요구사항
* 스트리밍 데이터와 배치 데이터를 모두 처리할 수 있습니다.
* 기존 하둡 워크로드를 마이그레이션합니다
* 회사의 변화하는 요구 사항을 충족할 수 있도록 아키텍처가 확장 가능하고 유연한지 확인하십시오.
* 가능한 한 관리형 서비스를 사용하십시오.
* 데이터 전송 및 저장 시 암호화
* 운영 데이터 센터와 클라우드 환경 간에 VPN을 연결하세요. SEO 설명: 우리는 너무 빠르게 성장해서 인프라를 업그레이드할 수 없는 상황이 향후 성장과 효율성을 심각하게 저해하고 있습니다. 우리는 전 세계로 화물을 운송하는 데는 효율적이지만, 데이터를 이동시키는 데는 비효율적입니다.
고객이 어디에 있는지, 무엇을 배송하는지 더 쉽게 파악할 수 있도록 정보를 체계적으로 정리해야 합니다.
CTO 성명서
저희 회사는 IT를 우선순위에 둔 적이 없어서 데이터가 늘어나는 동안 기술 투자를 충분히 하지 못했습니다. IT 관리팀은 훌륭하지만, 인프라 관리에만 급급해서 정작 중요한 업무, 예를 들어 데이터 정리, 분석 시스템 구축, CFO의 추적 기술 도입 등에 집중할 시간이 없습니다.
최고재무책임자(CFO) 성명서
저희 경쟁력의 일부는 배송 지연에 대해 스스로 불이익을 주는 데 있습니다. 배송 상황을 항상 파악하는 것은 수익성과 직결되는 중요한 요소입니다. 또한, 서버 환경 구축에 자본을 투자하고 싶지 않습니다.
Flowlogistic 경영진은 현재 Apache Kafka 서버가 자사의 실시간 재고 추적 시스템에 필요한 데이터 양을 처리할 수 없다고 판단했습니다. 따라서 자체 개발한 추적 소프트웨어에 데이터를 공급할 새로운 시스템을 Google Cloud Platform(GCP)에 구축해야 합니다. 이 시스템은 다양한 글로벌 소스에서 데이터를 수집하고, 실시간으로 처리 및 조회하며, 데이터를 안정적으로 저장할 수 있어야 합니다. 어떤 GCP 제품 조합을 선택해야 할까요?
회사 개요
Flowlogistic은 선도적인 물류 및 공급망 제공업체입니다. 전 세계 기업들이 자원을 관리하고 최종 목적지까지 운송할 수 있도록 지원합니다. 이 회사는 빠르게 성장하여 철도, 트럭, 항공 및 해상 운송을 포함한 다양한 서비스로 확장해 왔습니다.
회사 개요
이 회사는 지역 트럭 운송 회사로 시작하여 다른 물류 시장으로 확장했습니다.
인프라를 업데이트하지 않아 주문 및 배송 관리와 추적에 병목 현상이 발생하고 있습니다. 운영 효율성을 개선하기 위해 Flowlogistic은 소포 단위로 실시간 배송을 추적하는 자체 기술을 개발했습니다. 그러나 Apache Kafka 기반의 기술 스택이 처리량을 감당할 수 없어 해당 기술을 배포하지 못하고 있습니다. 또한 Flowlogistic은 주문 및 배송 데이터를 추가적으로 분석하여 자원을 최적으로 배분하는 방안을 모색하고자 합니다.
솔루션 컨셉
Flowlogistic은 클라우드를 사용하여 두 가지 개념을 구현하고자 합니다.
* 자사 고유 기술을 활용하여 실시간 재고 추적 시스템을 구축하고 화물의 위치를 파악합니다.
* 모든 주문 및 배송 기록(정형 및 비정형 데이터 포함)에 대한 분석을 수행하여 리소스를 가장 효율적으로 배분하는 방법과 정보 확장 대상 시장을 결정합니다. 또한 예측 분석을 활용하여 배송 지연 가능성을 미리 파악하고자 합니다.
기존 기술 환경
Flowlogistic 아키텍처는 단일 데이터 센터에 있습니다.
* 데이터베이스
2개의 클러스터에 8개의 물리적 서버
- SQL Server - 사용자 데이터, 인벤토리, 정적 데이터
물리적 서버 3대
- 카산드라 - 메타데이터, 메시지 추적
Kafka 서버 10대 - 메시지 집계 및 배치 삽입 추적
* 애플리케이션 서버 - 고객 프런트엔드, 주문/통관용 미들웨어
20개의 물리적 서버에 걸쳐 60개의 가상 머신이 있습니다.
- 톰캣 - 자바 서비스
- Nginx - 정적 콘텐츠
- 배치 서버
* 저장 가전제품
- 가상 머신(VM) 호스트용 iSCSI
- 파이버 채널 스토리지 영역 네트워크(FC SAN) - SQL 서버 스토리지
- 네트워크 연결 스토리지(NAS) 이미지 저장, 로그, 백업
* 아파치 하둡/스파크 서버 10대
- 코어 데이터 레이크
- 데이터 분석 작업 부하
* 기타 서버 20대
- 젠킨스, 모니터링, 배스천 호스트
비즈니스 요구사항
* 확장 가능한 프로덕션 환경을 구축하여 안정적이고 재현 가능한 환경을 조성하십시오.
* 분석을 위해 중앙 집중식 데이터 레이크에 데이터를 집계합니다.
* 과거 데이터를 활용하여 향후 출하량에 대한 예측 분석을 수행합니다.
* 독자적인 기술을 사용하여 전 세계 모든 배송을 정확하게 추적합니다.
* 새로운 자원을 신속하게 제공하여 비즈니스 민첩성과 혁신 속도를 향상시키십시오.
* 클라우드 환경에서 성능을 극대화하기 위한 아키텍처를 분석하고 최적화합니다.
* 다른 모든 요구 사항이 충족되면 클라우드로 완전히 마이그레이션하십시오.
기술 요구사항
* 스트리밍 데이터와 배치 데이터를 모두 처리할 수 있습니다.
* 기존 하둡 워크로드를 마이그레이션합니다
* 회사의 변화하는 요구 사항을 충족할 수 있도록 아키텍처가 확장 가능하고 유연한지 확인하십시오.
* 가능한 한 관리형 서비스를 사용하십시오.
* 데이터 전송 및 저장 시 암호화
* 운영 데이터 센터와 클라우드 환경 간에 VPN을 연결하세요. SEO 설명: 우리는 너무 빠르게 성장해서 인프라를 업그레이드할 수 없는 상황이 향후 성장과 효율성을 심각하게 저해하고 있습니다. 우리는 전 세계로 화물을 운송하는 데는 효율적이지만, 데이터를 이동시키는 데는 비효율적입니다.
고객이 어디에 있는지, 무엇을 배송하는지 더 쉽게 파악할 수 있도록 정보를 체계적으로 정리해야 합니다.
CTO 성명서
저희 회사는 IT를 우선순위에 둔 적이 없어서 데이터가 늘어나는 동안 기술 투자를 충분히 하지 못했습니다. IT 관리팀은 훌륭하지만, 인프라 관리에만 급급해서 정작 중요한 업무, 예를 들어 데이터 정리, 분석 시스템 구축, CFO의 추적 기술 도입 등에 집중할 시간이 없습니다.
최고재무책임자(CFO) 성명서
저희 경쟁력의 일부는 배송 지연에 대해 스스로 불이익을 주는 데 있습니다. 배송 상황을 항상 파악하는 것은 수익성과 직결되는 중요한 요소입니다. 또한, 서버 환경 구축에 자본을 투자하고 싶지 않습니다.
Flowlogistic 경영진은 현재 Apache Kafka 서버가 자사의 실시간 재고 추적 시스템에 필요한 데이터 양을 처리할 수 없다고 판단했습니다. 따라서 자체 개발한 추적 소프트웨어에 데이터를 공급할 새로운 시스템을 Google Cloud Platform(GCP)에 구축해야 합니다. 이 시스템은 다양한 글로벌 소스에서 데이터를 수집하고, 실시간으로 처리 및 조회하며, 데이터를 안정적으로 저장할 수 있어야 합니다. 어떤 GCP 제품 조합을 선택해야 할까요?
Professional-Data-Engineer 문제 33
Which role must be assigned to a service account used by the virtual machines in a Dataproc cluster so they can execute jobs?
Professional-Data-Engineer 문제 34
Google Cloud에 데이터 파이프라인을 배포하는 과정에서 20TB의 텍스트 파일 저장 공간을 설계하고 있습니다. 입력 데이터는 CSV 형식입니다. 여러 사용자가 여러 엔진을 사용하여 Cloud Storage의 데이터를 조회할 때 집계 값 조회 비용을 최소화하고자 합니다. 어떤 스토리지 서비스와 스키마 설계를 사용하는 것이 가장 적절할까요?
Professional-Data-Engineer 문제 35
조직 내 여러 팀에서 사용하는 뷰가 포함된 공유 BigQuery 데이터 세트를 관리하고 있습니다. 마케팅 팀은 온디맨드 청구 모델을 사용하는 경우 월별 BigQuery 분석 비용의 변동성을 우려하고 있습니다. 마케팅 팀이 매달 일관된 BigQuery 분석 비용을 책정할 수 있도록 지원해야 합니다. 어떻게 해야 할까요?