Professional-Data-Engineer 문제 46
BigQuery에서 테이블을 비정규화하는 데 사용할 수 있는 두 가지 방법은 무엇인가요?
Professional-Data-Engineer 문제 47
사례 연구: 2 - MJTelco
회사 개요
MJTelco는 빠르게 성장하고 있지만 서비스가 부족한 전 세계 시장에서 네트워크를 구축하려는 스타트업입니다. 이 회사는 혁신적인 광통신 하드웨어에 대한 특허를 보유하고 있습니다. 이러한 특허를 바탕으로 저렴한 하드웨어로 안정적인 고속 백본 링크를 많이 만들 수 있습니다.
회사 배경
숙련된 통신 경영진이 설립한 MJTelco는 원래 우주에서의 통신 문제를 극복하기 위해 개발된 기술을 사용합니다. 운영의 기본으로서 실시간 분석을 촉진하고 기계 학습을 통합하여 토폴로지를 지속적으로 최적화하는 분산 데이터 인프라를 구축해야 합니다. 하드웨어가 저렴하기 때문에 동적 지역 정치가 위치 가용성 및 비용에 미치는 영향을 설명할 수 있도록 네트워크를 과도하게 배포할 계획입니다. 관리 및 운영 팀은 전 세계에 위치하여 데이터 소비자와 시스템 제공 간의 다대다 관계를 형성합니다. 그들은 신중한 고려 끝에 퍼블릭 클라우드가 그들의 요구 사항을 지원하기에 완벽한 환경이라고 결정했습니다.
솔루션 컨셉
MJTelco는 자사 연구실에서 성공적인 개념 증명(PoC) 프로젝트를 진행하고 있습니다. 두 가지 주요 요구 사항이 있습니다.
PoC를 확장하고 강화하여 설치 수가 50,000개 이상으로 증가할 때 생성되는 훨씬 더 많은 데이터 흐름을 지원합니다.
기계 학습 주기를 개선하여 토폴로지 정의를 제어하는 데 사용하는 동적 모델을 검증하고 개선합니다.
MJTelco는 또한 개발/테스트, 스테이징, 프로덕션이라는 세 가지 별도의 운영 환경을 사용할 예정입니다.
실험 실행, 새로운 기능 배포, 프로덕션 고객 서비스 요구 사항을 충족합니다.
비즈니스 요구 사항
예측할 수 없는 분산 통신 사용자 커뮤니티에서 필요할 때 언제 어디서나 리소스를 인스턴스화하여 최소한의 비용으로 프로덕션 환경을 확장합니다. 최첨단 기계 학습 및 분석을 보호하기 위해 독점 데이터의 보안을 보장합니다.
분산된 연구 인력의 분석을 위해 데이터에 대한 안정적이고 시기적절한 액세스를 제공합니다. 고객에게 영향을 주지 않고 기계 학습 모델의 신속한 반복을 지원하는 격리된 환경을 유지합니다.
기술 요구 사항
원격 측정 데이터의 안전하고 효율적인 전송 및 저장을 보장합니다. 인스턴스를 신속하게 확장하여 각각 여러 흐름을 통해 10,000~100,000명의 데이터 공급자를 지원합니다.
최대 2년 동안 저장한 대략적인 데이터를 추적하는 데이터 테이블에 대한 분석 및 프레젠테이션이 가능합니다.
1억 개의 기록/일
원격 측정 흐름과 프로덕션 학습 주기 모두에서 데이터 파이프라인 문제를 인식하는 데 초점을 맞춘 모니터링 인프라의 신속한 반복을 지원합니다.
CEO 성명서
우리의 비즈니스 모델은 특허, 분석 및 동적 기계 학습에 의존합니다. 우리의 저렴한 하드웨어는 신뢰성이 높도록 구성되어 있어 비용상의 이점을 제공합니다. 우리는 안정성과 용량 약속을 충족하기 위해 대규모 분산 데이터 파이프라인을 신속하게 안정화해야 합니다.
CTO 성명서
우리의 퍼블릭 클라우드 서비스는 광고된 대로 운영되어야 합니다. 우리에게는 데이터를 확장하고 안전하게 유지하는 리소스가 필요합니다. 또한 데이터 과학자가 신중하게 모델을 연구하고 신속하게 조정할 수 있는 환경도 필요합니다. 우리는 데이터 처리를 자동화에 의존하기 때문에 반복 작업을 수행하려면 개발 및 테스트 환경도 필요합니다.
CFO 성명서
데이터와 분석에 필요한 하드웨어와 소프트웨어를 유지 관리하기에는 프로젝트 규모가 너무 큽니다.
또한 우리는 너무 많은 데이터 피드를 모니터링하기 위해 운영팀을 인력을 확보할 여력이 없으므로 자동화와 인프라에 의존할 것입니다. Google Cloud의 머신러닝을 사용하면 정량적 연구원이 데이터 파이프라인 문제 대신 중요한 문제를 해결할 수 있습니다.
다음 요구 사항을 충족하는 운영 팀을 위한 시각화를 구성해야 합니다.
원격 측정에는 최근 6주 동안의 모든 50,000개 설치 데이터가 포함되어야 합니다(1분마다 샘플링). 보고서는 실시간 데이터에서 3시간 이상 지연되어서는 안 됩니다. 실행 가능한 보고서에는 최적이 아닌 링크만 표시되어야 합니다.
대부분의 최적이 아닌 링크는 맨 위에 정렬되어야 합니다.
최적이 아닌 링크는 지역 지리에 따라 그룹화되고 필터링될 수 있습니다. 보고서를 로드하기 위한 사용자 응답 시간은 5초 미만이어야 합니다. 지난 6주간의 데이터를 저장하기 위한 데이터 원본을 만들고, 뷰어가 여러 날짜 범위, 고유한 지리적 지역 및 고유한 설치 유형을 볼 수 있는 시각화를 만듭니다.
시각화를 변경하지 않고도 항상 최신 데이터를 표시합니다. 매달 새로운 시각화를 생성하고 업데이트하지 않으려고 합니다. 당신은 무엇을 해야 합니까?
회사 개요
MJTelco는 빠르게 성장하고 있지만 서비스가 부족한 전 세계 시장에서 네트워크를 구축하려는 스타트업입니다. 이 회사는 혁신적인 광통신 하드웨어에 대한 특허를 보유하고 있습니다. 이러한 특허를 바탕으로 저렴한 하드웨어로 안정적인 고속 백본 링크를 많이 만들 수 있습니다.
회사 배경
숙련된 통신 경영진이 설립한 MJTelco는 원래 우주에서의 통신 문제를 극복하기 위해 개발된 기술을 사용합니다. 운영의 기본으로서 실시간 분석을 촉진하고 기계 학습을 통합하여 토폴로지를 지속적으로 최적화하는 분산 데이터 인프라를 구축해야 합니다. 하드웨어가 저렴하기 때문에 동적 지역 정치가 위치 가용성 및 비용에 미치는 영향을 설명할 수 있도록 네트워크를 과도하게 배포할 계획입니다. 관리 및 운영 팀은 전 세계에 위치하여 데이터 소비자와 시스템 제공 간의 다대다 관계를 형성합니다. 그들은 신중한 고려 끝에 퍼블릭 클라우드가 그들의 요구 사항을 지원하기에 완벽한 환경이라고 결정했습니다.
솔루션 컨셉
MJTelco는 자사 연구실에서 성공적인 개념 증명(PoC) 프로젝트를 진행하고 있습니다. 두 가지 주요 요구 사항이 있습니다.
PoC를 확장하고 강화하여 설치 수가 50,000개 이상으로 증가할 때 생성되는 훨씬 더 많은 데이터 흐름을 지원합니다.
기계 학습 주기를 개선하여 토폴로지 정의를 제어하는 데 사용하는 동적 모델을 검증하고 개선합니다.
MJTelco는 또한 개발/테스트, 스테이징, 프로덕션이라는 세 가지 별도의 운영 환경을 사용할 예정입니다.
실험 실행, 새로운 기능 배포, 프로덕션 고객 서비스 요구 사항을 충족합니다.
비즈니스 요구 사항
예측할 수 없는 분산 통신 사용자 커뮤니티에서 필요할 때 언제 어디서나 리소스를 인스턴스화하여 최소한의 비용으로 프로덕션 환경을 확장합니다. 최첨단 기계 학습 및 분석을 보호하기 위해 독점 데이터의 보안을 보장합니다.
분산된 연구 인력의 분석을 위해 데이터에 대한 안정적이고 시기적절한 액세스를 제공합니다. 고객에게 영향을 주지 않고 기계 학습 모델의 신속한 반복을 지원하는 격리된 환경을 유지합니다.
기술 요구 사항
원격 측정 데이터의 안전하고 효율적인 전송 및 저장을 보장합니다. 인스턴스를 신속하게 확장하여 각각 여러 흐름을 통해 10,000~100,000명의 데이터 공급자를 지원합니다.
최대 2년 동안 저장한 대략적인 데이터를 추적하는 데이터 테이블에 대한 분석 및 프레젠테이션이 가능합니다.
1억 개의 기록/일
원격 측정 흐름과 프로덕션 학습 주기 모두에서 데이터 파이프라인 문제를 인식하는 데 초점을 맞춘 모니터링 인프라의 신속한 반복을 지원합니다.
CEO 성명서
우리의 비즈니스 모델은 특허, 분석 및 동적 기계 학습에 의존합니다. 우리의 저렴한 하드웨어는 신뢰성이 높도록 구성되어 있어 비용상의 이점을 제공합니다. 우리는 안정성과 용량 약속을 충족하기 위해 대규모 분산 데이터 파이프라인을 신속하게 안정화해야 합니다.
CTO 성명서
우리의 퍼블릭 클라우드 서비스는 광고된 대로 운영되어야 합니다. 우리에게는 데이터를 확장하고 안전하게 유지하는 리소스가 필요합니다. 또한 데이터 과학자가 신중하게 모델을 연구하고 신속하게 조정할 수 있는 환경도 필요합니다. 우리는 데이터 처리를 자동화에 의존하기 때문에 반복 작업을 수행하려면 개발 및 테스트 환경도 필요합니다.
CFO 성명서
데이터와 분석에 필요한 하드웨어와 소프트웨어를 유지 관리하기에는 프로젝트 규모가 너무 큽니다.
또한 우리는 너무 많은 데이터 피드를 모니터링하기 위해 운영팀을 인력을 확보할 여력이 없으므로 자동화와 인프라에 의존할 것입니다. Google Cloud의 머신러닝을 사용하면 정량적 연구원이 데이터 파이프라인 문제 대신 중요한 문제를 해결할 수 있습니다.
다음 요구 사항을 충족하는 운영 팀을 위한 시각화를 구성해야 합니다.
원격 측정에는 최근 6주 동안의 모든 50,000개 설치 데이터가 포함되어야 합니다(1분마다 샘플링). 보고서는 실시간 데이터에서 3시간 이상 지연되어서는 안 됩니다. 실행 가능한 보고서에는 최적이 아닌 링크만 표시되어야 합니다.
대부분의 최적이 아닌 링크는 맨 위에 정렬되어야 합니다.
최적이 아닌 링크는 지역 지리에 따라 그룹화되고 필터링될 수 있습니다. 보고서를 로드하기 위한 사용자 응답 시간은 5초 미만이어야 합니다. 지난 6주간의 데이터를 저장하기 위한 데이터 원본을 만들고, 뷰어가 여러 날짜 범위, 고유한 지리적 지역 및 고유한 설치 유형을 볼 수 있는 시각화를 만듭니다.
시각화를 변경하지 않고도 항상 최신 데이터를 표시합니다. 매달 새로운 시각화를 생성하고 업데이트하지 않으려고 합니다. 당신은 무엇을 해야 합니까?
Professional-Data-Engineer 문제 48
귀하의 회사는 30노드 Apache Hadoop 클러스터를 클라우드로 마이그레이션하고 있습니다. 그들은 이미 생성한 Hadoop 작업을 재사용하고 클러스터 관리를 최대한 최소화하기를 원합니다.
또한 그들은 클러스터 수명 이후에도 데이터를 유지할 수 있기를 원합니다. 당신은 무엇을 해야 합니까?
또한 그들은 클러스터 수명 이후에도 데이터를 유지할 수 있기를 원합니다. 당신은 무엇을 해야 합니까?
Professional-Data-Engineer 문제 49
Dataflow에 새 일괄 작업을 실행합니다. 작업이 성공적으로 시작되고 몇 가지 요소를 처리한 후 갑자기 실패하고 종료됩니다. 파이프라인의 특정 DoFn과 관련된 오류를 찾을 수 있는 Dataflow 모니터링 인터페이스로 이동합니다. 오류의 가장 가능성 있는 원인은 무엇입니까?
Professional-Data-Engineer 문제 50
Google Cloud에서 추천 엔진을 사용하는 애플리케이션을 개발하고 있습니다. 귀하의 솔루션은 이전 조회수를 기반으로 고객에게 새 비디오를 표시해야 합니다. 솔루션은 고객이 본 비디오의 엔터티에 대한 레이블을 생성해야 합니다. 귀하의 디자인은 수 TB의 데이터에 대한 다른 고객 선호도의 데이터를 기반으로 매우 빠른 필터링 제안을 제공할 수 있어야 합니다.
ㅏ. 당신은 무엇을 해야 합니까?
ㅏ. 당신은 무엇을 해야 합니까?