설명

상자 1: SqlSink 테이블
센서 데이터는 SensorData Box 2: Cosmos 대량 로드 Azure Data Factory의 복사 활동을 사용하여 Azure Cosmos DB(SQL API)에서 데이터를 복사하거나 복사할 수 있는 컬렉션의 treydata라는 Cosmos DB에 저장해야 합니다.
시나리오: 센서 데이터 컬렉션의 데이터는 Azure Data Factory를 사용하여 일주일에 한 번 계획 지원 데이터베이스에 자동으로 로드됩니다. 데이터 로드 프로세스를 수동으로 트리거할 수 있어야 합니다.
계획 지원에 사용되는 데이터는 분할된 Azure SQL Database에 저장해야 합니다.
참조:
https://docs.microsoft.com/en-us/azure/data-factory/connector-azure-cosmos-db
주제 2, 사례 연구 1회사는 다음 사업을 식별합니다.
요구 사항:
* 외부 공급업체는 기계 학습 기술을 사용하여 데이터에 대한 맞춤형 분석을 수행할 수 있어야 합니다.
* 원격 측정, 볼륨 및 처리 대기 시간과 같은 메트릭을 표시하는 작업 상태 페이지에 대시보드를 표시해야 합니다.
* 교통 데이터는 고속도로 시스템의 변경을 모델링할 목적으로 정부 기획부에 제공되어야 합니다. 교통 데이터는 스포츠 이벤트, 기상 조건 및 인구 통계와 같은 이벤트에 대한 정보와 같은 다른 데이터와 함께 사용됩니다. 모델링 중에 사용되는 외부 데이터는 온-프레미스 SQL Server 2016 데이터베이스에 저장되고 CSV 파일은 Azure Data Lake Storage Gen2 스토리지 계정에 저장됩니다.
* 지난 30분 동안 제한 속도를 초과한 것으로 감지된 차량에 대한 정보는 법 집행관에게 제공되어야 합니다. 여러 법 집행 기관이 과속 차량에 대응할 수 있습니다.
* 솔루션은 법 집행 조사를 지원하기 위해 번호판으로 차량 이미지 검색을 허용해야 합니다. 검색은 쿼리 언어를 사용하여 수행할 수 있어야 하며 번호판 감지 오류를 보완하기 위해 퍼지 검색을 지원해야 합니다.
원격 측정 캡처
원격 측정 캡처 시스템은 차량이 센서 앞을 지나갈 때마다 기록합니다. 센서는 맞춤형 임베디드 운영 체제에서 실행되며 다음 원격 측정 데이터를 기록합니다.
* 시간
* 위도와 경도의 위치
* 속도(km/h)
* 차량 길이(미터)
시각적 모니터링
시각 모니터링 시스템은 2초마다 차량 교통의 이미지를 캡처하는 고속도로 근처에 배치된 약 1,000개의 카메라 네트워크입니다. 카메라는 고해상도 이미지를 기록합니다. 각 이미지의 크기는 약 3MB입니다.
이것은 사례 연구입니다. 사례 연구는 별도로 시간이 지정되지 않습니다. 각 사례를 완료하고 싶은 만큼 시험 시간을 사용할 수 있습니다. 그러나 이 시험에 추가 사례 연구 및 섹션이 있을 수 있습니다. 주어진 시간 내에 이 시험에 포함된 모든 문제를 완료할 수 있도록 시간을 관리해야 합니다.
사례 연구에 포함된 질문에 답하려면 사례 연구에 제공된 정보를 참조해야 합니다. 사례 연구에는 사례 연구에 설명된 시나리오에 대한 추가 정보를 제공하는 전시 및 기타 리소스가 포함될 수 있습니다. 각 질문은 이 사례 연구의 다른 질문과 독립적입니다.
이 사례 연구가 끝나면 검토 화면이 나타납니다. 이 화면에서 답을 검토하고 시험의 다음 섹션으로 이동하기 전에 변경할 수 있습니다. 새 섹션을 시작한 후에는 이 섹션으로 돌아갈 수 없습니다.
사례 연구를 시작하려면
이 사례 연구의 첫 번째 질문을 표시하려면 다음 버튼을 클릭하십시오. 질문에 답하기 전에 왼쪽 창에 있는 버튼을 사용하여 사례 연구의 내용을 탐색하십시오. 이 버튼을 클릭하면 비즈니스 요구 사항, 기존 환경 및 문제 설명과 같은 정보가 표시됩니다. 사례 연구에 모든 정보 탭이 있는 경우 표시되는 정보는 후속 탭에 표시되는 정보와 동일합니다. 질문에 답할 준비가 되면 버튼을 클릭하여 질문으로 돌아갑니다.
개요
뉴욕, 맨체스터, 싱가포르 및 멜버른에 사무실이 있는 글로벌 미디어 회사인 Graphics Design Institute의 데이터 엔지니어링 솔루션을 개발합니다.
뉴욕 사무실은 엄청난 양의 고객 데이터를 저장하는 SQL Server 데이터베이스를 호스팅합니다. 이 회사는 또한 뉴욕 사무실에 있는 물리적 서버에 수백만 개의 이미지를 저장합니다. 매일 2TB 이상의 이미지 데이터가 추가됩니다. 이미지는 고객 장치에서 뉴욕의 서버로 전송됩니다.
이 서버에 많은 이미지가 정리되지 않은 방식으로 배치되어 편집자가 이미지를 검색하기 어렵습니다. 이미지에는 자동으로 개체 및 색상 태그가 생성되어야 합니다. 태그는 문서 데이터베이스에 저장되어야 하며 SQL에서 쿼리해야 합니다. 귀하는 고객 데이터를 저장, 변환 및 시각화할 수 있는 솔루션을 설계하도록 고용되었습니다.
요구 사항
사업
회사는 다음과 같은 비즈니스 요구 사항을 식별합니다.
* 모든 이미지와 고객 데이터를 클라우드 스토리지로 옮기고 온프레미스 서버를 제거해야 합니다.
* 고객 데이터 변환을 위한 분석 처리 솔루션을 개발해야 합니다.
* 이미지 개체 및 컬러 태깅 솔루션을 개발해야 합니다.
* 자본 지출을 최소화해야 합니다.
* 클라우드 리소스 비용을 최소화해야 합니다.
전문인
솔루션에는 다음과 같은 기술 요구 사항이 있습니다.
* 태깅 데이터는 뉴욕 사무실 위치에서 클라우드로 업로드해야 합니다.
* 태깅 데이터는 회사 사무실 위치와 지리적으로 가까운 지역에 복제해야 합니다.
* 이미지 데이터는 최소 비용으로 단일 데이터 저장소에 저장해야 합니다.
* 고객 데이터는 관리형 Spark 클러스터를 사용하여 분석해야 합니다.
* 변환된 고객 데이터를 시각화하려면 Power BI를 사용해야 합니다.
* 재해 복구가 필요한 경우를 대비하여 모든 데이터를 백업해야 합니다.
보안 및 최적화
모든 클라우드 데이터는 저장 및 전송 중에 암호화되어야 합니다. 솔루션은 다음을 지원해야 합니다.
* 고객 데이터의 병렬 처리
* 하이퍼스케일 이미지 저장
* 처리된 이미지 데이터의 글로벌 지역 데이터 복제

설명

시나리오: 데이터를 분석 데이터 저장소에 로드하기 전에 Azure Data Lake Storage Gen2에서 인벤토리 데이터를 준비합니다. Litware는 데이터가 더 이상 사용되지 않으면 Data Lake Storage에서 일시적인 데이터를 제거하려고 합니다.
수정 날짜가 14일보다 오래된 파일은 제거해야 합니다.
서비스: Azure Data Factory
ADF(Azure Data Factory)의 기본 제공 삭제 활동으로 파일을 정리합니다.
코드를 작성하지 않고 원하지 않는 파일을 삭제하는 ETL 워크플로의 일부가 될 수 있는 ADF 내장 삭제 활동. ADF를 사용하여 Azure Blob Storage, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, 파일 시스템, FTP 서버, sFTP 서버 및 Amazon S3에서 폴더 또는 파일을 삭제할 수 있습니다.
한 폴더에 있는 모든 파일을 삭제하지 않고 만료된 파일만 삭제할 수 있습니다. 예를 들어, 마지막으로 수정한 지 13일이 지난 파일만 삭제할 수 있습니다.
기능: 활동 삭제
참조:
https://azure.microsoft.com/sv-se/blog/clean-up-files-by-built-in-delete-activity-in-azure-data-factory/

참조:
https://azure.microsoft.com/en-us/blog/incrementally-copy-new-files-by-lastmodifieddate-with-azure-data-factory/
https://docs.microsoft.com/en-us/azure/data-factory/how-to-create-tumble-window-trigger

설명:
Box1: API 앱

* IoT 데이터 원본에서 생성된 이벤트는 Azure HDInsight Kafka를 통해 스트림 수집 계층에 메시지 스트림으로 전송됩니다. HDInsight Kafka는 구성 가능한 시간 동안 주제에 데이터 스트림을 저장합니다.
* Kafka 소비자인 Azure Databricks는 Kafka 주제에서 실시간으로 메시지를 선택하여 비즈니스 논리를 기반으로 데이터를 처리한 다음 저장을 위해 Serving 계층으로 보낼 수 있습니다.
* Azure Cosmos DB, Azure SQL Data Warehouse 또는 Azure SQL DB와 같은 다운스트림 스토리지 서비스는 프레젠테이션 및 작업 계층에 대한 데이터 원본이 됩니다.
* 비즈니스 분석가는 Microsoft Power BI를 사용하여 웨어하우스 데이터를 분석할 수 있습니다. 다른 응용 프로그램도 서비스 계층에 구축할 수 있습니다. 예를 들어, 제3자 사용을 위해 서비스 계층 데이터를 기반으로 API를 노출할 수 있습니다.
상자 2: 코스모스 DB 변경 피드
Azure Cosmos DB의 변경 피드 지원은 변경 사항에 대해 Azure Cosmos DB 컨테이너를 수신 대기하여 작동합니다. 그런 다음 수정된 순서대로 변경된 문서의 정렬된 목록을 출력합니다.
Azure Cosmos DB의 변경 피드를 사용하면 다음 이미지와 같이 이러한 각 패턴에 대해 효율적이고 확장 가능한 솔루션을 빌드할 수 있습니다.

참조:
https://docs.microsoft.com/bs-cyrl-ba/azure/architecture/example-scenario/data/realtime-analytics-vehicle-iot?view=azurermps-4.4.1