IoT Edge의 ASA(Azure Stream Analytics)를 통해 개발자는 IoT 장치에 더 가깝게 실시간에 가까운 분석 인텔리전스를 배포하여 장치 생성 데이터의 전체 가치를 활용할 수 있습니다.
Visual Studio 플러그인을 사용하여 ASA Edge 작업을 생성할 수 있습니다.
참조:
https://docs.microsoft.com/en-us/azure/stream-analytics/stream-analytics-edge

설명

상태 검토: Azure SQL 데이터베이스
시나리오: ADatum은 상태 검토 애플리케이션에 대해 다음 요구 사항을 식별합니다.
* 민감한 건강 데이터가 저장 및 전송 중에 암호화되었는지 확인합니다.
* 건강 검토에서 모든 민감한 건강 데이터에 태그를 지정하십시오. 데이터는 감사에 사용됩니다.
상태 인터페이스: Azure Cosmos DB
ADatum은 Health Interface 애플리케이션에 대한 다음 요구 사항을 식별합니다.
* 데이터 쓰기를 위한 유연한 스키마와 증가된 처리량을 제공하는 데이터 스토리지 솔루션으로 업그레이드하십시오. 데이터는 지역적으로 각 병원에서 가까운 위치에 있어야 하며 읽기는 항목의 가장 최근 커밋된 버전으로 표시되어야 합니다.
* 새로운 병원의 데이터를 Health Interface에 추가하는 데 걸리는 시간을 줄입니다.
* Azure에서 보다 확장 가능한 일괄 처리 솔루션을 지원합니다.
* 기존 SQL 쿼리를 다시 작성하기 위한 개발 노력의 양을 줄입니다.
상태 인사이트: Azure SQL 데이터 웨어하우스
Azure SQL Data Warehouse는 MPP(대규모 병렬 처리)를 활용하여 페타바이트 규모의 데이터에서 복잡한 쿼리를 빠르게 실행하는 클라우드 기반 엔터프라이즈 데이터 웨어하우스입니다. SQL Data Warehouse를 빅 데이터 솔루션의 핵심 구성 요소로 사용하십시오.
SQL Data Warehouse 커넥터(SQL DW 커넥터라고 함), Azure Blob Storage를 사용하는 Apache Spark용 데이터 원본 구현, SQL DW의 PolyBase를 사용하여 Databricks에서 Azure SQL Data Warehouse(SQL DW)에 액세스할 수 있습니다. Databricks 클러스터와 SQL DW 인스턴스 간에 효율적으로 데이터 볼륨을 제공합니다.
시나리오: ADatum은 Health Insights 애플리케이션에 대해 다음 요구 사항을 식별합니다.
* 새로운 Health Insights 애플리케이션은 대규모 팩트 테이블에서 고성능 조인을 지원하는 대규모 병렬 처리(MPP) 아키텍처를 기반으로 구축되어야 합니다.
https://docs.databricks.com/data/data-sources/azure/sql-data-warehouse.html
주제 5, Trey Research의 데이터 엔지니어
개요
당신은 Trey Research의 데이터 엔지니어입니다. 이 회사는 북미 전역에 스마트 고속도로 인프라를 구축하기 위해 정부와 공동 프로젝트를 거의 완료하고 있습니다. 여기에는 교통 흐름, 자동차 속도 및 차량 세부 정보를 측정하기 위한 센서와 카메라의 배치가 포함됩니다.
스마트 고속도로의 비즈니스 및 기술 요구 사항을 충족할 클라우드 솔루션을 설계하라는 요청을 받았습니다.
솔루션 구성 요소
원격 측정 캡처
원격 측정 캡처 시스템은 차량이 센서 앞을 지나갈 때마다 기록합니다. 센서는 맞춤형 임베디드 운영 체제에서 실행되며 다음 원격 측정 데이터를 기록합니다.
* 시간
* 위도와 경도의 위치
* 속도(km/h)
* 차량 길이(미터)
시각적 모니터링
시각 모니터링 시스템은 2초마다 차량 교통의 이미지를 캡처하는 고속도로 근처에 배치된 약 1,000개의 카메라 네트워크입니다. 카메라는 고해상도 이미지를 기록합니다. 각 이미지의 크기는 약 3MB입니다.
요구 사항: 비즈니스
회사는 다음과 같은 비즈니스 요구 사항을 식별합니다.
* 외부 공급업체는 기계 학습 기술을 사용하여 데이터에 대한 맞춤형 분석을 수행할 수 있어야 합니다.
* 다음 측정항목을 표시하는 작업 상태 페이지에 대시보드를 표시해야 합니다.
원격 분석, 볼륨 및 처리 대기 시간.
* 교통 데이터는 고속도로 시스템의 변경을 모델링할 목적으로 정부 기획부에 제공되어야 합니다. 교통 데이터는 스포츠 이벤트, 기상 조건 및 인구 통계와 같은 이벤트에 대한 정보와 같은 다른 데이터와 함께 사용됩니다.
모델링 중에 사용되는 외부 데이터는 온-프레미스 SQL Server 2016 데이터베이스에 저장되고 CSV 파일은 Azure Data Lake Storage Gen2 스토리지 계정에 저장됩니다.
* 지난 30일 동안 제한 속도를 초과한 것으로 감지된 차량에 대한 정보
* 의사록은 법 집행관이 사용할 수 있어야 합니다. 여러 법 집행 기관이 과속 차량에 대응할 수 있습니다.
* 솔루션은 법 집행 조사를 지원하기 위해 번호판으로 차량 이미지 검색을 허용해야 합니다. 검색은 쿼리 언어를 사용하여 수행할 수 있어야 하며 번호판 감지 오류를 보완하기 위해 퍼지 검색을 지원해야 합니다.
요구 사항: 보안
솔루션은 다음 보안 요구 사항을 충족해야 합니다.
* 외부 공급업체는 센서 데이터 또는 이미지에 직접 액세스할 수 없습니다.
* 차량 모니터링 솔루션에서 생성된 이미지는 1개월 후에 삭제해야 합니다. 데이터 저장소에서 이미지 삭제와 관련된 비용을 최소화해야 합니다.
* 데이터의 무단 사용은 실시간으로 감지되어야 합니다. 비인가 사용은 비정상적인 사용 패턴을 찾아 판단합니다.
* 솔루션에서 사용하는 Azure 리소스에 대한 모든 변경 사항을 기록하고 저장해야 합니다. 사고 대응을 위해 데이터를 보안 팀에 제공해야 합니다.
요구 사항: 센서 데이터
가장 가까운 Azure 지역에 모든 원격 분석 데이터를 작성해야 합니다. 원격 측정 캡처 시스템에 사용되는 센서는 사용 가능한 메모리 양이 적으므로 원격 측정 데이터 손실을 방지하기 위해 가능한 한 빨리 데이터를 작성해야 합니다.

설명

상자 1: Azure Blob 스토리지
준비 기능을 활성화하면 먼저 원본 데이터 저장소에서 준비 저장소로 데이터가 복사됩니다(자체 Azure Blob 또는 Azure Data Lake Storage Gen2 가져오기).
상자 2: Azure Synapse 분석
복사 활동의 Azure Synapse Analytics 커넥터는 데이터를 병렬로 복사하는 기본 제공 데이터 분할을 제공합니다.
참조:
https://docs.microsoft.com/en-us/azure/data-factory/copy-activity-performance-features
https://docs.microsoft.com/en-us/azure/data-factory/connector-azure-sql-data-warehouse

설명
현재 Azure SQL 데이터베이스 인스턴스 실행 비용은 데이터베이스에 할당된 DTU(데이터베이스 처리량 단위) 수를 기반으로 합니다. 솔루션에 할당할 단위 수를 결정할 때 주요 기여 요인은 예상되는 요청의 양을 처리하는 데 필요한 처리 능력을 식별하는 것입니다.
데이터베이스를 업그레이드/다운그레이드하기 위해 명령문을 실행하는 데 몇 초가 걸립니다.

설명

상자 1: 리비
Livy를 사용하여 대화형 Spark 셸을 실행하거나 Spark에서 실행할 일괄 작업을 제출할 수 있습니다.
상자 2: 비라인
Apache Beeline을 사용하여 HDInsight에서 Apache Hive 쿼리를 실행할 수 있습니다. Beeline을 Apache Spark와 함께 사용할 수 있습니다.
참고: Beeline은 HDInsight 클러스터의 헤드 노드에 포함된 Hive 클라이언트입니다. Beeline은 JDBC를 사용하여 HDInsight 클러스터에서 호스팅되는 서비스인 HiveServer2에 연결합니다. Beeline을 사용하여 인터넷을 통해 원격으로 HDInsight의 Hive에 액세스할 수도 있습니다.
참조:
https://docs.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-livy-rest-interface
https://docs.microsoft.com/en-us/azure/hdinsight/hadoop/apache-hadoop-use-hive-beeline