설명

상자 1: New-AzStorageContainer
# 예: Blob 컨테이너를 만듭니다. 여기에는 클러스터의 기본 데이터 저장소가 있습니다.
New-AzStorageContainer `
-이름 $clusterName `
-컨텍스트 $defaultStorageContext
$sparkConfig = 새 개체 "System.Collections.Generic.Dictionary``2[System.String,System.String]"
$sparkConfig.Add("스파크", "2.3")
상자 2: 스파크
Spark는 메모리 내 클러스터 컴퓨팅을 위한 기본 요소를 제공합니다. Spark 작업은 데이터를 메모리에 로드 및 캐시하고 반복적으로 쿼리할 수 있습니다. 인메모리 컴퓨팅은 HDFS(Hadoop 분산 파일 시스템)를 통해 데이터를 공유하는 Hadoop과 같은 디스크 기반 애플리케이션보다 디스크 기반 애플리케이션보다 훨씬 빠릅니다.
상자 3: 새로운 AzureRMHDInsightCluster
# HDInsight 클러스터를 생성합니다. 예시:
New-AzHDInsightCluster `
- 리소스 그룹 이름 $ 리소스 그룹 이름 `
- 클러스터 이름 $ 클러스터 이름 `
-위치 $location `
-ClusterSizeInNodes $clusterSizeInNodes `
-ClusterType $"스파크" `
-OSType "리눅스" `
상자 4: 스파크
HDInsight는 관리형 Hadoop 서비스입니다. Azure에서 Hadoop 클러스터를 배포하고 관리하는 데 사용합니다. 일괄 처리의 경우 Spark, Hive, Hive LLAP, MapReduce를 사용할 수 있습니다.
참조:
https://docs.microsoft.com/bs-latn-ba/azure/hdinsight/spark/apache-spark-jupyter-spark-sql-use-powershell
https://docs.microsoft.com/bs-latn-ba/azure/hdinsight/spark/apache-spark-overview

설명:
1단계: Blob 저장소를 입력으로 구성합니다. TIMESTAMP BY 절이 있는 항목 선택
Stream Analytics에서 Blob Storage 이벤트의 기본 타임스탬프는 Blob이 마지막으로 수정된 타임스탬프인 BlobLastModifiedUtcTime입니다. 이벤트 페이로드의 타임스탬프를 사용하여 데이터를 스트림으로 처리하려면 TIMESTAMP BY 키워드를 사용해야 합니다.
예시:
다음은 EntryTime 열을 이벤트의 적용 시간으로 사용하는 TIMESTAMP BY 예입니다.
SELECT TollId, EntryTime AS VehicleEntryTime, LicensePlate, State, Make, Model, VehicleType, VehicleWeight, 통행료, 태그
TollTagEntry에서 TIMESTAMP BY EntryTime
2단계: cosmos DB를 출력으로 설정
Stream Analytics에서 Cosmos DB를 출력으로 만들면 아래와 같이 정보에 대한 프롬프트가 생성됩니다.

3단계: SELECT INTO 문으로 쿼리 문을 만듭니다.
참조:
https://docs.microsoft.com/en-us/azure/stream-analytics/stream-analytics-define-inputs

참조:
https://docs.microsoft.com/en-us/azure/data-factory/connector-azure-blob-storage

설명:
상자 1: Azure Event Hubs
스트리밍 아키텍처의 이 부분을 종종 스트림 버퍼링이라고 합니다. 옵션에는 Azure Event Hubs, Azure IoT Hub 및 Kafka가 포함됩니다.
오답: HDInsight Kafka 아님
Azure Functions를 실행하려면 트리거를 정의해야 합니다. 지원되는 트리거 유형은 제한되어 있으며 Kafka는 그 중 하나가 아닙니다.
상자 2: Azure 스트림 분석
Azure Stream Analytics는 무제한 스트림에서 작동하는 영구적으로 실행되는 SQL 쿼리를 기반으로 관리되는 스트림 처리 서비스를 제공합니다.
HDInsight 클러스터에서 Storm 및 Spark Streaming과 같은 오픈 소스 Apache 스트리밍 기술을 사용할 수도 있습니다.
상자 3: Azure SQL 데이터 웨어하우스
Azure SQL Data Warehouse는 대규모 클라우드 기반 데이터 웨어하우징을 위한 관리형 서비스를 제공합니다. HDInsight는 분석용 데이터를 제공하는 데 사용할 수 있는 Interactive Hive, HBase 및 Spark SQL을 지원합니다.
참조:
https://docs.microsoft.com/en-us/azure/architecture/data-guide/big-data/

대신 저장소 계정에 로그 및 메트릭을 저장하도록 Azure Data Lake Storage 진단을 구성합니다.
메모:
Azure Data Lake Storage Gen1 계정, blob, 파일, 큐 및 테이블에 대해 진단 로깅을 사용하도록 설정할 수 있습니다.
진단 로그는 Data Lake Storage Gen2 계정[2019년 8월 현재]에 사용할 수 없습니다.
참조:
https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-diagnostic-logs
https://github.com/MicrosoftDocs/azure-docs/issues/34286