설명
데이터 수집 시스템을 Azure Databricks와 연결하여 데이터를 거의 실시간으로 Apache Spark 클러스터로 스트리밍합니다. Azure Event Hubs를 사용하여 데이터 수집 시스템을 설정한 다음 Azure Databricks에 연결하여 들어오는 메시지를 처리합니다.
참고: Azure Event Hubs는 초당 수백만 개의 이벤트를 수신하고 처리할 수 있는 확장성이 뛰어난 데이터 스트리밍 플랫폼 및 이벤트 수집 서비스입니다. Event Hubs는 분산 소프트웨어 및 장치에서 생성된 이벤트, 데이터 또는 원격 분석을 처리하고 저장할 수 있습니다. 이벤트 허브로 전송된 데이터는 실시간 분석 공급자 또는 일괄 처리/저장 어댑터를 사용하여 변환 및 저장할 수 있습니다.
참조:
https://docs.microsoft.com/en-us/azure/azure-databricks/databricks-stream-from-eventhubs

설명

이미지: Azure Data Lake Storage
시나리오: 이미지 데이터는 최소 비용으로 단일 데이터 저장소에 저장되어야 합니다.
고객 데이터: Azure Blob Storage
시나리오: 관리형 Spark 클러스터를 사용하여 고객 데이터를 분석해야 합니다.
HDInsight의 Spark 클러스터는 Azure Storage 및 Azure Data Lake Storage와 호환됩니다.
Azure Storage에는 Azure Blob, Azure Files, Azure Queues 및 Azure Tables와 같은 데이터 서비스가 포함됩니다.
참조:
https://docs.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-overview

설명:
1단계: 야간 로드 전에 사용자 정의 복원 지점 생성
SQL Data Warehouse는 페어링된 데이터 센터에 대해 하루에 한 번 지역 백업을 수행합니다. 지역 복원의 RPO는 24시간입니다. 지역 백업에 더 짧은 RPO가 필요한 경우 사용자 정의 복원 지점을 만들고 새로 만든 복원 지점에서 다른 지역의 새 데이터 웨어하우스로 복원할 수 있습니다.
2단계: 데이터 웨어하우스를 동일한 서버의 새 이름으로 복원합니다.
3단계: 복원된 데이터베이스 웨어하우스 이름을 바꿉니다.
참조:
https://docs.microsoft.com/en-us/azure/sql-data-warehouse/backup-and-restore

설명:
모든 클라우드 데이터는 저장 및 전송 중에 암호화되어야 합니다.
상자 1: 투명한 데이터 암호화
데이터베이스 파일의 암호화는 페이지 수준에서 수행됩니다. 암호화된 데이터베이스의 페이지는 디스크에 쓰기 전에 암호화되고 메모리로 읽을 때 해독됩니다.
상자 2: 저장 데이터 암호화
미사용 시 암호화는 데이터가 유지될 때의 인코딩(암호화)입니다.
참조:
https://docs.microsoft.com/en-us/sql/relational-databases/security/encryption/transparent-data-encryption?view=sql-server-2017
https://docs.microsoft.com/en-us/azure/security/azure-security-encryption-atrest

설명
Stream Analytics는 쌍을 이루는 지역의 작업이 별도의 일괄 처리로 업데이트되도록 보장합니다. 결과적으로 잠재적인 주요 버그를 식별하고 수정하기 위해 업데이트 사이에 충분한 시간 간격이 있습니다.
고객은 쌍을 이루는 두 지역에 동일한 작업을 배포하는 것이 좋습니다.
Stream Analytics 내부 모니터링 기능 외에도 고객은 둘 다 프로덕션 작업인 것처럼 작업을 모니터링하는 것이 좋습니다. 중단이 Stream Analytics 서비스 업데이트의 결과로 식별되면 적절하게 에스컬레이션하고 모든 다운스트림 소비자를 정상적인 작업 출력으로 장애 조치합니다. 지원에 대한 에스컬레이션은 페어링된 지역이 새 배포의 영향을 받는 것을 방지하고 페어링된 작업의 무결성을 유지합니다.
참조:
https://docs.microsoft.com/en-us/azure/stream-analytics/stream-analytics-job-reliability