참조:
https://docs.microsoft.com/en-us/azure/sql-data-warehouse/sql-data-warehouse-tables-partition

중첩된 JSON을 병합된 DataFrame으로 변환
$"column.*" 및 explode 메서드만 사용하여 중첩된 JSON을 평면화할 수 있습니다.
참고: 추출 및 병합
평면화된 DataFrame을 표시하기 전에 $"column.*" 및 폭발 메서드를 사용하여 구조 및 배열 유형을 평면화합니다.
스칼라
display(DF.select($"id" as "main_id",$"name",$"batters",$"ppu",explode($"topping")) // 폭발을 사용하여 토핑 열 분해 배열 유형
.withColumn("topping_id",$"col.id") // DOT 형식을 사용하여 col에서 topping_id 추출
.withColumn("topping_type",$"col.type") // DOT 형식을 사용하여 col에서 topping_tytpe 추출
.drop($"열")
.select($"*",$"batters.*") // 구조체 유형 타자를 타자인 배열 유형으로 병합
.drop($"타자")
.select($"*",explode($"타자"))
.drop($"타자")
.withColumn("batter_id",$"col.id") // DOT 형식을 사용하여 col에서 batter_id 추출
.withColumn("battter_type",$"col.type") // DOT 형식을 사용하여 col에서 battter_type 추출
.drop($"열")
)

참조:
https://docs.microsoft.com/en-us/stream-analytics-query/topone-azure-stream-analytics
https://docs.microsoft.com/en-us/azure/stream-analytics/stream-analytics-window-functions

참조:
https://docs.microsoft.com/en-us/azure/sql-data-warehouse/sql-data-warehouse-tables-distribute

설명

1단계: Azure Stream Analytics Custom Deserializer 프로젝트(.NET) 프로젝트를 솔루션에 추가합니다.
사용자 지정 역직렬 변환기 만들기
1. Visual Studio를 열고 파일 > 새로 만들기 > 프로젝트를 선택합니다. Stream Analytics를 검색하고 Azure Stream Analytics Custom Deserializer 프로젝트(.NET)를 선택합니다. 프로젝트에 Protobuf Deserializer와 같은 이름을 지정합니다.

2. 솔루션 탐색기에서 Protobuf Deserializer 프로젝트를 마우스 오른쪽 단추로 클릭하고 메뉴에서 NuGet 패키지 관리를 선택합니다. 그런 다음 Microsoft.Azure.StreamAnalytics 및 Google.Protobuf NuGet 패키지를 설치합니다.
3. MessageBodyProto 클래스와 MessageBodyDeserializer 클래스를 프로젝트에 추가합니다.
4. Protobuf Deserializer 프로젝트를 빌드합니다.
2단계: Protobuf용 .NET 역직렬 변환기 코드를 사용자 지정 역직렬 변환기 프로젝트에 추가 Azure Stream Analytics에는 JSON, CSV 및 Avro의 세 가지 데이터 형식에 대한 기본 제공 지원이 있습니다. 사용자 지정 .NET 디시리얼라이저를 사용하면 프로토콜 버퍼, 본드 및 클라우드 및 에지 작업 모두에 대한 기타 사용자 정의 형식과 같은 다른 형식의 데이터를 읽을 수 있습니다.
3단계: 솔루션에 Azure Stream Analytics 애플리케이션 프로젝트 추가 Azure Stream Analytics 프로젝트 추가
* 솔루션 탐색기에서 Protobuf Deserializer 솔루션을 마우스 오른쪽 단추로 클릭하고 추가 > 새 프로젝트를 선택합니다. Azure Stream Analytics > Stream Analytics에서 Azure Stream Analytics 애플리케이션을 선택합니다. 이름을 ProtobufCloudDeserializer로 지정하고 확인을 선택합니다.
* ProtobufCloudDeserializer Azure Stream Analytics 프로젝트 아래에서 참조를 마우스 오른쪽 단추로 클릭합니다. 프로젝트에서 Protobuf Deserializer를 추가합니다. 자동으로 채워져야 합니다.
참조:
https://docs.microsoft.com/en-us/azure/stream-analytics/custom-deserializer