설명
ORC 파일 형식으로 데이터를 내보낼 때 큰 텍스트 열이 있는 경우 Java 메모리 부족 오류가 발생할 수 있습니다. 이 제한을 해결하려면 열의 하위 집합만 내보내세요.
참고문헌:
https://docs.microsoft.com/en-us/azure/sql-data-warehouse/guidance-for-loading-data

설명

1단계: 수명 주기 정책이 있는 Azure Storage 계정 만들기
일반적인 데이터 관리 작업을 자동화하기 위해 Microsoft는 Azure Data Factory를 기반으로 솔루션을 만들었습니다. Data Lifecycle Management 서비스는 자주 액세스하는 데이터를 사용할 수 있게 하고 보존 정책에 따라 다른 데이터를 보관하거나 제거합니다. 회사 전체의 팀은 이 서비스를 사용하여 스토리지 비용을 줄이고 앱 성능을 개선하며 데이터 보존 정책을 준수합니다.
2단계: 데이터 보존 기간이 120일로 설정된 Log Analytics 작업 공간을 만듭니다.
Data Factory는 파이프라인 실행 데이터를 45일 동안만 저장합니다. 이 데이터를 더 오랫동안 보관하려면 Azure Monitor를 사용합니다. Monitor를 사용하면 분석을 위해 진단 로그를 여러 다른 대상(예: Storage Account)으로 라우팅할 수 있습니다. 진단 로그를 감사 또는 수동 검사를 위해 Storage Account에 저장합니다. 진단 설정을 사용하여 보관 기간을 일 단위로 지정할 수 있습니다.
3단계: Azure Portal에서 진단 설정을 추가합니다.
4단계: 데이터를 로그 분석 작업 공간으로 보냅니다.
이벤트 허브: 서비스에서 Azure Data Explorer로 이벤트를 전송하는 파이프라인입니다.
Azure Data Factory 메트릭과 파이프라인 실행 데이터를 보관합니다.
진단 설정 및 작업 공간을 구성합니다.
데이터 팩토리에 대한 진단 설정을 만들거나 추가합니다.
포털에서 Monitor로 이동합니다. 설정 > 진단 설정을 선택합니다.
진단 설정을 지정할 데이터 팩토리를 선택하세요.
선택한 데이터 팩토리에 설정이 없는 경우 설정을 만들라는 메시지가 표시됩니다. 진단 켜기를 선택합니다.
설정에 이름을 지정하고 'Log Analytics로 보내기'를 선택한 다음, Log Analytics 작업 영역에서 작업 영역을 선택합니다.
저장을 선택하세요.
참조:
https://docs.microsoft.com/en-us/azure/data-factory/monitor-using-azure-monitor

참조:
https://docs.microsoft.com/en-us/azure/synapse-analytics/sql-data-warehouse/sql-data-warehouse-authentication

설명:

설명
박스 1: 아니요
참고: 이제 Azure Stream Analytics SQL의 새로운 확장을 사용하여 데이터를 다시 섞을 때 스트림의 파티션 수를 지정할 수 있습니다.
결과는 동일한 파티션 체계를 가진 스트림입니다. 예를 보려면 아래를 참조하세요.
WITH step1 AS (SELECT * FROM [input1] PARTITION BY DeviceID INTO 10),
2단계 AS (SELECT * FROM [input2] PARTITION BY DeviceID INTO 10)
SELECT * INTO [출력] FROM step1 PARTITION BY DeviceID UNION step2 PARTITION BY DeviceID 참고: Azure Stream Analytics SQL의 새로운 확장 기능에는 PARTITION BY 명령문을 사용하여 리셔플링을 수행할 때 스트림의 파티션 수를 지정할 수 있는 키워드 INTO가 포함되어 있습니다.
박스 2: 예
명시적으로 재분할된 두 개의 데이터 스트림을 결합하는 경우, 이러한 스트림은 동일한 파티션 키와 파티션 개수를 가져야 합니다.
박스 3: 예
스트리밍 단위(SU)는 Stream Analytics 작업을 실행하기 위해 할당된 컴퓨팅 리소스를 나타냅니다. SU 수가 많을수록 작업에 할당되는 CPU 및 메모리 리소스가 많아집니다.
일반적으로 PARTITION BY를 사용하지 않는 쿼리의 경우 6개의 SU로 시작하는 것이 가장 좋습니다.
여기에는 10개의 파티션이 있으므로 6x10 = 60개의 SU가 좋습니다.
참고: Azure Stream Analytics의 규모 단위인 스트리밍 단위(SU) 수는 작업에 사용할 수 있는 물리적 리소스 수가 분할된 흐름에 맞도록 조정해야 합니다. 일반적으로 각 분할에 할당하기에 6개의 SU가 적절한 숫자입니다. 작업에 할당된 리소스가 충분하지 않은 경우 시스템은 작업에 이로운 경우에만 재분할을 적용합니다.
참조:
https://azure.microsoft.com/en-in/blog/maximize-throughput-with-repartitioning-in-azure-stream-analytics/
https://docs.microsoft.com/en-us/azure/stream-analytics/stream-analytics-streaming-unit-consumption