유형 2의 느리게 변화하는 차원(SCD)을 사용하려면 일반적으로 소스 시스템에 존재하지 않는 다음과 같은 유형의 열을 추가해야 합니다.
* 유효 시작 날짜 및 시간(E): 이 열에는 해당 행의 데이터가 유효한 날짜 및 시간이 기록됩니다.
* 유효 종료 날짜 및 시간(A): 이 열은 해당 행의 데이터가 언제까지 유효했는지를 나타냅니다.
이를 통해 시간 경과에 따른 변화에 대한 기록을 보관할 수 있습니다.
* 대리 키(C): 대리 키는 테이블의 각 행에 대한 고유 식별자로, 유형 2 SCD에서 과거 기록과 현재 기록을 구분하는 데 필요합니다.
참고: 데이터 웨어하우징 솔루션에서 느리게 변화하는 차원(Type 2 SCD 포함)을 설계하기 위한 모범 사례는 데이터 웨어하우징 및 비즈니스 인텔리전스 관련 문헌에서 흔히 다루어지며, Fabric 테넌트 문서의 모델링 지침에 포함됩니다.
주제 1, Litware. Inc. 사례 연구
개요
Litware Inc.는 북미 전역에 사무소를 두고 있는 제조 회사입니다. Litware의 분석 팀은 데이터 엔지니어, 분석 엔지니어, 데이터 분석가 및 데이터 과학자로 구성되어 있습니다.
기존 환경
litware는 3년 동안 Microsoft Power BL 테넌트를 사용해 왔습니다. 하지만 Litware는 패브릭 기능이나 관련 기능을 전혀 활성화하지 않았습니다.
패브릭 환경
Litware에는 다음 표에 나와 있는 것처럼 분석해야 할 데이터가 있습니다.
제품 데이터는 단일 테이블과 다음과 같은 열로 구성됩니다.
고객 만족도 데이터는 다음과 같은 표로 구성되어 있습니다.
* 조사
* 질문
* 응답
제출된 각 설문 조사에 대해 다음과 같은 일이 발생합니다.
* 설문조사 테이블에 한 행이 추가되었습니다.
* 설문조사의 각 질문에 대해 응답 테이블에 한 행씩 추가됩니다.
질문 표에는 각 설문 문항의 내용이 포함되어 있습니다. 각 설문 응답의 세 번째 질문은 전반적인 만족도 점수입니다. 고객은 구매 후 언제든지 설문에 참여할 수 있습니다.
사용자 문제
분석팀은 방대한 양의 데이터를 보유하고 있으며, 그중 일부는 반정형 데이터입니다. 분석팀은 Fabric을 사용하여 새로운 데이터 저장소를 구축하고자 합니다.
제품 데이터는 일반적으로 고가, 중가, 저가의 세 가지 가격 그룹으로 분류됩니다. 이러한 분류 기준은 여러 데이터베이스와 시맨틱 모델에 적용되지만, 구현 방식에 따라 항상 일치하는 것은 아닙니다.
계획된 변경 사항
Litware는 기존 테넌트에서 Fabric 기능을 활성화할 계획입니다. 분석팀은 개념 증명(PoC)으로 새로운 데이터 저장소를 생성할 예정입니다. 나머지 Litware 사용자는 PoC가 완료된 후에만 Fabric 기능에 접근할 수 있게 됩니다. PoC는 Fabric 평가판 용량을 사용하여 진행될 것입니다.
다음과 같은 세 개의 작업 공간이 생성됩니다.
* AnalyticsPOC: 데이터 저장소, 시맨틱 모델, 보고서, 파이프라인, 데이터 흐름 및 데이터 저장소를 채우는 데 사용되는 노트북을 포함합니다.
* DataEngPOC: Onelake를 구축하는 데 사용된 모든 파이프라인, 데이터 흐름 및 노트북을 포함합니다.
* DataSciPOC: 데이터 과학자들이 작성한 모든 노트북과 보고서가 포함됩니다. AnalyticsPOC 워크스페이스에는 다음 항목들이 생성될 예정입니다.
* 데이터 저장소 (유형은 추후 결정)
* 사용자 정의 의미 모델
* 기본 의미 모델
* 대화형 보고서
데이터 엔지니어는 데이터 소스에 따라 시간별 또는 일별로 OneLake에 데이터를 로드하는 데이터 파이프라인을 구축합니다. 분석 엔지니어는 AnalyticsPOC 워크스페이스의 데이터 저장소에 데이터를 수집, 변환 및 로드하는 프로세스를 매일 생성합니다. 가능한 경우 데이터 엔지니어는 데이터 수집에 로우코드 도구를 사용합니다. 데이터 정제 및 변환 도구의 선택은 데이터 엔지니어의 재량에 따릅니다.
Analytics POC 워크스페이스의 모든 시맨틱 모델과 보고서는 데이터 저장소를 유일한 데이터 소스로 사용합니다.
기술 요구사항
데이터 저장소는 다음 사항을 지원해야 합니다.
* T-SQL 또는 Python을 사용한 읽기 액세스
* 반정형 및 비정형 데이터
* T-SQL 쿼리를 실행하는 사용자를 위한 행 수준 보안(RLS)
데이터 엔지니어가 OneLake에 업로드하는 파일은 Parquet 형식으로 저장되며 Delta Lake 사양을 충족합니다.
데이터는 변환 없이 AnalyticsPOC 데이터 저장소의 한 영역에 로드됩니다. 그런 다음 데이터는 정제, 병합 및 변환 과정을 거쳐 차원 모델로 변환됩니다.
데이터 로드 프로세스는 차원 모델에 데이터를 입력하기 전에 원시 데이터와 정제된 데이터가 완전히 업데이트되었는지 확인해야 합니다.
차원 모델에는 날짜 차원이 포함되어야 합니다. 날짜 차원에 대한 기존 데이터 소스가 없습니다. Litware의 회계연도는 달력 연도와 일치합니다. 날짜 차원에는 항상 2010년부터 현재 연도 말까지의 날짜가 포함되어야 합니다.
제품 가격 그룹 로직은 분석 엔지니어가 단일 위치에서 관리해야 합니다. 가격 그룹 데이터는 T-SQL 쿼리 및 기본 시맨틱 모델에서 사용할 수 있도록 데이터 저장소에 제공되어야 합니다. 다음 로직을 사용해야 합니다.
*표시 가격이 50 이하인 제품은 저가형 제품군에 속합니다.
*표시 가격이 50을 초과하고 1,000 이하인 제품은 중간 가격대에 속합니다.
* 1,000펜스를 초과하는 가격은 고가 제품군에 속합니다.
보안 요구 사항
PoC의 일부로 생성된 Fabric 항목은 Fabric 관리자와 분석 팀만 볼 수 있어야 합니다. Litware는 AnalyticsPOC 워크스페이스의 Fabric 항목에 대해 다음과 같은 보안 요구 사항을 제시합니다.
* 패브릭 관리자는 워크스페이스 관리자가 됩니다.
* 데이터 엔지니어는 데이터 저장소에서 읽고 쓸 수 있어야 합니다. 데이터 세트나 보고서에 대한 접근 권한은 부여해서는 안 됩니다.
분석 엔지니어는 데이터 저장소에서 스키마를 읽고, 쓰고, 생성할 수 있어야 합니다. 또한 데이터 분석가와 시맨틱 모델을 생성 및 공유하고, 작업 공간의 모든 보고서를 보고 수정할 수 있어야 합니다.
* 데이터 과학자는 데이터 저장소에서 데이터를 읽을 수는 있지만, 쓸 수는 없어야 합니다. 그들은 Spark 노트북을 사용하여 데이터에 접근할 것입니다.
* 데이터 분석가는 데이터 저장소의 차원 모델 개체에 대한 읽기 권한만 있어야 합니다. 또한 분석 엔지니어가 생성한 시맨틱 모델을 사용하여 Power BI 보고서를 생성할 수 있는 권한도 있어야 합니다.
* 날짜 차원은 데이터 저장소의 모든 사용자가 이용할 수 있어야 합니다.
* 최소 권한의 원칙을 준수해야 합니다.
기본 및 사용자 지정 시맨틱 모델 모두 데이터 저장소의 차원 모델에 있는 테이블 또는 뷰만 포함해야 합니다. Litware는 이미 다음과 같은 Microsoft Entra 보안 그룹을 보유하고 있습니다.
* FabricAdmins: 패브릭 관리자
* 분석팀: 분석팀의 모든 구성원
* 데이터 분석가: 분석팀의 데이터 분석가들
* 데이터 과학자: 분석팀의 데이터 과학자들
* 데이터 엔지니어: 분석팀의 데이터 엔지니어
* 분석 엔지니어: 분석팀의 분석 엔지니어
보고서 요구 사항
데이터 분석을 통해 다음 요건을 충족하는 고객 만족도 보고서를 작성해야 합니다.
* 사용자가 특정 제품을 선택하여 해당 제품을 구매한 고객의 설문 조사 응답만 필터링할 수 있도록 합니다.
* 선택한 날짜까지 지난 12개월 동안 제출된 모든 설문조사의 평균 만족도 점수를 표시합니다.
* 데이터 저장소에서 데이터가 업데이트되는 즉시 데이터를 표시합니다.
* 보고서와 의미 모델에 당해 연도 및 전년도 데이터만 포함되도록 보장합니다.
* 보고서가 원본 데이터 저장소에 지정된 테이블 수준 보안을 준수하도록 보장합니다.
* 보고서 쿼리 실행 시간을 최소화합니다.
