주제 2, 사례 연구 2
사례 연구
개요
당신은 미국의 고급 개인 및 상업용 부동산 전문 회사인 Fabrikam Residences의 데이터 과학자입니다. Fabrikam Residences는 유럽으로의 확장을 고려하고 있으며 주요 유럽 도시의 개인 주택 가격을 조사해 달라고 요청했습니다. Azure Machine Learning Studio를 사용하여 속성의 중앙값을 측정합니다. 선형 회귀 및 베이지안 선형 회귀 모듈을 사용하여 부동산 가격을 예측하는 회귀 모델을 생성합니다.
데이터세트
두 도시(런던과 파리)에 대한 속성 세부정보가 포함된 CSV 형식의 두 데이터세트가 있으며 다음 열이 있습니다.

두 데이터 세트는 Azure Machine Learning Studio에 별도의 데이터 세트로 추가되었으며 실험의 시작점으로 포함되었습니다.
데이터세트 문제
두 데이터 세트의 AccessibilityToHighway 열에 누락된 값이 있습니다. 누락된 데이터는 누락된 값을 채우기 전에 데이터의 다른 변수를 사용하여 조건부로 모델링되도록 새 데이터로 대체되어야 합니다.
각 데이터 세트의 열에는 누락된 값과 null 값이 있습니다. 데이터 세트에는 많은 이상값도 포함되어 있습니다. 연령 열에는 이상값 비율이 높습니다. 연령 열에 이상치가 있는 행을 제거해야 합니다.
MedianValue 및 AvgRoomsinHouse 열은 모두 숫자 형식의 데이터를 보유합니다. 두 열 간의 관계를 보다 자세히 분석하려면 특성 선택 알고리즘을 선택해야 합니다.
모델 핏
모델은 과적합의 징후를 보여줍니다. 과적합을 줄이는 보다 세련된 회귀 모델을 생성해야 합니다.
실험 요구 사항
성능을 평가하려면 선형 회귀 및 베이지안 선형 회귀 모듈을 교차 검증하도록 실험을 설정해야 합니다.
각 경우에 데이터 세트의 예측 변수는 MedianValue라는 열입니다. 초기 조사에 따르면 데이터 세트는 MedianValue 열을 제외하고 구조가 동일합니다. 더 작은 파리 데이터셋에는 텍스트 형식의 MedianValue가 포함되어 있는 반면, 더 큰 런던 데이터셋에는 숫자 형식의 MedianValue가 포함되어 있습니다. 파리 데이터 세트의 MedianValue 열 데이터 유형이 런던 데이터 세트의 구조와 일치하는지 확인해야 합니다.
결과를 예측하려면 데이터 열의 우선 순위를 지정해야 합니다. 관계를 측정하려면 매개변수가 아닌 통계를 사용해야 합니다.
MedianValue와 AvgRoomsinHouse 열 간의 관계를 분석하려면 기능 선택 알고리즘을 사용해야 합니다.
모델 교육
훈련된 모델과 테스트 데이터 세트가 주어지면 특성 변수의 순열 특성 중요도 점수를 계산해야 합니다. 모델의 정확도를 조사하고 결과를 복제하려면 올바른 메트릭을 선택하려면 순열 기능 중요도 모듈을 설정해야 합니다.
하이퍼파라미터를 사용하여 학습 단계를 가속화하기 위해 모델 학습 프로세스에서 하이퍼파라미터를 구성하려고 합니다. 또한 이 구성은 각 평가 간격에서 가장 성능이 낮은 실행을 취소하여 성공 가능성이 더 높은 모델에 노력과 자원을 집중해야 합니다.
모델이 초매개변수 조정에서 컴퓨팅 리소스를 효율적으로 사용하지 않을 수 있다는 점을 우려하고 있습니다. 또한 모델이 전체 조정 시간의 증가를 방지할 수 있다는 점을 우려하고 있습니다. 따라서 유망한 직업을 종료하지 않고 저축을 제공하는 모델에 대한 조기 중단 기준을 구현해야 합니다.
테스트
Azure Machine Learning Studio의 파티션 및 샘플 모듈을 사용하여 샘플링을 기반으로 데이터 세트의 여러 파티션을 생성해야 합니다. 교차 검증을 위해 3개의 동일한 파티션을 생성해야 합니다. 또한 테스트 및 교육 데이터 세트의 행이 각 도시의 주요 강 근처에 있는 속성으로 균등하게 분할되도록 교차 검증 프로세스를 구성해야 합니다. 속성이 강 근처에 있음을 식별하는 데이터는 NextToRiver라는 열에 보관됩니다. 데이터가 샘플링 프로세스를 거치기 전에 이 작업을 완료하려고 합니다.
대도시의 부동산 가격에 대한 데이터를 표시하는 속성 데이터 세트를 사용하여 선형 회귀 모듈을 훈련할 때 모델에서 사용할 최상의 기능을 결정해야 합니다. 기능 중요도 프로세스가 완료되기 전후에 성능을 측정하기 위해 제공된 표준 메트릭을 선택할 수 있습니다. 여러 교육 모델에 걸쳐 기능이 일관되게 분포되어 있는지 확인해야 합니다.
데이터 시각화
Fabrikam Residences 팀에 테스트 결과를 제공해야 합니다. 결과를 표시하는 데 도움이 되도록 데이터 시각화를 만듭니다.
모델의 진단 테스트 평가를 수행하려면 ROC(수신기 작동 특성) 곡선을 생성해야 합니다. Two-Class Decision Forest 및 Two-Class Decision Jungle 모듈을 서로 비교하려면 Azure Machine Learning Studio에서 ROC 곡선을 생성하는 적절한 방법을 선택해야 합니다.

run.get_file_names() 참조를 호출하여 이 실행 레코드와 연결된 모든 파일을 나열할 수 있습니다.
https://docs.microsoft.com/en-us/azure/machine-learning/how-to-track-experiments

설명:
상자 1: 샘플링
데이터 샘플 만들기
이 옵션은 단순 무작위 샘플링 또는 계층화된 무작위 샘플링을 지원합니다. 테스트를 위해 더 작은 대표 샘플 데이터 세트를 생성하려는 경우에 유용합니다.
1. Studio에서 실험에 파티션 및 샘플 모듈을 추가하고 데이터세트를 연결합니다.
2. 파티션 또는 샘플 모드: 샘플링으로 설정합니다.
3. 샘플링 비율. 아래 상자 2를 참조하십시오.
상자 2: 0
3. 샘플링 비율. 샘플링을 위한 무작위 시드: 선택적으로 시드 값으로 사용할 정수를 입력합니다.
행을 매번 같은 방식으로 분할하려는 경우 이 옵션이 중요합니다. 기본값은 0이며, 이는 시작 시드가 시스템 시계를 기반으로 생성됨을 의미합니다. 이로 인해 실험을 실행할 때마다 약간 다른 결과가 나타날 수 있습니다.
참조:
https://docs.microsoft.com/en-us/azure/machine-learning/studio-module-reference/partition-and-sample

설명:
상자 1: 데이터 프레임
구문: pandas.melt(frame, id_vars=None, value_vars=None, var_name=None, value_name='value', col_level=None)[source] 여기서 frame은 DataFrame Box 2: shop 매개변수 id_vars id_vars : 튜플, 목록, 또는 ndarray, 식별자 변수로 사용할 선택적 Column(s).
상자 3: ['2017','2018']
value_vars : 튜플, 목록 또는 ndarray, 선택 사항
피벗을 해제할 열입니다. 지정하지 않으면 id_vars로 설정되지 않은 모든 열을 사용합니다.
예시:
df = pd.DataFrame({'A': {0: 'a', 1: 'b', 2: 'c'},
... 'B': {0:1, 1:3, 2:5},
... 'C': {0: 2, 1: 4, 2: 6}})
pd.melt(df, id_vars=['A'], value_vars=['B', 'C'])
변수 값
0 A B 1
1b B 3
2C B 5
3 a C 2
4 b C 4
5C 6
참조:
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.melt.html

설명
process_step 및 train_step의 두 단계가 있습니다.
메모:
파이프라인에서 사용되는 데이터는 한 단계의 출력과 하나 이상의 후속 단계의 입력으로 PipelineData 개체를 제공하여 한 단계에서 생성하고 다른 단계에서 사용할 수 있습니다.
PipelineData 개체는 단계 종속성을 설명하기 위해 파이프라인을 구성할 때도 사용됩니다. 단계에 다른 단계의 출력이 입력으로 필요하도록 지정하려면 두 단계의 생성자에서 PipelineData 객체를 사용하십시오.
예를 들어 파이프라인 훈련 단계는 파이프라인 프로세스 단계의 process_step_output 출력에 따라 다릅니다.
azureml.pipeline.core에서 파이프라인, PipelineData 가져오기
azureml.pipeline.steps에서 PythonScriptStep 가져오기
데이터 저장소 = ws.get_default_datastore()
process_step_output = PipelineData("processed_data", datastore=datastore) process_step = PythonScriptStep(script_name="process.py", arguments=["--data_for_train", process_step_output], 출력=[process_step_output], compute_target=aml_compute, source_directory=process_directory) train_step = PythonScriptStep(script_name="train.py", arguments=["--data_for_train", process_step_output], 입력=[process_step_output], compute_target=aml_compute, source_directory=train_directory) 파이프라인 = 파이프라인(작업 공간=ws, steps=[process_step , train_step]) 참조:
https://docs.microsoft.com/en-us/python/api/azureml-pipeline-core/azureml.pipeline.core.pipelinedata?view=azu