설명

박스 1: 아니요
이미 훈련 클러스터가 존재하는 경우 해당 클러스터가 사용됩니다.
박스 2: 예
wait_for_completion 메서드는 클러스터에서 현재 프로비저닝 작업이 완료될 때까지 기다립니다.
박스 3: 예
낮은 우선순위 VM은 Azure의 여유 용량을 사용하므로 비용은 저렴하지만 실행이 먼저 차단될 위험이 있습니다.
박스 4: 아니요
training_compute.delete()를 사용하여 AmlCompute 대상의 프로비저닝을 해제하고 삭제해야 합니다.
참조:
https://notebooks.azure.com/azureml/projects/azureml-getting-started/html/how-to-use-azureml/training/train-on
https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.compute.computetarget

설명:
박스 1: 불용어 제거
정보 검색을 최적화하기 위해 단어를 제거하세요.
불용어 제거: 텍스트 열에 미리 정의된 불용어 목록을 적용하려면 이 옵션을 선택합니다. 불용어 제거는 다른 프로세스보다 먼저 수행됩니다.
박스 2: 레마티제이션
하나의 정식 형태에서 여러 개의 관련 단어가 있는지 확인하세요.
레마티제이션은 여러 개의 관련 단어를 하나의 표준 형태로 변환합니다. 상자 3: 특수 문자 제거 특수 문자 제거: 이 옵션을 사용하면 영숫자가 아닌 특수 문자를 파이프 | 문자로 바꿀 수 있습니다.
참고문헌:
https://docs.microsoft.com/en-us/azure/machine-learning/studio-module-reference/preprocess-text
주제 1, 사례 연구
개요
당신은 프로 스포츠 이벤트에 대한 데이터 과학을 제공하는 회사의 데이터 과학자입니다. 모델은 다음과 같은 비즈니스 목표를 충족하기 위해 글로벌 및 로컬 시장 데이터가 될 것입니다.
* 군중 반응 오디오를 기반으로 스포츠 행사에서 모바일 기기 사용자의 감정을 이해합니다.
* 사용자가 광고에 반응하는 경향을 파악합니다.
* 모바일 기기에 게재되는 광고의 스타일을 사용자 지정합니다.
* 비디오를 사용하여 페널티 이벤트를 감지합니다.
현재 환경
요구 사항
* 페널티 이벤트 감지에 사용되는 미디어는 소비자 기기에서 제공합니다. 미디어에는 스포츠 이벤트 중에 캡처한 이미지와 비디오가 포함될 수 있으며 소셜 미디어를 사용하여 잡힙니다. 이미지와 비디오는 크기와 형식이 다양합니다.
* 모델 구축에 사용할 수 있는 데이터는 7년간의 스포츠 이벤트 미디어로 구성되어 있습니다. 스포츠 이벤트 미디어에는 녹화된 비디오, 라디오 해설 대본, 스포츠 이벤트 중에 캡처한 관련 소셜 미디어 피드의 로그가 포함됩니다.
* 군중의 감정에는 이벤트 참석자가 제출한 모노 및 스테레오 형식의 오디오 녹음이 포함됩니다.
광고
* 광고 응답 모델은 각 이벤트 시작 전에 교육을 받아야 하며, 스포츠 이벤트 기간 동안 적용되어야 합니다.
* 시장 세분화는 유사한 광고 응답 기록을 최적화해야 합니다.
* 샘플링은 동일한 특징을 공유하는 로컬 및 글로벌 세분화 모델에 대한 상호 및 집단적 독점성을 보장해야 합니다.
* 사용자가 광고에 반응할 가능성을 파악하기 전에 지역 시장 세분화 모델이 적용됩니다.
* 데이터 과학자는 모델 저하와 붕괴를 감지할 수 있어야 합니다.
* 광고 응답 모델은 비선형 경계 기능을 지원해야 합니다.
* 광고 성향 모델은 절단 임계값을 0.45로 사용하고 가중 카파가 0.1 +/-5%에서 벗어나면 재학습이 발생합니다.
* 광고 성향 모델은 다음 다이어그램에 표시된 비용 요소를 사용합니다.

광고 성향 모델은 다음 다이어그램에 표시된 제안된 비용 요소를 사용합니다.

다음 다이어그램은 현재 및 제안된 비용 요인 시나리오의 성능 곡선을 보여줍니다.

페널티 감지 및 감정
결과
* 데이터 과학자는 페널티 이벤트 감지를 위해 여러 머신 러닝 모델을 사용하여 지능형 솔루션을 구축해야 합니다.
* 데이터 과학자는 머신 러닝 파이프라인에서 자동 기능 엔지니어링과 모델 구축을 사용하여 로컬 환경에서 노트북을 구축해야 합니다.
* Spark 인스턴스를 사용하여 동적 작업자 할당을 통해 재교육을 위해 노트북을 배포해야 합니다.
* 노트북은 데이터 소스만 다시 코딩하기 위해 새로운 Spark 인스턴스에서 동일한 코드로 실행되어야 합니다.
* 글로벌 페널티 감지 모델은 훈련 중에 동적 런타임 그래프 계산을 사용하여 훈련되어야 합니다.
* 로컬 페널티 감지 모델은 BrainScript를 사용하여 작성해야 합니다.
* 지역 군중 감정 모델에 대한 실험은 지역 페널티 감지 데이터를 결합해야 합니다.
* 군중 감정 모델은 환호와 알려진 캐치프레이즈와 같은 알려진 소리를 식별해야 합니다. 개별 군중 감정 모델은 유사한 소리를 감지합니다.
* 로컬 모델의 모든 공유 특성은 연속 변수입니다.
* 공유 기능은 이중 정밀도를 사용해야 합니다. 후속 레이어에는 집계 실행 평균 및 표준 편차 메트릭이 있어야 합니다. 사용 가능.
세그먼트
생산을 시작한 후 몇 주 동안 다음과 같은 사항이 관찰되었습니다.
* 광고 응답률이 감소했습니다.
* 광고 스타일에 따라 드롭이 일관되지 않았습니다.
* 훈련 데이터와 프로덕션 데이터 전반에 걸친 특성 분포가 일관되지 않습니다.
분석 결과 사용자 위치 및 행동에 대한 100개 숫자적 특징 중 위치 소스에서 나온 47개 특징이 원시 특징으로 사용되고 있습니다. 편향 및 분산 문제를 해결하기 위해 제안된 실험은 선형적으로 보정되지 않은 10개 특징을 엔지니어링하는 것입니다.
페널티 감지 및 감정
* 초기 데이터 발견 결과, 군중 감정 모델에 사용된 훈련 데이터에서 대상 상태의 밀도 범위가 매우 넓은 것으로 나타났습니다.
* 모든 페널티 감지 모델은 확률적 경사 하강법(SGD)을 사용하는 추론 단계가 너무 느리게 실행됨을 보여줍니다.
* 오디오 샘플에 따르면 캐치프레이즈의 길이는 지역에 따라 25%-47% 차이가 있습니다.
* 글로벌 페널티 감지 모델의 성능은 훈련 및 검증 세트를 비교할 때 분산은 낮지만 편향은 높습니다. 기능 변경을 구현하기 전에 모든 훈련 및 검증 사례를 사용하여 편향과 분산을 확인해야 합니다.

C: 베이지안 샘플링은 베이지안 최적화 알고리즘을 기반으로 하며 다음에 샘플링할 하이퍼파라미터 값에 대한 지능적인 선택을 합니다. 이전 샘플의 수행 방식에 따라 샘플을 선택하여 새 샘플이 보고된 기본 메트릭을 개선하도록 합니다.
베이지안 샘플링은 조기 종료 정책을 지원하지 않습니다.
예:
azureml.train.hyperdrive에서 BayesianParameterSampling 가져오기
azureml.train.hyperdrive에서 uniform 가져오기, 선택
param_sampling = 베이지안 매개변수 샘플링({
"학습률": 균일(0.05, 0.1),
"배치 크기": 선택(16, 32, 64, 128)
}
)
D: 무작위 샘플링에서 하이퍼파라미터 값은 정의된 검색 공간에서 무작위로 선택됩니다. 무작위 샘플링을 통해 검색 공간에 이산 및 연속 하이퍼파라미터를 모두 포함할 수 있습니다.
잘못된 답변:
B: 하이퍼파라미터 공간을 불연속 값 중에서 선택할 수 있고 정의된 검색 공간에서 모든 값을 철저히 검색할 수 있는 충분한 예산이 있는 경우 그리드 샘플링을 사용할 수 있습니다. 또한 성능이 좋지 않은 실행을 자동으로 조기에 종료하여 리소스 낭비를 줄일 수 있습니다.
예를 들어, 다음 공간에는 총 6개의 샘플이 있습니다.
azureml.train.hyperdrive에서 GridParameterSampling 가져오기
azureml.train.hyperdrive에서 가져오기 선택
param_sampling = 그리드매개변수샘플링({
"숨겨진 레이어 수": 선택(1, 2, 3),
"배치 크기": 선택(16, 32)
}
)
참조:
https://docs.microsoft.com/en-us/azure/machine-learning/how-to-tune-hyperparameters

설명:

박스 1: 예
무작위 샘플링에서 하이퍼파라미터 값은 정의된 검색 공간에서 무작위로 선택됩니다. 무작위 샘플링을 통해 검색 공간에 이산 및 연속 하이퍼파라미터를 모두 포함할 수 있습니다.
박스 2: 예
학습률은 평균값 10, 표준편차 3의 정규분포를 따릅니다.
박스 3: 아니요
keep_probability는 최소값이 0.05이고 최대값이 0.1인 균일 분포를 따릅니다.
박스 4: 아니요
number_of_hidden_layers는 [3, 4, 5] 값 중 하나를 취합니다.
참조:
https://docs.microsoft.com/en-us/azure/machine-learning/how-to-tune-hyperparameters

설명
대신 logging.info(message)를 사용한 솔루션을 사용하세요.
참고: Python 인쇄/로깅 예:
로깅.info(메시지)
대상: 드라이버 로그, Azure Machine Learning 디자이너
참조:
https://docs.microsoft.com/en-us/azure/machine-learning/how-to-debug-pipelines