설명:
상자 1: 불용어 제거
정보 검색을 최적화하려면 단어를 제거하십시오.
불용어 제거: 미리 정의된 불용어 목록을 텍스트 열에 적용하려면 이 옵션을 선택합니다. 불용어 제거는 다른 프로세스보다 먼저 수행됩니다.
상자 2: 표제어화
단일 정식 형식의 여러 관련 단어를 확인합니다.
원형 복원은 여러 관련 단어를 단일 표준 형식으로 변환합니다. 상자 3: 특수 문자 제거 특수 문자 제거: 이 옵션을 사용하여 영숫자가 아닌 특수 문자를 파이프 | 성격.
참조:
https://docs.microsoft.com/en-us/azure/machine-learning/studio-module-reference/preprocess-text
주제 1, 사례 연구
개요
당신은 프로 스포츠 이벤트에 데이터 사이언스를 제공하는 회사의 데이터 사이언티스트입니다. 모델은 다음과 같은 비즈니스 목표를 충족하기 위한 글로벌 및 로컬 시장 데이터입니다.
* 군중 반응의 오디오를 기반으로 스포츠 이벤트에서 모바일 장치 사용자의 감정을 이해합니다.
* 광고에 대한 사용자의 반응 성향에 접근합니다.
* 휴대기기에 게재되는 광고 스타일을 맞춤설정하세요.
* 비디오를 사용하여 페널티 이벤트를 감지하십시오.
현재 환경
요구 사항
* 페널티 이벤트 감지에 사용되는 미디어는 소비자 기기에서 제공됩니다. 미디어에는 스포츠 경기 중에 캡처되고 소셜 미디어를 사용하여 캡처된 이미지와 비디오가 포함될 수 있습니다. 이미지와 동영상의 크기와 형식은 다양합니다.
* 모델 구축에 사용할 수 있는 데이터는 7년 간의 스포츠 이벤트 미디어로 구성됩니다. 스포츠 이벤트 미디어에는 녹화된 비디오, 라디오 해설의 녹취록, 관련 소셜 미디어 피드의 로그, 스포츠 이벤트 중에 캡처된 피드가 포함됩니다.
* 군중 감정에는 이벤트 참석자가 모노 및 스테레오 형식으로 제출한 오디오 녹음이 포함됩니다.
광고
* 광고 응답 모델은 각 이벤트 시작 시 학습되고 스포츠 이벤트 중에 적용되어야 합니다.
* 시장 세분화 nxxxl은 유사한 광고 resporr.r 기록을 위해 최적화해야 합니다.
* 샘플링은 동일한 기능을 공유하는 로컬 및 글로벌 분할 모델의 상호 및 집합적 배타성을 보장해야 합니다.* 사용자의 광고 반응 성향을 판단하기 전에
지역 시장 세분화 모델을 적용합니다.
* 데이터 과학자는 모델 저하 및 붕괴를 감지할 수 있어야 합니다.
* 광고 응답 모델은 비선형 경계 기능을 지원해야 합니다.
* 광고 성향 모델은 컷 임계값을 0.45로 사용하고 가중 Kappa가 0.1 +/-5%에서 벗어나면 재훈련이 발생합니다.
* 광고 성향 모델은 다음 다이어그램에 표시된 비용 요소를 사용합니다.

광고 성향 모델은 다음 다이어그램에 표시된 제안된 비용 요소를 사용합니다.

현재 및 제안된 비용 요소 시나리오의 성능 곡선은 다음 다이어그램에 표시됩니다.

페널티 감지 및 정서
결과
* 데이터 과학자는 페널티 이벤트 감지를 위해 여러 기계 학습 모델을 사용하여 지능형 솔루션을 구축해야 합니다.
* 데이터 과학자는 기계 학습 파이프라인에서 자동 기능 엔지니어링 및 모델 구축을 사용하여 로컬 환경에서 노트북을 구축해야 합니다.
* 동적 작업자 할당과 함께 Spark 인스턴스를 사용하여 재훈련하려면 노트북을 배포해야 합니다.
* 데이터 소스만 다시 코딩하려면 새 Spark 인스턴스에서 동일한 코드로 노트북을 실행해야 합니다.
* 전역 페널티 감지 모델은 학습 중에 동적 런타임 그래프 계산을 사용하여 학습해야 합니다.
* 로컬 페널티 감지 모델은 BrainScript를 사용하여 작성해야 합니다.
* 로컬 군중 정서 모델에 대한 실험은 로컬 페널티 감지 데이터를 결합해야 합니다.
* 군중 정서 모델은 환호 및 알려진 캐치 프레이즈와 같은 알려진 소리를 식별해야 합니다. 개별 군중 감정 모델은 유사한 소리를 감지합니다.
* 로컬 모델에 대한 모든 공유 기능은 연속 변수입니다.
* 공유 기능은 배정밀도를 사용해야 합니다. 후속 레이어에는 집계 누계 평균 및 표준 편차 메트릭이 있어야 합니다.
세그먼트
생산 초기 몇 주 동안 다음 사항이 관찰되었습니다.
* 광고 응답률이 감소했습니다.
* 하락은 광고 스타일에 따라 일관되지 않았습니다.
* 교육 및 프로덕션 데이터의 기능 분포가 일관되지 않습니다.
분석에 따르면 사용자 위치 및 행동에 대한 100개의 숫자 기능 중 위치 소스에서 제공되는 47개의 기능이 원시 기능으로 사용되고 있습니다. 바이어스 및 분산 문제를 해결하기 위해 제안된 실험은 10개의 선형 보정되지 않은 기능을 엔지니어링하는 것입니다.
페널티 감지 및 정서
* 초기 데이터 검색은 군중 감정 모델에 사용되는 훈련 데이터에서 대상 상태의 광범위한 밀도를 보여줍니다.
* 모든 페널티 감지 모델은 SGD(Stochastic Gradient Descent)를 사용하는 추론 단계가 너무 스토우 실행되고 있음을 보여줍니다.
* 오디오 샘플은 캐치 프레이즈의 길이가 지역에 따라 25%-47% 사이임을 보여줍니다.
* 글로벌 페널티 감지 모델의 성능은 훈련 세트와 검증 세트를 비교할 때 분산은 낮지만 편향은 더 높습니다. 기능 변경을 구현하기 전에 모든 교육 및 검증 사례를 사용하여 편향과 분산을 확인해야 합니다.

대신 MICE(연쇄 방정식에 의한 다중 대체) 방법을 사용하십시오.
MICE를 사용하여 바꾸기: 이 옵션은 각 누락된 값에 대해 통계 문헌에 "연쇄 방정식을 사용한 다변량 대치" 또는 "연쇄 방정식에 의한 다중 대치"로 설명된 방법을 사용하여 계산되는 새 값을 지정합니다. 다중 대치 방법을 사용하면 누락된 데이터가 있는 각 변수는 누락된 값을 채우기 전에 데이터의 다른 변수를 사용하여 조건부로 모델링됩니다.
참고: LOCF(마지막 관찰 이월)는 종단 연구에서 누락된 데이터를 대체하는 방법입니다. 사람이 연구가 끝나기 전에 연구를 중단하면 종속 변수에서 마지막으로 관찰된 점수가 모든 후속(즉, 누락된) 관찰 지점에 사용됩니다. LOCF는 표본 크기를 유지하고 연구 참여자의 감소로 인한 편향을 줄이는 데 사용됩니다.
참조:
https://methods.sagepub.com/reference/encyc-of-research-design/n211.xml
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3074241/

설명:
상자 1: 예
하이퍼 매개변수는 학습 프로세스 자체를 제어하는 ​​모델을 학습하기 위해 선택하는 조정 가능한 매개변수입니다. Azure Machine Learning을 사용하면 하이퍼 매개 변수 탐색을 효율적인 방식으로 자동화하여 상당한 시간과 리소스를 절약할 수 있습니다. 하이퍼파라미터 값의 범위와 최대 학습 실행 수를 지정합니다. 그런 다음 시스템은 서로 다른 매개변수 구성으로 여러 동시 실행을 자동으로 시작하고 선택한 메트릭으로 측정하여 최상의 성능을 제공하는 구성을 찾습니다. 제대로 수행되지 않는 교육 실행은 자동으로 조기 종료되어 컴퓨팅 리소스 낭비를 줄입니다. 대신 이러한 리소스는 다른 하이퍼파라미터 구성을 탐색하는 데 사용됩니다.
상자 2: 예
uniform(low, high) - 낮음과 높음 사이에 균일하게 분포된 값을 반환합니다. 상자 3: 베이지안 샘플링 없음은 현재 조기 종료 정책을 지원하지 않습니다.
참조:
https://docs.microsoft.com/en-us/azure/machine-learning/how-to-tune-hyperparameters

설명
대신 SMOTE(Synthetic Minority Oversampling Technique) 샘플링 모드를 사용하십시오.
참고: SMOTE는 기계 학습에 사용되는 데이터 세트에서 제대로 표현되지 않은 사례 수를 늘리는 데 사용됩니다.
SMOTE는 단순히 기존 사례를 복제하는 것보다 드문 사례의 수를 늘리는 더 좋은 방법입니다.
참조:
https://docs.microsoft.com/en-us/azure/machine-learning/studio-module-reference/smote