Como lidar com os outliers causados por erros no sistema
Quando você confia em tecnologia ou instrumentação para realizar uma tarefa de análise preditiva, uma falha aqui ou ali pode causar estes instrumentos a registar valores extremos ou incomuns. Se os sensores de registar valores observacionais que não cumpram as normas básicas de controle de qualidade, eles podem produzir rupturas reais que são refletidas nos dados.
Alguém realizar a entrada de dados, por exemplo, pode facilmente adicionar um extra 0 no final de um valor por engano, tendo a entrada fora da faixa e produzindo um outlier.
Se você está olhando para os dados observacionais coletados por um sensor de água instalado no Porto de Baltimore - e relata uma profundidade de água de 20 pés acima do nível médio do mar - você tem um outlier. O sensor é obviamente errada a menos que Baltimore está completamente coberta pela água.
Os dados podem acabar tendo de outliers por causa de eventos externos ou um erro por uma pessoa ou um instrumento.
Se um verdadeiro evento como um acidente de flash é atribuída a um erro no sistema, suas consequências ainda são reais - mas se você sabe a origem do problema, você pode concluir que uma falha nos dados, não o seu modelo, foi a culpa se o seu modelo não prever o evento.
Conhecer a origem do outlier vai orientar a sua decisão sobre como lidar com ele. Outliers que foram o resultado de erros de entrada de dados pode ser facilmente corrigido após consulta da fonte de dados. Outliers que refletem uma realidade mudança pode pedir-lhe para mudar seu modelo.
Não há one-size-fits-all resposta quando você está decidindo se deseja incluir ou desconsiderar dados extrema que não é um erro ou falha. Sua resposta depende da natureza da análise que está fazendo - e sobre o tipo de modelo que você está construindo. Em alguns casos, a maneira de lidar com esses valores atípicos é simples:
Se você traçar o seu outlier a um erro de entrada de dados quando você consultar a fonte de dados, você pode facilmente corrigir os dados e (provavelmente) manter o modelo intacto.
Se isso sensor de água no porto de Baltimore relata água a uma profundidade de 20 pés acima do nível médio do mar, e você está em Baltimore, olha pela janela:
Se Baltimore não está completamente coberta pela água, o sensor é obviamente errado.
Se você ver um peixe olhando para você, a realidade tem changed- você pode ter que rever o seu modelo.
O flash crash pode ter sido um evento one-time (no curto prazo, pelo menos), mas seus efeitos eram reais - e se você já estudou o mercado a longo prazo, você sabe que algo semelhante pode acontecer novamente. Se o seu negócio é em finanças e você lidar com o mercado de ações o tempo todo, você quer seu modelo para explicar tais aberrações.
Em geral, se o resultado de um evento normalmente considerado um outlier pode ter um impacto significativo sobre o seu negócio, considerar como lidar com esses eventos em sua análise. Manter estes pontos gerais em mente sobre valores atípicos:
O conjunto de dados menor, mais significativos os valores atípicos podem ter impacto sobre a análise.
À medida que desenvolve o seu modelo, certifique-se também desenvolver técnicas para encontrar valores discrepantes e de compreensão sistemática o seu impacto no seu negócio.
discrepantes detecção pode ser um Process- complexo há nenhuma maneira simples de identificá-los.
UMA especialista de domínio (Alguém que conhece o campo que você está modelando) é a melhor pessoa go-to para verificar se um ponto de dados é válido, um outlier você pode ignorar, ou um outlier você tem que levar em conta. O especialista de domínio deve ser capaz de explicar o que fatores criou o outlier, o que a sua gama de variabilidade é, e seu impacto sobre o negócio.
ferramentas de visualização pode ajudar a detectar os outliers nos dados. Além disso, se você sabe o intervalo esperado de valores que você pode facilmente consultar para dados que está fora desse intervalo.