Análise de texto para dados não estruturados grande

Video: Painel Análise de Textos e dados estruturados

Existem numerosos métodos para a análise de dados não estruturados para sua iniciativa de dados grande. Historicamente, estas técnicas saiu de áreas técnicas, tais como processamento de linguagem natural (NLP), descoberta de conhecimento, mineração de dados, recuperação de informações e estatísticas. análise de texto é o processo de análise de texto não estruturado, extrair informações relevantes, e transformando-os em informações estruturadas que podem ser aproveitados de várias maneiras.

Os processos de análise e extração de tirar proveito das técnicas que se originaram em linguística computacional, estatística e outras disciplinas de ciência da computação.

Às vezes, um exemplo pode ajudar a explicar um tema complexo. Suponha que você trabalha para o departamento de marketing em uma empresa de telefonia sem fio. Você acaba de lançar dois novos planos de chamadas - Plano A e Plano B - e você não está recebendo a captação você queria sobre o Plano A. O texto não estruturado a partir das anotações de call center pode lhe dar algumas dicas sobre por que isso aconteceu.

As palavras sublinhadas fornecer a informação que você precisa para entender por que o Plano A não está ganhando rápida adoção. Por exemplo, a entidade Plano A aparece ao longo das notas de call center, indicando que os relatórios mencionam o plano.

Video: Uso de mineração de dados e textos para cálculo de preços de referência em co

Os termos minutos com capotamento, os dados de 4GB, plano de dados, e caro são evidências de que existe um problema com os minutos a capotagem, o plano de dados, eo preço. palavras como ridículo e estúpido fornecer informações sobre o sentimento do chamador, que neste caso é negativo.

O processo de análise de texto utiliza vários algoritmos, como a estrutura da frase compreensão, para analisar o texto não estruturado e, em seguida, extrair informações e transformar essa informação em dados estruturados. Os dados estruturados extraídos a partir do texto não estruturado é ilustrado na Tabela 13-1.

Você pode olhar para isso e dizer: “Mas eu poderia ter descoberto isso por olhar para os registros de call center.” No entanto, estes são apenas um pequeno subconjunto da informação a ser gravada por milhares de agentes de call center. Cada agente individual não pode sentir uma tendência geral sobre o problema com cada plano a ser oferecido pela empresa.

Agentes não têm o tempo ou a necessidade de partilhar esta informação através de todos os outros agentes de call center que pode estar recebendo um número semelhante de chamadas sobre o Plano A. No entanto, após esta informação é agregada e processados ​​usando análise de texto algoritmos, uma tendência pode emergir esses dados não estruturados. É isso que faz análise de texto tão poderoso.

Pesquisa é sobre como recuperar um documento com base no que os usuários finais já sabe que eles estão procurando. análise de texto é sobre a descoberta de informações. Enquanto análise de texto difere da pesquisa, pode aumentar as técnicas de pesquisa. Por exemplo, análise de texto, combinados com a pesquisa pode ser usada para proporcionar uma melhor categorização ou classificação de documentos e produzir resumos ou resumos de documentos.

Existem quatro tecnologias: consulta, mineração de dados, pesquisa e análise de texto. No lado esquerdo da tabela são consulta e pesquisa, que estão a cerca de recuperação. Por exemplo, um usuário final pode consultar um banco de dados para descobrir como muitos clientes deixaram de usar os serviços da empresa no mês passado.

A consulta retornaria um único número. Apenas pedindo mais e diferentes consultas será o usuário final obter as informações necessárias para determinar por que os clientes estão saindo. Da mesma forma, a pesquisa de palavras-chave permite que o usuário final para encontrar os documentos que contêm os nomes dos concorrentes de uma empresa. A pesquisa retornará um grupo de documentos. Apenas lendo os documentos que o usuário final vir para cima com todas as respostas relevantes.

As tecnologias sobre as peças de retorno à esquerda de informação e exigem interação humana para sintetizar e analisar essa informação. As tecnologias à direita - Análises de mineração de dados e texto - entregar uma visão muito mais rapidamente. Felizmente, o valor de análise de texto para a sua organização está se tornando claro.