[{"jcr:title":"Saiba como funciona a mineração de dados (ou data mining)"},{"targetId":"id-share-1","text":"Confira mais em:","tooltipText":"Link copiado com sucesso."},{"jcr:title":"Saiba como funciona a mineração de dados (ou data mining)","jcr:description":"O processo de pesquisa aprofundada de informações digitais reúne inteligência artificial, machine learning e estatística"},{"subtitle":"O processo de pesquisa aprofundada de informações digitais reúne inteligência artificial, machine learning e estatística","author":"Ernesto Yoshida","title":"Saiba como funciona a mineração de dados (ou data mining)","content":"O processo de pesquisa aprofundada de informações digitais reúne inteligência artificial, machine learning e estatística   Leandro Steiw   Bilhões de dados são gerados diariamente no mundo digital. Uma navegada em portais de notícias, redes sociais, sites de comércio eletrônico ou serviços de streaming fornece informações do comportamento de usuários. Pesquisas científicas e acadêmicas produzem dados constantemente. Empresas de energia inspecionam a forma como você usa eletrodomésticos e aparelhos eletrônicos em casa. Todo esse conhecimento acumulado não faria sentido se não houvesse um processo de seleção e classificação dos dados. Este é o papel da mineração de dados: encontrar padrões e tendências implícitas, mas com grande potencial de aplicação, que passariam despercebidas sem uma avaliação completa.   O que é mineração de dados? A mineração é um processo de pesquisa aprofundada de conjuntos de dados à procura de padrões e correlações que permitam prever resultados. A expressão data mining foi criada na década de 1990, quando os avanços da computação em inteligência artificial e machine learning somaram-se aos métodos da estatística. Grandes bancos de dados começaram a ser explorados de forma automatizada, não mais apenas com o olhar humano ou com velocidades baixas de processamento. O processo de mineração de dados possibilita a criação de modelos e algoritmos para empresas da indústria, do comércio, de serviços e do mercado financeiro melhorarem as vendas e o relacionamento com fornecedores e consumidores. Também se pode cortar custos e minimizar riscos no negócio. Em escolas e universidades, a mineração ajuda a analisar a aprendizagem dos alunos.   Qual é a importância da mineração de dados? Com a mineração de dados, as empresas podem traçar estratégias de negócios baseadas em tendências, previsão de resultados, público-alvo e uso de produtos. O cruzamento das informações permite que as empresas se adaptem rapidamente às mudanças do mercado. Produtos podem ser melhorados e novos consumidores, identificados. Fica mais fácil acompanhar as mudanças na concorrência. A mineração de dados também extrai os dados realmente importantes ao negócio, que muitas vezes estão perdidos entre informações irrelevantes ou desnecessárias. Estima-se que a produção de dados dobre a cada dois anos por causa da expansão dos meios digitais. É humanamente impossível acompanhar tudo isso sem automatização, e ainda tomar decisões a tempo de sobreviver às mudanças.   Leia também: [• A arte de transformar dados em informação estratégica: conheça a profissão do cientista de dados](https://www.insper.edu.br/educacao-executiva/cursos-de-curta-duracao/tecnologia-e-data-science/)   Como funciona a mineração de dados? São muitas as metodologias e técnicas usadas na mineração de dados, pois envolvem modelos de estatística, inteligência artificial e machine learning , que não são únicos. Logo, os nomes variam conforme o autor. Mas, basicamente, a mineração segue cinco etapas: 1) Coleta e seleção: os dados são organizados e armazenados, selecionando-se as informações que interessam à empresa. 2) Compreensão e pré-processamento: os dados são examinados por analistas e cientistas de dados, que eliminam os que fogem aos objetivos da mineração. Ou seja, são retiradas as anomalias, ruídos e dados inválidos. 3) Preparação e transformação: os dados selecionados no pré-processamento são formatados conforme o algoritmo escolhido. 4) Modelagem e mineração: é a etapa operacional, na qual o algoritmo monta um modelo de dados que relaciona as informações existentes no banco de dados, por meio de padrões, correlações e anomalias. 5) Avaliação e análise: os resultados do modelo obtido na mineração são avaliados pelos especialistas da empresa, que analisam como podem ser aplicados ao negócio.   Leia também: [• Data Science: conheça a área que está em ascensão no Brasil](https://www.insper.edu.br/educacao-executiva/cursos-de-curta-duracao/tecnologia-e-data-science/) Quais são os tipos de mineração de dados? Outra vez, os tipos de mineração de dados dependem do autor e, em alguns casos, da tradução escolhida para a expressão original em inglês. Segue uma lista simplificada dos mais comuns: Associação: busca ocorrências entre eventos e comportamentos, como produtos que são adquiridos com um item complementar. Por exemplo, o consumidor de determinado lanche compra o mesmo tipo de bebida. Sequência ou padrão sequencial: procura ocorrências que sucedem eventos. Por exemplo, quem compra um notebook adquire, posteriormente, um fone sem fio ou um monitor maior. Classificação e regressão: divide bancos de dados em categorias de destino, permitindo antecipar movimentos. É usado, por exemplo, por empresas que querem identificar e reter clientes que, de acordo com o histórico de consumo, normalmente abandonam um serviço financeiro ou de telecomunicação. Ou ainda detectar fraudes em transações com cartões de crédito. Aglomeração, agrupamento ou clustering : assim como a classificação, agrupa dados segundo a sua semelhança. Permite montar grupos de afinidades para produtos e serviços conforme faixa etária, renda, sexo, distribuição geográfica etc. Árvore de decisão: usadas em modelos preditivos do tipo causa e consequência, buscando como as entradas de dados influenciam as saídas. Por exemplo, se a compra é menor que um determinado valor, o cliente é eventual; se está num valor intermediário, é um cliente regular e pode ganhar frete grátis; se supera um valor mais alto, é um cliente premium e recebe um desconto ou cashback . Redes neurais: usadas em modelos de machine learning , por meio de várias camadas de estruturas de dados baseadas no funcionamento do cérebro humano. Buscam precisão apurada da análise dos dados. Detecção de outliers: procura anomalias nos dados, como valores atípicos ( outliers em inglês) de vendas. Por exemplo, um aumento exagerado no faturamento médio sem que tenha ocorrido algum evento sazonal ou alguma promoção.   Como o Insper pode ajudar? Data science e megadados são disciplinas que fazem parte dos cursos de [Ciência da Computação](https://www.insper.edu.br/graduacao/ciencia-da-computacao/) e [Engenharia de Computação](https://www.insper.edu.br/graduacao/engenharia/engenharia-de-computacao/) do Insper, bem como inteligência artificial e machine learning . Todas são fundamentais para quem deseja trabalhar com mineração de dados. Além disso, na pós-graduação, o [Programa Avançado em Data Science e Decisão](https://www.insper.edu.br/pos-graduacao/programas-avancados/programa-avancado-em-data-science-e-decisao/) do Insper foi criado para formar cientistas de dados, profissionais que auxiliam empresas e organizações na identificação de problemas e oportunidades, propondo a seguir soluções para problemas ou oportunidades organizacionais e auxiliando na tomada de decisões. Os cursos de educação executiva em [Tecnologia & Data Science](https://www.insper.edu.br/educacao-executiva/cursos-de-curta-duracao/tecnologia-e-data-science/) permitem que os profissionais se atualizem com as tecnologias que trazem a transformação organizacional e debatam o valor dos dados e como estes podem nortear a tomada de decisão de maneira ética e consciente."}]