Temos a tendência em acreditar que tudo é novidade na área da tecnologia da informação. Nós, os mais “antigos” temos vistos temas sendo revisitados e relançados. Assim como na moda, a área de TI abandona algumas tecnologias para anos depois, relança-las com alguma roupagem nova e/ou releitura. E mais, em TI, temos a indiscreta mania de fazer isso com nomes pomposos, estrangeiros, e, se for sigla então, fica parecendo mais novidade ainda!

Pois bem, com Data Quality não seria diferente. Muitas empresas ao redor do globo já praticam alguma forma de DQ. Lembrando, que existem níveis de maturação de empresas, pessoas, processos e dos próprio dados, quando falamos de DQ.

Por exemplo, qualquer pré-checagem de dados, na sua entrada (na digitação mesmo), ou, uma verificação (constraint) na coluna de uma tabela do RDBMS já é um passo em direção ao DQ.

Reforçando que DQ não um software e/ou técnica, isolados. DQ é um processo que envolve: ferramentas, pessoas, e, técnicas. Tudo junto e misturado, mas, jamais, iniciativas isoladas.

Mas, o fato é que tanto aqui no Brasil como na maioria dos países, ainda, é incipiente . O seu uso encontra-se muito setorizado, veja no gráfico ao lado.

Normalmente, e, erroneamente, o DQ é associado apenas com CRM e marketing, principalmente, como motor principal para montagem e distribuição de campanhas.

Só isso? O DQ pode ir muito mais longe, como por exemplo para prevenção de fraudes (principal uso no setor financeiro), na obtenção de visão 360^o do cliente, entre outros.

Existem muitos usos e aplicação para o DQ. Contudo, o mais proeminente é utilizá-lo como filtro para o BI (Business Intelligence). Normalmente, utilizam-se as ferramentas de BI para ir direto nas fontes (bancos de dados) para extrair as informações necessárias para construir o modelo de BI. Contudo, estas fontes, podem não estar coesas. E, via de regra, não estão.

E, quando o assunto é múltiplos sistemas e/ou múltiplas bases de dados, a tendência é que os dados recuperados para o BI, não são muito acurados.

Pesquisa da SERASA Experian dos EUA indicam que 81% dos grandes varejistas americanos encontraram problemas simplórias em seu BI, tais como, clientes duplicados e/ou endereços diversos para um mesmo cliente, após aplicarem DQ.

Por mais filtros, regras e transformações que se faça na extração dos dados para construção do modelo de BI, ainda assim, corre-se o risco de falhar, pois, DQ não é só a ferramenta de extração (ETL), DQ é um processo. E, isto, tem sido negligenciado, sistematicamente.

Ainda, de acordo com a SERASA Experian, 87% das empresas norte americanas do setor financeira, relataram ter encontrado problemas em seus BI devido à informações não consolidadas e falta de informações precisas.

Portanto, a tendência, atualmente, é ao invés de buscar os dados diretamente na origem, é, quando aplicável, buscar os dados dentro de repositórios mantidos (ou protegidos se preferir) por um sistema de DQ.

 A união de forças entre BI e DQ tem sido latente nos Estados Unidos e Europa, e, tenho vivido, inclusive, uma experiência similar no Brasil. Ainda, há muito caminho pela frente, mas, certamente, esta fusão entre as duas especialidades veio para ficar.