Arquivo da categoria: Data Quality

O BI sem data quality não tem tanta “intelligence” nem serve ao “business”

Temos a tendência em acreditar que tudo é novidade na área da tecnologia da informação. Nós, os mais “antigos” temos vistos temas sendo revisitados e relançados. Assim como na moda, a área de TI abandona algumas tecnologias para anos depois, relança-las com alguma roupagem nova e/ou releitura. E mais, em TI, temos a indiscreta mania de fazer isso com nomes pomposos, estrangeiros, e, se for sigla então, fica parecendo mais novidade ainda!

Pois bem, com Data Quality não seria diferente. Muitas empresas ao redor do globo já praticam alguma forma de DQ. Lembrando, que existem níveis de maturação de empresas, pessoas, processos e dos próprio dados, quando falamos de DQ.

Por exemplo, qualquer pré-checagem de dados, na sua entrada (na digitação mesmo), ou, uma verificação (constraint) na coluna de uma tabela do RDBMS já é um passo em direção ao DQ.

Continue lendo O BI sem data quality não tem tanta “intelligence” nem serve ao “business”

Qual a diferença entre ETL e MDM?


MDM
ETL é um velho conhecido. ETL significa Extract – Transform – Load, ou, em “bom quase bom português”: Extrair, Transformar e Carregar. Nos últimos anos alguns “vendors” (fabricantes), notadamente, a IBM, tem aparecido com “várias variações”, tais como: TEL e T-ETL, por exemplo. Mas, no fundo “ETL” em que pese o significado de suas “letrinhas combinadas” é um processo de migração, de transporte de dados.

 O objetivo máximo de uma ferramenta de ETL é transportar dados de uma ou mais fontes de origem (A) para um destino (B). Normalmente, (A) é uma banco de dados relacional e/ou arquivos texto (xml, csv, “plain text”). E, o destino ou (B), geralmente, é um Data Mart ou Data Warehouse (banco de dados relacional, NoSQL, BigData, etc). Obviamente, existem outros usos mais específicos (e até mais bacanas) para ETL.

Continue lendo Qual a diferença entre ETL e MDM?

IBM InfoSphere DataStage | MySQL

datastageFiz alguns exercícios com o DataStage da IBM. Não sou lá dos maiores fãs da IBM, mas, preciso confessar que o DataStage me convenceu. Até os tutoriais de instalação e guias de uso foram perfeitos (alguém vai usar isso contra mim algum dia 🙂 ).

Mas, o que é o DataStage?
Acima de tudo é uma ferramenta de consolidação que faz faz parte do InfoSphere Information Server. Com ele é possível fazer ETL (Extract-Transform-Load), ELT, e, TEL.
É uma ferramenta fantástica que permite criar “jobs” que extraem informações de, virtualmente, qualquer banco de dados, manipulá-las, através de regras de negócios, e, persisti-las, igualmente em qualquer banco de dados. Ponto para a IBM que não se limitou aos seus enjoados e chatões DB2 e (des)Informix.

Continue lendo IBM InfoSphere DataStage | MySQL