Arquivo da tag: hadoop

Google BigQuery: O BigData simplificado

O que é Google BigQuery?

É uma solução em nuvem (cloud) para entregar Big Data SaaS. Pague pelo que usar. O Google BigQuery é uma solução Big Data, como o Hadoop, com a vantagem de não se precisar contratar e/ou comprar uma série de servidores, nem, contar com mão-de-obra, altamente, especializada. Bom, esta é a promessa do Google.

Estou usando o BigQuery desde dezembro de 2012, portanto, há pouco menos de 30 dias. Ainda é cedo para dar uma impressão apurada, mas, até agora tudo tem sido bom.

Subi um conjunto de dados, digamos, modesto: 500 milhões de linhas, dados oriundos de navegação em determinado site. E, estou “perguntando” coisas como: quais produtos foram vistos? o que foi, efetivamente, comprado? de onde são os internautas, e, quais produtos foram vistos/comprados por determinada região? quais ofertas foram  “empurradas” para cada internauta, enquanto navegavam? Entre outras.

Continue lendo Google BigQuery: O BigData simplificado

O que é Hadoop?

Acho que a melhor resposta é: Hadoop é o elefantinho desengonçado aí do lado. E de fato é. Quem está acostumado a assistir minhas aulas e palestras, deve estar pensando “o titio já está de sacanagem”. Não, não estou. Garanto. Este elefantinho aí ao lado, é do filho de Doug Cutting, criador do “Hadoop” (na verdade o filho dele é quem o criou). Doug decidiu usar este nome por ser de simples pronunciação, divertido, e acima de tudo único (acho que ninguém além de seu filhinho conhecia o que era um hadoop). Ser único tem uma vantagem astronômica nos dias googlianos! É facilmente localizável nas ferramentas de busca.

Agora, também podemos dizer que Hadoop é uma nova forma de armazenar e manipular grandes bancos de dados, sejam estes normalizados ou não. Na verdade, dentro do universo hadoop, sequer precisamos organizar os bancos de dados em tabelas, como faríamos num RDBMS tradicional

Hadoop não é para todos! Hadoop encontra sua existência em grandes bases de dados. E vamos combinar, nada menor que 1TB deve ser considerado grande nestes dias de Big Data.

Continue lendo O que é Hadoop?