24
edições
Processamento de Dados Massivos/Projeto e implementação de aplicações Big Data/Classificação associativa incremental (LAC): diferenças entre revisões
Saltar para a navegação
Saltar para a pesquisa
Processamento de Dados Massivos/Projeto e implementação de aplicações Big Data/Classificação associativa incremental (LAC) (editar)
Revisão das 14h35min de 14 de fevereiro de 2013
, 14h35min de 14 de fevereiro de 2013sem resumo de edição
Sem resumo de edição |
Sem resumo de edição |
||
|
==== Evitando a divisão dos arquivos de entrada ====
Por padrão o Hadoop divide cada arquivo de entrada em vários chunks que são processador por diferentes mappers, este processo é feito para aumentar o grau de paralelismo.
[[Ficheiro:Hadoop-chunking1.png|
Contudo, este processo não é o adequado para nossa aplicação, visto que queremos processar cada arquivo em um único mapper desta forma a cache do LAC será aproveitada adequadamente. Para garantir que cada arquivo seja processado por apenas um mapper foi extendida a classe de input desejada, no nosso caso '''KeyValueTextInputFormat''', e sobrecarregamos o método '''isSplitable()''' de forma que retornase '''false'''.
▲[[Ficheiro:Hadoop-chunking1.png|miniaturadaimagem|Divisão em chunks]]
| |||