Questões de Tecnologia da Informação - Apache Hadoop

O Hadoop é uma plataforma de banco de dados relacional, que utiliza o SQL para gerenciar grandes volumes de dados de maneira centralizada.

O Hadoop possui uma arquitetura distribuída, composta principalmente pelo HDFS (Hadoop Distributed File System) e o MapReduce, permitindo o processamento de grandes volumes de dados de maneira escalável e paralela.

O principal componente do Hadoop é o NoSQL, que possibilita o armazenamento de dados não estruturados em um único servidor, sem a necessidade de distribuição.

O Hadoop foi projetado para pequenas empresas que possuem volumes reduzidos de dados e não requerem processamento paralelo, destacando-se por sua simplicidade de uso.

O Hadoop se limita ao armazenamento de dados em clusters locais, não sendo compatível com ambientes de computação em nuvem ou distribuídos globalmente.

criar um diretório no cluster master, para servir de apoio aos dados de armazenamento temporário do sistema distribuído, formando um bloco de arquivos de 64MB associado às aplicações dos clientes, com cada bloco manipulado pelo HDFS.

designar as estruturas de dados como nós, associados às funções de monitoração e execução de dados, pretendendo, com isso, checar falhas de acesso aos nós e permitir o reacesso a um nó perdido.

estruturar os dados recebidos em blocos de 64 MB, de forma a estabelecer uma coleção de pares com a chave de identificação e o valor, que é o dado propriamente dito, sendo a manipulação realizada por funções construídas com linguagens específicas.

particionar os arquivos em blocos de 64 MB e replicar os blocos em três cópias no modo cluster e uma cópia no modo local, alocando os mesmos em servidores diferentes.

providenciar, para cada estrutura de dados, uma conexão ao nó ao qual ela está ligada por meio de um link utilizando o protocolo SSH, de modo a manter uma estrutura básica master-slave entre os nós do sistema distribuído de dados, facilitando a localização dos dados no cluster.

I, apenas.

II, apenas.

III, apenas.

I e II, apenas.

II e III, apenas.

O ResourceManager é a autoridade máxima que arbitra os recursos entre todas as aplicações do sistema e possui dois componentes principais: Scheduler e ApplicationsManager.

O Scheduler é responsável por alocar recursos para as aplicações em execução e são sujeitos a restrições de capacidade de recursos, filas etc.

O Scheduler é um scheduler puro no sentido de que não realiza nenhuma ação de monitoramento ou tracking de status para o aplicativo.

O NodeManager é o agente deployado em cada máquina e não é responsável pelo monitoramento de recursos (cpu, memória, disco, rede).

O ApplicationManager é responsável por aceitar envios de jobs, negociar o primeiro contêiner para executar a instância ApplicationMaster para a aplicação e fornecer o serviço para reiniciar o contêiner ApplicationMaster em caso de falha.