Hvordan installere og konfigurere Cloudera Manager på CentOS/RHEL 7 - Del 3

I denne artikkelen beskrev vi den trinnvise prosessen for å installere Cloudera Manager i henhold til industriell praksis. I del 2 har vi allerede gått gjennom Cloudera-forutsetningene, sørg for at alle serverne er perfekt forberedt.

Krav

Beste praksis for distribusjon av Hadoop Server på CentOS/RHEL 7 – Del 1
Sette opp Hadoop-forutsetninger og sikkerhetsherding – del 2

Her skal vi ha 5 node cluster hvor 2 master og 3 arbeidere. Jeg har brukt 5 AWS EC2-forekomster for å demonstrere installasjonsprosedyren. Jeg har navngitt de 5 serverne som nedenfor.

master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net

Cloudera Manager er et administrasjons- og overvåkingsverktøy for hele CDH. Vi admin kaller det vanligvis et administrasjonsverktøy for Cloudera Hadoop. Vi kan distribuere, overvåke, kontrollere og gjøre konfigurasjonsendringer ved å bruke dette verktøyet. Dette er svært viktig for å administrere hele klyngen.

Nedenfor er de viktige bruksområdene for Cloudera Manager.

Distribuer og konfigurer Hadoop-klynger på en automatisert måte.
Overvåk klyngens helse
Konfigurer varsler
Feilsøking
Rapportering
Lage rapport om klyngebruk
Konfigurere ressurser dynamisk

Trinn 1: Installere Apache Web Server på CentOS

Vi kommer til å bruke master1 som en webserver for Cloudera repositories. Cloudera Manager er også WebUI, så vi må ha Apache installert. Følg trinnene nedenfor for å installere apache-webserveren.

yum -y install httpd

Når httpd er installert, start den og aktiver den slik at den startes ved oppstart.

systemctl start httpd
systemctl enable httpd

Etter å ha startet httpd, kontroller statusen.

systemctl status httpd

Etter å ha startet httpd, åpne en nettleser i ditt lokale system og lim inn IP-adressen til master1 i søkefeltet, du bør få opp denne testsiden for å sikre at httpd kjører bra.

Trinn 2: Konfigurer lokal DNS for å løse IP og vertsnavn

Vi må ha en DNS-server eller konfigurere /etc/hosts for å løse IP og vertsnavn. Her konfigurerer vi /etc/hosts, men i sanntid vil en dedikert DNS-server være der for produksjonsmiljøet.

Følg trinnene nedenfor for å opprette en oppføring for alle serverne dine i /etc/hosts.

vi /etc/hosts

Dette bør konfigureres på alle serverne.

13.235.27.144   master1.linux-console.net     master1
13.235.135.170  master2.linux-console.net     master2
15.206.167.94   worker1.linux-console.net     worker1
13.232.173.158  worker2.linux-console.net     worker2
65.0.182.222    worker3.linux-console.net     worker3

Trinn 3: Konfigurer SSH passordløs pålogging

Cloudera Manager blir installert på master1 i denne demonstrasjonen. Vi må konfigurere passordfri ssh fra master1 til alle andre noder. Fordi Cloudera Manager vil bruke ssh for å kommunisere alle andre noder for å installere pakker.

Følg trinnene nedenfor for å konfigurere passordfri ssh fra master1 til alle gjenværende servere. Vi kommer til å ha en bruker «tecmint» for å fortsette videre.

Opprett en bruker «tecmint» alle 4 serverne ved å bruke useradd-kommandoen som vist.

useradd -m tecmint

For å gi root-privilegiet til brukeren «tecmint», legg til linjen nedenfor i filen /etc/sudoers. Du kan legge til denne linjen under root som gi i skjermbildet.

tecmint   ALL=(ALL)    ALL

Bytt til bruker «tecmint» og opprett ssh-nøkkel i master1 ved å bruke kommandoen nedenfor.

sudo su tecmint
ssh-keygen

Kopier nå den opprettede nøkkelen til alle 4 serverne ved å bruke ssh-copy-id-kommandoen som vist.

ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
ssh-copy-id -i ~/.ssh/id_rsa.pub [email  
ssh-copy-id -i ~/.ssh/id_rsa.pub [email

Nå skal du kunne ssh fra master1 til å forbli alle servere uten passord som vist.

ssh master2
ssh worker1
ssh worker2
ssh worker3

Trinn 4: Installere og konfigurere Cloudera Manager

Vi kan bruke leverandør (Cloudera) repository for å installere alle pakkene ved å bruke pakkeadministrasjonsverktøyene i RHEL/CentOS. I sanntid er å lage vårt eget depot den beste praksisen fordi vi kanskje ikke har internettilgang på produksjonsserverne.

Her skal vi installere Cloudera Manager 6.3.1-utgivelsen. Siden vi skal bruke master1 som repo-server, laster vi ned pakkene i den nedenfor nevnte banen.

Opprett katalogene nedenfor på master1-serveren.

sudo mkdir -p /var/www/html/cloudera-repos/cm6

Vi kan bruke wget-verktøyet til å laste ned pakker over http. Så installer wget ved å bruke kommandoen nedenfor.

sudo yum -y install wget

Deretter laster du ned Cloudera Manager tar-filen ved å bruke følgende wget-kommando.

wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz

Pakk ut tar-filen til /var/www/html/cloudera-repos/cm6, allerede har vi laget master1 som webserver ved å installere http og vi har testet på nettleseren.

sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1

Kontroller nå at alle Cloudera rpm-filene er der i katalogen /var/www/html/cloudera-repos/cm6/RPMS/x86_64.

cd /var/www/html/cloudera-repos/cm6
ll

Opprett /etc/yum.repos.d/clooudera-manager.repo-filer på alle servere i klyngevertene med følgende innhold, her er master1 (65.0.101.148) webserveren.

[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0

Nå depotet er lagt til, kjør kommandoen nedenfor for å se de aktiverte depotene.

yum repolist

Kjør kommandoen nedenfor for å se alle tilgjengelige Cloudera-relaterte pakker i depotet.

yum list available | grep cloudera*

Installer cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.

sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2

Kjør kommandoen nedenfor for å se alle de installerte Cloudera-pakkene.

yum list installed | grep cloudera*

Kjør kommandoen nedenfor for å starte clooudera-scm-server-db som er en underliggende database for å lagre Cloudera Manager og andre tjenesters metadata.

Som standard kommer Cloudera med postgre-sql som er innebygd i Cloudera Manager. Vi installerer den innebygde, i en ekstern sanntidsdatabase som kan brukes. Det kan være Oracle, MySQL, eller PostgreSQL.

sudo systemctl start cloudera-scm-server-db

Kjør kommandoen nedenfor for å sjekke statusen til databasen.

sudo systemctl status cloudera-scm-server-db

Konfigurer db.properties for Cloudera Manager-serveren.

vi /etc/cloudera-scm-server/db.properties

Konfigurer verdien nedenfor er EMBEDDED for å få Cloudera Manager til å bruke Embedded Database.

com.cloudera.cmf.db.setupType=EMBEDDED

Kjør kommandoen nedenfor for å starte Cloudera Manager-serveren.

sudo systemctl start cloudera-scm-server

Kjør kommandoen nedenfor for å sjekke statusen til Cloudera Manager-serveren.

sudo systemctl status cloudera-scm-server

Kjør kommandoen nedenfor for å starte og sjekke statusen til Cloudera Manager-agenten.

sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent

Når Cloudera Manager Server har startet opp og kjører bra, kan du se WebUI (påloggingssiden) i nettleseren ved å bruke IP-adressen og portnummeret 7180 som er portnummeret til Cloudera Manager.

https://65.0.101.148:7180

Sammendrag

I denne artikkelen har vi sett trinnvis prosess for å installere Cloudera Manager på CentOS 7. Vi vil se CDH og andre tjenesteinstallasjoner i neste artikkel.