Hvordan installere CDH og konfigurere tjenesteplasseringer på CentOS/RHEL 7 - Del 4
I en tidligere artikkel har vi forklart installasjonen av Cloudera Manager, i denne artikkelen vil du lære hvordan du installerer og konfigurerer CDH (Cloudera Distribution Hadoop) i RHEL/CentOS 7.
Mens vi installerer CDH-pakken, må vi sørge for at Cloudera Manager og CDH er kompatible. Cloudera-versjonen har 3 deler –
For eksempel bruker vi Cloudera Manager 6.3.1 og CDH 6.3.2. Her er 6 dur og 3 er den mindre versjonen. Major og Minor må være de samme for å unngå kompatibilitetsproblemer.
Krav
- Beste praksis for distribusjon av Hadoop Server på CentOS/RHEL 7 – Del 1
- Sette opp Hadoop-forutsetninger og sikkerhetsherding – del 2
- Hvordan installere og konfigurere Cloudera Manager på CentOS/RHEL 7 – Del 3
Vi tar de to nodene nedenfor for å installere CDH. Vi har allerede installert Cloudera Manager i master1, og vi bruker også master1 som en repo-server.
master1.linux-console.net
worker1.linux-console.net
Trinn 1: Last ned CDH-pakker på Master Server
1. Koble først til master1-serveren og last ned CDH-pakker-filer i /var/www/html/cloudera-repos/ cdhkatalog . Vi må laste ned 3 filer nedenfor som skal være kompatible med RHEL/CentOS 7.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json
2. Før du laster ned disse filene, sørg for å opprette en cdh-katalog under /var/www/html/cloudera-repos/ plassering.
cd /var/www/html/cloudera-repos/
sudo mkdir cdh
cd cdh
3. Last deretter ned de tre ovennevnte filene ved å bruke følgende wget-kommando.
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Trinn 2: Konfigurer Cloudera Manager Repo på arbeiderklienter
4. Nå, koble til arbeider-servere og kopier repo-filen (cloudera-manager.repo) fra repo-server (master1<) til alle gjenværende arbeiderservere. Denne repo-filen sikrer serverne at alle nødvendige pakker og RPM-er vil bli lastet ned fra repo-serveren under installasjonen.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL
5. Når repoen er lagt til, liste opp de aktiverte depotene for å sikre at clooudera-manager-repoen er aktivert.
yum repolist
Trinn 3: Installer Cloudera Manager Daemons and Agent på Worker Servers
6. Nå må vi installere clooudera-manager-daemons og clooudera-manager-agent på alle de gjenværende serverne.
sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Deretter må du konfigurere Cloudera Manager-agenten til å rapportere Cloudera Manager-serveren.
sudo vi /etc/cloudera-scm-agent/config.ini
Erstatt localhost med Cloudera Manager-serverens IP-adresse.
8. Start Cloudera Manager Agent og bekreft statusen.
sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent
Trinn 4: Installer og konfigurer CDH
Vi har CDH-pakker i master1 – reposerver. Sørg for at alle serverne har Cloudera Manager repo-fil i /etc/yum.repos.d/ hvis du følger automatisk installasjon med Cloudera Manager.
9. Logg på Cloudera Manager ved å bruke URL-adressen nedenfor ved port 7180 og bruk standard brukernavn og passord til Cloudera Manager.
http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin
10. Når du logger på, vil du bli møtt av velkomstsiden. Her kan du finne versjonsnotater, nye funksjoner i Cloudera Manager.
11. Godta lisensen og fortsett.
12. Velg utgaven. Prøveversjonen er valgt som standard, vi kan fortsette med det.
13. Følg nå trinnene for klyngeinstallasjon. Fortsett velkomstsiden.
14. Gi klyngen et navn og fortsett, vi har kalt "tecmint ". Det er 2 typer klynge du kan definere. Vi fortsetter med Regular Cluster.
- Vanlig klynge: Vil bestå av lagringsnoder, databehandlingsnoder og andre nødvendige tjenester.
- Compute Cluster: Vil bare bestå av databehandlingsnoder. Ekstern lagring kan brukes til å lagre data.
15. Vi har allerede installert Cloudera Manager Agents på alle serverne. Du kan finne disse serverne i «For øyeblikket administrerte verter ». For automatisk installasjon må du skrive inn FQDN eller IP for serverne i «Nye verter»-alternativet og søke. Cloudera Manager vil automatisk oppdage vertene som vi trenger å installere CDH på.
Her klikker du på «Nåværende administrerte verter», velg alle verter ved å velge «Vertsnavn» og fortsett.
16. Velg Repository – bruk av Parcel er den anbefalte måten. Klikk «Flere alternativer» for å konfigurere depotet.
17. Skriv inn nettadressen til det lokale depotet som nevnt nedenfor. Fjern alle de gjenværende offentlige depotene som peker på nettet (Cloudera Repositories).
Dette er den lokale nettadressen for CDH som vi har i master1.
http://104.211.95.96/cloudera-repos/cdh/
18. Når nettadressen til depotet er angitt, vil denne siden kun vise tilgjengelige pakker. Fortsett dette trinnet.
19. Nå lastes pakkene ned, distribueres, pakkes ut og aktiveres på alle tilgjengelige servere.
20. Når CDH-pakkene er aktivert, inspiser klyngen. Dette trinnet vil gjøre en helsesjekk av klyngen. Her hopper vi og fortsetter.
Trinn 5: Klyngekonfigurasjon
21. Her må vi velge tjenestene som skal installeres i klyngen. Noen pakkede kombinasjoner vil være tilgjengelige som standard, vi går med Tilpassede tjenester.
22. I Tilpassede tjenester installerer vi bare kjernekomponenter (HDFS og YARN >) for dette demoformålet.
23. Tildel rollene til serveren. Vi kan tilpasse i henhold til våre krav. Finn diagrammet nedenfor som beskriver den anbefalte rollefordelingen for en grunnleggende liten klynge med 5 til 20 noder med høy tilgjengelighet.
24. Velg databasetype, vertsnavn, DB-navn, brukernavn og passord. Siden vi bruker Embedded PostgreSQL, vil det bli valgt som standard. Test tilkoblingen, den skal være vellykket.
25. Denne siden vil vise standard konfigurasjonsparametere for HDFS og Yarn, inkludert datakataloger. Se gjennom alle konfigurasjonsdetaljene, og du kan gjøre endringer om nødvendig. Så fortsett med dette.
26. Denne siden viser detaljene for «Første kjøring»-kommandoen. Du kan utvide den for å se detaljene for kjørende kommandoer. Hvis det er nettverks- eller tillatelsesproblemer i klyngen, vil dette trinnet mislykkes. Vanligvis bestemmer dette trinnet den jevne installasjonen av Cluster Building.
27. Når trinnet ovenfor er fullført, klikker du «Fullfør» for å fullføre installasjonen. Dette er dashbordet til Cloudera Manager etter installasjon av CDH.
http://104.211.95.96:7180/cmf/home
Konklusjon
Vi har fullført installasjonen av Cloudera Manager og CDH. I Cloudera Manager Dashboard kan du finne et forhåndsdefinert sett med diagrammer der du kan overvåke Cluster CPU, Disk IO etc. Vi kan administrere hele Cluster ved å bruke denne Cloudera Manager >. Vi vil se alle administrative operasjoner i de kommende artiklene.