Hvordan installere Apache Kafka i CentOS/RHEL 7


Apache Kafka er en kraftig meldingsmotor som er mye brukt i BigData-prosjekter og Data Analyticss livssyklus. Det er en åpen kildekode-plattform for å bygge sanntidsdatastrømningsrørledninger. Det er en distribuert publiserings-abonnentplattform med pålitelighet, skalerbarhet og holdbarhet.

Vi kan ha Kafka som en frittstående eller som en klynge. Kafka lagrer strømmedataene, og de kan kategoriseres som emner. Emnet vil ha et antall partisjoner slik at det kan håndtere en vilkårlig mengde data. Vi kan også ha flere replikaer for feiltolerante som vi har i HDFS. I en Kafka-klynge er megleren en komponent som lagrer de publiserte dataene.

Zookeeper er en obligatorisk tjeneste for å drive en Kafka-klynge, siden den brukes til å administrere koordineringen av Kafka-meglerne. Zookeeper spiller en nøkkelrolle mellom produsent og forbruker der den er ansvarlig for å opprettholde tilstanden til alle meglere.

I denne artikkelen vil vi forklare hvordan du installerer Apache Kafka i en enkelt node CentOS 7 eller RHEL 7.

Installere Apache Kafka i CentOS 7

1. Først må du installere Java på systemet ditt for å kjøre Apache Kafka uten feil. Så installer standardversjonen av Java ved å bruke følgende yum-kommando og bekreft Java-versjonen som vist.

yum -y install java-1.8.0-openjdk
java -version

2. Last deretter ned den siste stabile versjonen av Apache Kafka fra den offisielle nettsiden eller bruk følgende wget-kommando for å laste den ned direkte og pakke den ut.

wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
tar -xzf kafka_2.13-2.7.0.tgz 

3. Opprett en symbolsk kobling for kafka-pakken, legg deretter Kafka-miljøbanen til .bash_profile-filen og initialiser den som vist.

ln -s kafka_2.13-2.7.0 kafka
echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
source ~/.bash_profile

4. Deretter starter du Zookeeper, som kommer innebygd med Kafka-pakken. Siden det er en enkelt node-klynge, kan du starte dyrepasseren med standardegenskaper.

zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Bekreft om dyrepasseren er tilgjengelig eller ikke ved å bare telnet til Zookeeper port 2181.


telnet localhost 2181

6. Start Kafka med standardegenskapene.


kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Bekreft om Kafka er tilgjengelig eller ikke ved ganske enkelt telnet til Kafka-port 9092


telnet localhost 9092

8. Deretter oppretter du et eksempelemne.

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. List opp emnet som er opprettet.

kafka-topics.sh --zookeeper localhost:2181 --list

Konklusjon

I denne artikkelen har vi sett hvordan du installerer en enkelt node Kafka-klynge i CentOS 7. Vi vil se hvordan du installerer en multinode Kafka Cluster i neste artikkel.