Skip to content

Kjor Hadoop wordcount MapReduce Eksempel pa Windows.

I dette innlegget bruker vi HDFS-kommandoen 'bin \ hdfs dfs' med forskjellige alternativer som mkdir, copyFromLocal, cat, ls og endelig kjore wordcount MapReduce jobben gitt i% HADOOP_HOME% \ share \ hadoop \ mapreduce \ hadoop-mapreduce- eksempler-2.2.0.jar. Ved vellykket utforelse av jobben i den enkle noden (pseudo-distribuert modus) -klyngen, vil en utgang (inneholder teller av forekomsten av hvert ord) bli generert.

Verktoy og teknologier som brukes i denne artikkelen:

1. Installer Apache Hadoop 2.2.0 i Microsoft Windows OS.

2. Start HDFS (Namenode og Datanode) og YARN (Resource Manager og Node Manager)

Kjor folgende kommandoer.

Namenode, Datanode, Resource Manager og Node Manager vil bli startet om noen fa minutter og klar til a utfore Hadoop MapReduce jobb i den enkle noden (pseudo-distribuert modus) -klyngen.

3. Kjor wordcount MapReduce jobb.

Na kjorer vi WordCount MapReduce jobb tilgjengelig i% HADOOP_HOME% \ share \ hadoop \ mapreduce \ hadoop-mapreduce-eksempler-2.2.0.jar.

Lag en tekstfil med noe innhold. Vi sender denne filen som input til wordcount MapReduce jobb for a telle ord.

Opprett en katalog (si "input") i HDFS for a beholde alle tekstfiler (si 'file1.txt') som skal brukes til a telle ord.

Kopier tekstfilen (si 'file1.txt') fra lokal disk til den nylig opprettede 'input'-katalogen i HDFS.

Kontroller innholdet i den kopierte filen.

Kjor wordcount MapReduce jobben gitt i% HADOOP_HOME% \ share \ hadoop \ mapreduce \ hadoop-mapreduce-eksempler-2.2.0.jar.


Hallo! Vil du spille i det mest populære kasinoet? Vi samlet det for deg. Gå her nå!