Di blog ini, mari kita lihat cara membuat Spark untuk versi Hadoop tertentu.
Kami juga akan belajar cara membuat Spark dengan HIVE dan YARN.
untuk apa nagios digunakan
Mengingat yang Anda miliki Hadoop, jdk, mvn dan Pergilah pra-instal dan pra-konfigurasi pada sistem Anda.
Buka Browser Mozilla dan Unduh Percikan menggunakan tautan di bawah ini.
https://edureka.wistia.com/medias/k14eamzaza/
Buka terminal.
Perintah: tar -xvf Downloads / spark-1.1.1.tgz
Perintah: ls
Buka direktori spark-1.1.1.
Anda bisa membuka pom.xml mengajukan. File ini memberi Anda informasi tentang semua file ketergantungan kamu butuh.
Jangan diedit untuk menghindari masalah.
Perintah: cd spark-1.1.1 /
Perintah: sudo gedit sbt / sbt-launch-lib.bash
Edit file seperti snapshot di bawah ini, simpan dan tutup.
Kami mengurangi memori untuk menghindari masalah ruang heap objek seperti yang disebutkan dalam snapshot di bawah ini.
Sekarang, jalankan perintah di bawah ini di terminal untuk membangun percikan untuk Hadoop 2.2.0 dengan HIVE dan YARN.
Perintah: ./sbt/sbt -P benang -P sarang lebah -Phadoop-2.2 -D hadoop.version = 2.2.0 -D skipTests majelis
Catatan: Versi Hadoop saya adalah 2.2.0, Anda dapat mengubahnya sesuai dengan versi Hadoop Anda.
Untuk versi Hadoop lainnya
# Apache Hadoop 2.0.5-alpha
-Dhadoop.version = 2.0.5-alpha
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0.23 -Dhadoop.version = 0.23.7
# Apache Hadoop 2.3.X.
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
Diperlukan beberapa saat untuk kompilasi dan pengemasan, harap tunggu sampai selesai.
Dua stoples percikan-perakitan-1.1.1-hadoop2.2.0.jar dan percikan-contoh-1.1.1-hadoop2.2.0.jar dibuat.
Jalur dari percikan-perakitan-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Jalur dari percikan-contoh-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Selamat, kamu berhasil membuat Spark for Hive & Yarn.
Ada pertanyaan untuk kami? Harap sebutkan di bagian komentar dan kami akan menghubungi Anda kembali.
Posting terkait:
Apache Spark dengan Hadoop-Mengapa itu penting?