Kami telah belajar bagaimana caranya Bangun Sarang dan Benang di Spark . Sekarang mari kita coba contoh Hive and Yarn di Spark.
Contoh Sarang di Spark
Kami akan menjalankan contoh Hive on Spark. Kami akan membuat tabel, memuat data di tabel itu dan menjalankan kueri sederhana. Saat bekerja dengan Hive, seseorang harus membangun a HiveContext yang diwarisi dari SQLContext .
Perintah: cd spark-1.1.1
Perintah: ./bin/spark-shell
Buat file masukan 'Sampel' di direktori home Anda seperti di bawah snapshot (dipisahkan tab).
Perintah: val sqlContext = new org.apache.spark.sql.hive.HiveContext (sc)
Perintah: sqlContext.sql (“BUAT TABEL JIKA TIDAK ADA tes (nama STRING, peringkat INT) FORMAT ROW DELIMITED FIELDS DIHENTIKAN OLEH '' LINES TERMINATED BY '
'')
pro dan kontra kontroversi kecerdasan buatan
Perintah: sqlContext.sql ('LOAD DATA LOCAL INPATH '/ home / edureka / sample' INTO TABLE test')
Perintah: sqlContext.sql (“PILIH * DARI uji WHERE rank<5”).collect().foreach(println)
chef vs ansible vs boneka
Contoh Benang pada Spark
Kami akan menjalankan contoh SparkPi di Yarn. Kita dapat menerapkan Yarn pada Spark dalam dua mode: mode cluster dan mode klien. Dalam mode yarn-cluster, driver Spark berjalan di dalam proses master aplikasi yang dikelola oleh Yarn di cluster, dan klien dapat keluar setelah memulai aplikasi. Dalam mode benang-klien, driver berjalan dalam proses klien, dan master aplikasi hanya digunakan untuk meminta sumber daya dari Yarn.
Perintah: cd spark-1.1.1
Perintah: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.examples. SparkPi –num-executors 1 –driver-memory 2g –executor-memory 1g –executor-core 1 contoh / target / scala-2.10 / spark-contoh-1.1.1-hadoop2.2.0.jar
Setelah Anda menjalankan perintah di atas, harap tunggu beberapa saat sampai Anda mendapatkannya BERHASIL pesan.
Jelajahi localhost: 8088 / cluster dan klik aplikasi Spark.
Klik log .
Klik stdout untuk memeriksa hasilnya.
Untuk menerapkan Yarn pada Spark dalam mode klien, cukup buat –Deploy-mode sebagai 'klien'. Sekarang, Anda tahu cara membuat Hive and Yarn di Spark. Kami juga melakukan praktik pada mereka.
Ada pertanyaan untuk kami? Harap sebutkan di bagian komentar dan kami akan menghubungi Anda kembali.
posting terkait
temukan angka terbesar dalam array java
Apache Spark dengan Hadoop-Mengapa itu penting?
Sarang & Benang Dialiri Listrik Oleh Percikan