Pemrograman Pig: Buat Script Apache Pig Pertama Anda
Di kami , sekarang kita akan belajar cara membuat skrip Apache Pig. Skrip Apache Pig digunakan untuk mengeksekusi sekumpulan perintah Apache Pig secara kolektif. Ini membantu dalam mengurangi waktu dan usaha yang diinvestasikan dalam menulis dan mengeksekusi setiap perintah secara manual saat melakukan ini dalam pemrograman Pig.Ini juga merupakan bagian integral dari .Blog ini adalah panduan langkah demi langkah untuk membantu Anda membuat skrip Apache Pig pertama Anda.
Mode Eksekusi Skrip Apache Pig
Mode lokal : Dalam 'mode lokal', Anda dapat menjalankan skrip pig di sistem file lokal. Dalam kasus ini, Anda tidak perlu menyimpan data di sistem file Hadoop HDFS, sebagai gantinya Anda dapat bekerja dengan data yang disimpan di sistem file lokal itu sendiri.
Mode MapReduce : Dalam 'mode MapReduce', data perlu disimpan dalam sistem file HDFS dan Anda dapat memproses data dengan bantuan skrip pig.
Apache Pig Script dalam Mode MapReduce
Misalkan tugas kita adalah membaca data dari file data dan menampilkan konten yang diperlukan pada terminal sebagai output.
File data contoh berisi data berikut:
adalah gelar pascasarjana
Simpan file teks dengan nama 'information.txt'
File data contoh berisi lima kolom Nama depan , Nama keluarga , Nomor ponsel , Kota , dan Profesi dipisahkan oleh tombol tab . Tugas kita adalah membaca konten file ini dari HDFS dan menampilkan semua kolom record ini.
Untuk memproses data ini menggunakan Pig, file ini harus ada di Apache Hadoop HDFS.
Perintah : hadoop fs –copyFromLocal /home/edureka/information.txt / edureka
Langkah 1: Menulis skrip Pig
Buat dan buka file skrip Apache Pig di editor (mis. Gedit).
Perintah : sudo gedit /home/edureka/output.pig
Perintah ini akan membuat file 'output.pig' di dalam direktori home pengguna edureka.
Mari kita tulis beberapa perintah PIG di file output.pig.
A = LOAD '/edureka/information.txt' menggunakan PigStorage ('') sebagai (FName: chararray, LName: chararray, MobileNo: chararray, City: chararray, Profession: chararray) B = FOREACH A menghasilkan FName, MobileNo, Profession DUMP BSimpan dan tutup file.
- Perintah pertama memuat file 'information.txt' ke dalam variabel A dengan skema tidak langsung (FName, LName, MobileNo, City, Profession).
- Perintah kedua memuat data yang diperlukan dari variabel A ke variabel B.
- Baris ketiga menampilkan konten variabel B di terminal / konsol.
Langkah 2: Jalankan Apache Pig Script
Untuk menjalankan skrip pig dalam mode HDFS, jalankan perintah berikut:
Perintah : babi /home/edureka/output.pig
Setelah eksekusi selesai, tinjau hasilnya. Gambar di bawah ini menunjukkan hasil dan peta perantara dan fungsi pengurangan.
Gambar di bawah ini menunjukkan bahwa Script berhasil dijalankan.
Gambar di bawah ini menunjukkan hasil skrip kami.
daftar acara javascript dengan contoh
Selamat, Anda telah berhasil menjalankan skrip Apache Pig pertama Anda!
Sekarang Anda tahu, cara membuat dan menjalankan skrip Apache Pig. Karenanya, blog kami berikutnya di akan membahas bagaimana caranya buat UDF (User Defined Functions) di Apache Pig dan jalankan dalam mode MapReduce / HDFS.
Sekarang Anda telah membuat dan menjalankan Apache Pig Script, lihat file oleh Edureka, perusahaan pembelajaran online tepercaya dengan jaringan lebih dari 250.000 pelajar yang puas dan tersebar di seluruh dunia. Kursus Pelatihan Sertifikasi Edureka Big Data Hadoop membantu peserta didik menjadi ahli dalam domain HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume, dan Sqoop menggunakan kasus penggunaan waktu nyata pada Ritel, Media Sosial, Penerbangan, Pariwisata, domain Keuangan.
Ada pertanyaan untuk kami? Harap sebutkan di bagian komentar dan kami akan menghubungi Anda kembali.