Hadoop Job Tacker
Job Tracker adalah daemon master untuk manajemen sumber daya Pekerjaan dan penjadwalan / pemantauan pekerjaan. Ini bertindak sebagai penghubung antara Hadoop dan aplikasi Anda.
Proses
Pengguna terlebih dahulu menyalin file ke Sistem File Terdistribusi (DFS), sebelum mengirimkan pekerjaan ke klien. Klien kemudian menerima file masukan ini. Pengguna akan menerima perpecahan atau blok berdasarkan file masukan.Klien bisamembuat perpecahan atau blok pada seorang prianer itu prefers, karena ada pertimbangan tertentu di baliknya. Jika analisis dilakukan pada data lengkap, Anda akan membagi data menjadi beberapa bagian. File tidak disalin melalui klien, tetapi disalin menggunakan flume atau Sqoop atau klien eksternal.
Setelah file disalin ke DFS dan klien berinteraksi dengan DFS,perpecahan akan menjalankan MapReduce job. Pekerjaan dikirimkan melalui pelacak pekerjaan. Pelacak pekerjaan adalah daemon master yang berjalan pada node yang samalaribeberapa pekerjaan ini pada node data. Data ini akan berada di berbagai node data, tetapi merupakan tanggung jawab pelacak pekerjaan untuk mengurusnya.
Setelah klien mengirimkanpelacak pekerjaan, pekerjaan diinisialisasi pada antrian pekerjaan dan pelacak pekerjaan membuat peta dan pengurangan. Berdasarkan program yang terdapat pada fungsi map dan fungsi reduce, maka akan dibuat tugas peta dan pengurangan tugas. Keduanya akan berjalan pada input split. Catatan: Saat dibuat oleh klien, input split ini berisi seluruh data.
Setiap pembagian input memiliki tugas peta yang berjalan di dalamnya dan output dari tugas peta masuk ke tugas pengurangan. Pelacak pekerjaan menjalankan lintasan pada data tertentu. Mungkin ada beberapa replikasi sehingga ia mengambil data lokal dan menjalankan tugas pada pelacak tugas tertentu. Pelacak tugas adalah orang yang benar-benar menjalankan tugas pada node data. Pelacak pekerjaan akan melewatiinformasike pelacak tugas dan pelacak tugas akan menjalankan pekerjaan pada node data.
Setelah pekerjaan ditetapkan ke pelacak tugas, ada detak jantung yang terkait dengan setiap pelacak tugas dan pelacak pekerjaan. Ini mengirimkan sinyal untuk mengetahui apakah node data masih hidup. Keduanya sering sinkron karena ada kemungkinan node memudar.
chef vs boneka vs ansible
Ada pertanyaan untuk kami? Sebutkan mereka di bagian komentar dan kami akan menghubungi Anda kembali.
Posting terkait: