Salah satu fitur paling menarik dari framework Hadoop adalah fiturnya pemanfaatan perangkat keras komoditas . Namun, hal ini menyebabkan seringnya DataNode mengalami error di cluster Hadoop. Fitur lain yang mencolok dari Kerangka Hadoop adalah kemudahan skala sesuai dengan pertumbuhan volume data yang cepat . Karena dua alasan ini, salah satu tugas paling umum dari administrator Hadoop adalah Komisi (Tambah) dan penonaktifan (Hapus) Node Data di Cluster Hadoop.
Node Commissioning dan Decommissioning dalam Cluster Hadoop:
Diagram di atas menunjukkan proses langkah demi langkah untuk menonaktifkan DataNode di cluster.
Tugas pertama adalah memperbarui ' mengecualikan 'File untuk keduanya HDFS (hdfs-site.xml) dan MapReduce (mapred-site.xml).
File 'kecualikan':
- untuk jobtracker berisi daftar host yang harus dikecualikan oleh jobtracker. Jika nilainya kosong, tidak ada host yang dikecualikan.
- untuk Namenode berisi daftar host yang tidak diizinkan untuk terhubung ke Namenode.
Berikut adalah contoh konfigurasi untuk file exclude di hdfs-site.xml dan mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ home / hadoop / excludes
benar
mapred-site.xml
mapred.hosts.exclude
/ home / hadoop / excludes
benar
catatan: Nama path lengkap dari file-file tersebut harus ditentukan.
cara mengatur jalur java
Demikian pula, kami memiliki file 'sertakan':
- untuk jobtracker berisi daftar node yang mungkin terhubung ke JobTracker. Jika nilainya kosong, semua host diizinkan.
- untuk Namenode berisi daftar host yang diizinkan untuk terhubung ke Namenode. Jika nilainya kosong, semua host diizinkan.
' dfsadmin.dll 'Dan' mradmin 'Perintah menyegarkan konfigurasi dengan perubahan untuk membuatnya sadar akan node baru.
' budak 'File di server master berisi daftar semua node data. Ini juga harus diperbarui untuk memastikan masalah apa pun di masa depan daemon hadoop start / stop.
Langkah penting dalam proses komisi node data adalah menjalankan Cluster Balancer.
> penyeimbang hadoop -batas 40
Pengimbang mencoba untuk memberikan keseimbangan ke ambang tertentu di antara node data dengan menyalin data blok dari node lama ke node yang baru ditugaskan.
Jadi, inilah cara Anda dapat - Komisioning dan Penonaktifan Node dalam Cluster Hadoop.
kebalikan dari angka di java
Ada pertanyaan untuk kami? Harap sebutkan di bagian komentar dan kami akan menghubungi Anda kembali.
Tautan yang berhubungan: