Dengan peningkatan adopsi Hadoop dalam solusi TI perusahaan tradisional dan peningkatan jumlah penerapan Hadoop di lingkungan produksi, kebutuhan ahli Operasi dan Administrasi Hadoop untuk menangani Kluster Hadoop yang besar menjadi penting.
Tanggung Jawab Admin Hadoop:
- Bertanggung jawab atas implementasi dan administrasi infrastruktur Hadoop yang sedang berjalan.
- Selaras dengan tim rekayasa sistem untuk mengusulkan dan menerapkan lingkungan perangkat keras dan perangkat lunak baru yang diperlukan untuk Hadoop dan untuk memperluas lingkungan yang ada.
- Bekerja dengan tim pengiriman data untuk menyiapkan pengguna Hadoop baru. Pekerjaan ini termasuk menyiapkan pengguna Linux, menyiapkan prinsipal Kerberos dan menguji akses HDFS, Hive, Pig, dan MapReduce untuk pengguna baru.
- Pemeliharaan klaster serta pembuatan dan penghapusan node menggunakan alat seperti Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage, dan alat lainnya.
- Penyesuaian performa cluster Hadoop dan rutinitas Hadoop MapReduce.
- Layar kinerja pekerjaan cluster Hadoop dan perencanaan kapasitas
- Pantau konektivitas dan keamanan cluster Hadoop
- Kelola dan tinjau file log Hadoop.
- Manajemen dan pemantauan sistem file.
- Dukungan dan pemeliharaan HDFS.
- Rajin bekerja sama dengan tim infrastruktur, jaringan, database, aplikasi, dan intelijen bisnis untuk menjamin kualitas dan ketersediaan data yang tinggi.
- Berkolaborasi dengan tim aplikasi untuk menginstal sistem operasi dan pembaruan Hadoop, tambalan, peningkatan versi bila diperlukan.
- Poin Kontak untuk eskalasi Vendor
Administrasi Hadoop adalah karir yang bermanfaat dan menguntungkan dengan banyak peluang pertumbuhan. Jika tanggung jawab pekerjaan yang tercantum di atas menarik minat Anda, sekarang saatnya meningkatkan keterampilan dengan Administrasi Hadoop dan masuk ke jalur karier Admin Hadoop.
cara membuat peringatan di html
Tanggung Jawab DBA yang Dilakukan oleh Administrator Hadoop:
- Pemodelan, desain & implementasi data berdasarkan standar yang diakui.
- Instalasi dan konfigurasi perangkat lunak.
- Pencadangan dan pemulihan database.
- Konektivitas dan keamanan database.
- Pemantauan dan penyetelan kinerja.
- Manajemen ruang disk.
- Tambalan dan peningkatan perangkat lunak.
- Otomatiskan tugas manual.
Tanggung Jawab Pengembangan DWH yang Dilakukan oleh Administrator Hadoop:
Tanggung jawab pekerjaan admin DWH mencakup pengembangan, pengujian, dan pemantauan pekerjaan batch untuk tugas-tugas berikut:
- Pastikan integritas Referensial.
- Lakukan eksekusi kunci utama.
- Selesaikan penyajian kembali data.
- Memuat volume data yang besar secara tepat waktu.
Sekarang setelah Anda mengetahui tentang tanggung jawab pekerjaan sebagai administrator Hadoop, mari kita lihat keterampilan yang dibutuhkan untuk menjadi salah satunya.
Keterampilan yang Diperlukan untuk menjadi Administrator Hadoop:
- Keahlian operasional umum seperti keterampilan pemecahan masalah yang baik, pemahaman tentang kapasitas sistem, kemacetan, dasar-dasar memori, CPU, OS, penyimpanan, dan jaringan.
- Keterampilan Hadoop seperti HBase, Hive, Pig, Mahout, dll.
- Persyaratan yang paling penting adalah: Mereka harus dapat menerapkan cluster Hadoop, menambah dan menghapus node, melacak pekerjaan, memantau bagian penting dari cluster, mengonfigurasi ketersediaan tinggi node nama, menjadwalkan dan mengonfigurasinya, serta mengambil cadangan.
- Pengetahuan yang baik tentang Linux karena Hadoop berjalan di Linux.
- Pemahaman tentang manajemen konfigurasi open source dan alat penerapan seperti Puppet atau Chef dan skrip Linux.
- Pengetahuan tentang Pemecahan Masalah Aplikasi Core Java merupakan nilai tambah.
Edureka secara khusus telah mengatur kursus tentang Administrasi Hadoop. Klik tombol di bawah untuk memulai Administrasi Hadoop dan pelajari bagaimana kursus membantu Anda menjadi Administrator Hadoop.
Posting terkait:
apa perbedaan antara java dan c ++