Apache Hive adalah salah satu kerangka kerja terpenting dalam ekosistem Hadoop, yang pada gilirannya menjadikannya sangat penting untuk . Di blog ini, kita akan belajar tentang instalasi Apache Hive dan Hive di Ubuntu.
Apa itu Apache Hive?
Apache Hive adalah infrastruktur gudang data yang memfasilitasi kueri dan pengelolaan kumpulan data besar yang berada dalam sistem penyimpanan terdistribusi. Itu dibangun di atas Hadoop dan dikembangkan oleh Facebook. Sarang lebah menyediakan cara untuk membuat kueri data menggunakan bahasa kueri seperti SQL yang disebut HiveQL (Bahasa kueri Hive).
Secara internal, kompilator menerjemahkan HiveQL pernyataan menjadi MapReduce pekerjaan, yang kemudian dikirimkan ke Kerangka Hadoop untuk dieksekusi.
Perbedaan antara Hive dan SQL:
Sarang lebah terlihat sangat mirip seperti database tradisional dengan SQL mengakses. Namun, karena Sarang lebah berdasarkan pada Hadoop dan MapReduce operasi, ada beberapa perbedaan utama:
Karena Hadoop ditujukan untuk pemindaian berurutan yang panjang dan Sarang lebah berdasarkan pada Hadoop , Anda mungkin mengharapkan kueri memiliki latensi yang sangat tinggi. Itu artinya Sarang lebah tidak akan sesuai untuk aplikasi yang membutuhkan waktu respons sangat cepat, seperti yang Anda harapkan dengan database RDBMS tradisional.
Akhirnya, Sarang lebah berbasis-baca dan karenanya tidak sesuai untuk pemrosesan transaksi yang biasanya melibatkan operasi tulis dengan persentase tinggi.
string di java tidak bisa diubah
Instalasi Sarang di Ubuntu:
Ikuti langkah-langkah di bawah ini untuk menginstal Apache Hive di Ubuntu:
Langkah 1: Unduh Sarang tar.
Perintah: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
Langkah 2: Ekstrak file ter mengajukan.
Perintah: tar -xzf apache-hive-2.1.0-bin.tar.gz
Perintah: ls
Langkah 3: Edit “.Bashrc” file untuk memperbarui variabel lingkungan untuk pengguna.
Perintah: sudo gedit .bashrc
Tambahkan yang berikut ini di akhir file:
# Setel HIVE_HOME
ekspor HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
ekspor PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin
Selain itu, pastikan jalur hadoop juga disetel.
Jalankan perintah di bawah ini untuk membuat perubahan bekerja di terminal yang sama.
Perintah: sumber .bashrc
Langkah 4: Periksa versi sarang.
string tanggal java sampai saat ini
Langkah 5: Membuat Sarang lebah direktori di dalamnya HDFS . Direktori 'gudang' adalah lokasi untuk menyimpan tabel atau data yang berhubungan dengan sarang lebah.
Perintah:
- hdfs dfs -mkdir -p / user / hive / warehouse
- hdfs dfs -mkdir / tmp
Langkah 6: Tetapkan izin baca / tulis untuk tabel.
Perintah:
Dalam perintah ini, kami memberikan izin tulis ke grup:
- hdfs dfs -chmod g + w / pengguna / sarang / gudang
- hdfs dfs -chmod g + w / tmp
Langkah 7: Set Hadoop jalan masuk h ive-env.sh
Perintah: cd apache-sarang-2.1.0-bin /
Perintah: gedit conf / hive-env.sh
Atur parameter seperti yang ditunjukkan pada snapshot di bawah ini.
Langkah 8: Edit sarang-situs.xml
Perintah: gedit conf / hive-site.xml
javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = true JDBC connect string untuk metastore JDBC. Untuk menggunakan SSL untuk mengenkripsi / mengautentikasi koneksi, berikan bendera SSL khusus database di URL koneksi. Misalnya, jdbc: postgresql: // myhost / db? Ssl = true untuk database postgres. hive.metastore.warehouse.dir / user / hive / lokasi gudang dari database default untuk gudang hive.metastore.uris Thrift URI untuk metastore jarak jauh. Digunakan oleh klien metastore untuk terhubung ke metastore jarak jauh. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Driver nama kelas JDBC metastore javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory kelas yang mengimplementasikan persistensi jdo
Langkah 9: Secara default, Hive menggunakan Derby database. Inisialisasi database Derby.
Perintah: bin / schematool -initSchema -dbType derby
LANGKAH 10 :Meluncurkan Sarang lebah.
Perintah: sarang lebah
LANGKAH 11 :Jalankan beberapa kueri di shell Hive.
Perintah: tampilkan database
Perintah: buat tabel karyawan (string id, string nama, string dept), format baris, bidang yang dipisahkan diakhiri dengan '' disimpan sebagai file teks
Perintah: tunjukkan tabel
apa sqoop di hadoop
Langkah 12: Untuk keluar dari Sarang lebah:
Perintah: keluar
Sekarang setelah Anda selesai dengan instalasi Hive, langkah selanjutnya adalah mencoba perintah Hive pada shell Hive. Karenanya, blog kami berikutnya ' Perintah Top Hive dengan Contoh di HQL ”Akan membantu Anda menguasai perintah sarang.
Posting terkait: