Apache Falcon: Platform Manajemen Data Baru Untuk Ekosistem Hadoop



Apache Falcon adalah platform manajemen data baru untuk ekosistem Hadoop yang menyederhanakan pemrosesan feed onboarding & manajemen feed pada cluster hadoop. Pelajari cara menyiapkannya.

Apache Falcon adalah kerangka kerja untuk mengelola siklus hidup data di cluster Hadoop. Ini membangun hubungan antara berbagai data dan elemen pemrosesan di lingkungan Hadoop, dan juga menyediakan layanan pengelolaan feed seperti retensi feed, replikasi lintas cluster, arsip, dll.





Mari kita bahas dulu bagaimana mengatur Apache Falcon. Jalankan perintah yang diberikan di bawah ini untuk mengunduh repositori git dari Falcon:

Perintah: git clone https://git-wip-us.apache.org/repos/asf/falcon.git falcon



git-command-apache-falcon

Untuk menjalankan falcon, Anda perlu membuatnya terlebih dahulu.

Perintah: cd falcon



Perintah: ekspor MAVEN_OPTS = ”- Xmx1024m -XX: MaxPermSize = 256m -noverify” && mvn clean install -DskipTests

Perintah: mvn clean assembly: assembly -DskipTests -DskipITs

jika pernyataan dalam query sql

Setelah Anda membuat falcon, Anda akan menemukan paket falcon di dalam direktori / falcon / distro / target /.

Perintah untuk membangun falcon terlihat sangat mudah, tetapi Anda akan menghadapi banyak masalah sebelum melihat pesan Membangun Sukses. Saya menghadapi banyak masalah saat membangunnya untuk Hadoop-2.2.0

Jadi untuk melewati rasa sakit dalam membangun Falcon, saya memberi Anda paket falcon yang berhasil dibuat, yang dapat Anda unduh menggunakan tautan di bawah ini.

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

Buka zip file untuk mendapatkan direktori falcon-0.10.

Perintah: unzip falcon-0.10-SNAPSHOT.zip

Setel variabel lingkungan flacon di file .bashrc.

Perintah: sudo gedit .bashrc

Perintah: sumber .bashrc

Anda dapat pergi ke direktori falcon dan melihat file dan direktori di dalamnya.

Perintah: cd falcon-0.10-SNAPSHOT /

Perintah: ls

Anda dapat menemukan skrip falcon di dalam direktori bin.

Jalankan di bawah perintah untuk memulai Falcon.

Perintah: ./bin/falcon-start

Anda akan melihat daemon baru FalconServer berjalan sekarang.

Perintah: jps

Perintah: ./bin/falcon admin -version

Buka browser Anda, dan buka localhost: 15000 . Anda dapat melihat UI web Falcon.

Ada pertanyaan untuk kami? Sebutkan mereka di bagian komentar dan kami akan menghubungi Anda kembali.

Posting terkait:

Mengebor Apache Drill