Database Relasional untuk waktu yang lama sudah cukup untuk menangani dataset kecil atau menengah. Tetapi laju pertumbuhan data yang sangat besar membuat pendekatan tradisional untuk penyimpanan dan pengambilan data tidak dapat dilakukan. Masalah ini sedang diatasi dengan teknologi baru yang dapat menangani Big Data. Hadoop, Hive dan Hbase adalah platform populer untuk mengoperasikan kumpulan data besar semacam ini. Database NoSQL atau Tidak Hanya SQL seperti MongoDB menyediakan mekanisme untuk menyimpan dan mengambil data dalam model konsistensi loser dengan keuntungan seperti:
- Penskalaan horizontal
- Ketersediaan lebih tinggi
- Akses lebih cepat
Tim teknisi MongoDB baru-baru ini memperbarui Konektor MongoDB untuk Hadoop agar memiliki integrasi yang lebih baik. Ini memudahkan pengguna Hadoop untuk:
- Integrasikan data waktu nyata dari MongoDB dengan Hadoop untuk analitik offline yang mendalam.
- Connector memperlihatkan kekuatan analitis dari Hadoop's MapReduce ke data aplikasi langsung dari MongoDB, mendorong nilai dari big data lebih cepat dan lebih efisien.
- Connector menampilkan MongoDB sebagai sistem file yang kompatibel dengan Hadoop yang memungkinkan pekerjaan MapReduce untuk membaca dari MongoDB secara langsung tanpa terlebih dahulu menyalinnya ke HDFS (Hadoop file System), sehingga menghilangkan kebutuhan untuk memindahkan Terabyte data ke seluruh jaringan.
- Pekerjaan MapReduce dapat meneruskan kueri sebagai filter, jadi hindari kebutuhan untuk memindai seluruh koleksi, dan juga dapat memanfaatkan kemampuan pengindeksan kaya MongoDB termasuk geo-spasial, penelusuran teks, larik, majemuk dan indeks renggang.
- Membaca dari MongoDB, hasil pekerjaan Hadoop juga dapat ditulis kembali ke MongoDB, untuk mendukung proses operasional waktu nyata dan kueri ad-hoc.
Kasus Penggunaan Hadoop dan MongoDB:
Mari kita lihat deskripsi tingkat tinggi tentang bagaimana MongoDB dan Hadoop dapat cocok bersama dalam tumpukan Big Data yang khas. Terutama kami memiliki:
cara membuat paket di java
- MongoDB digunakan sebagai file Penyimpanan data real-time 'Operasional'
- Hadoop untuk pemrosesan dan analisis data batch offline
Baca terus untuk mengetahui alasannya dan bagaimana MongoDB digunakan oleh perusahaan dan organisasi seperti Aadhar, Shutterfly, Metlife, dan eBay .
java cara menggunakan iterator
Penerapan MongoDB dengan Hadoop dalam Agregasi Batch:
Dalam sebagian besar skenario, fungsionalitas agregasi bawaan yang disediakan oleh MongoDB cukup untuk menganalisis data. Namun dalam kasus tertentu, agregasi data yang jauh lebih kompleks mungkin diperlukan. Di sinilah Hadoop dapat menyediakan kerangka kerja yang kuat untuk analitik yang kompleks.
Dalam skenario ini:
- Data ditarik dari MongoDB dan diproses dalam Hadoop melalui satu atau beberapa tugas MapReduce. Data juga dapat bersumber dari tempat lain dalam pekerjaan MapReduce ini untuk mengembangkan solusi sumber multi-data.
- Keluaran dari pekerjaan MapReduce ini kemudian dapat ditulis kembali ke MongoDB untuk membuat kueri di tahap selanjutnya dan untuk analisis apa pun secara ad-hoc.
- Oleh karena itu, aplikasi yang dibangun di atas MongoDB dapat menggunakan informasi dari analitik batch untuk disajikan ke klien akhir atau untuk mengaktifkan fitur hilir lainnya.
Aplikasi di Data Warehousing:
Dalam penyiapan produksi biasa, data aplikasi dapat berada di beberapa penyimpanan data, masing-masing dengan bahasa kueri dan fungsionalitasnya sendiri. Untuk mengurangi kompleksitas dalam skenario ini, Hadoop dapat digunakan sebagai gudang data dan bertindak sebagai repositori terpusat untuk data dari berbagai sumber.
Dalam skenario seperti ini:
keluar dari program di java
- Pekerjaan MapReduce berkala memuat data dari MongoDB ke Hadoop.
- Setelah data dari MongoDB dan sumber lain tersedia di Hadoop, kumpulan data yang lebih besar dapat dikueri.
- Analis data sekarang memiliki opsi untuk menggunakan MapReduce atau Pig untuk membuat pekerjaan yang meminta kumpulan data yang lebih besar yang menggabungkan data dari MongoDB.
Tim yang bekerja di belakang MongoDB telah memastikan bahwa dengan integrasinya yang kaya dengan teknologi Big Data seperti Hadoop, ia dapat berintegrasi dengan baik di Big Data Stack dan membantu menyelesaikan beberapa masalah arsitektur yang kompleks dalam hal penyimpanan, pengambilan, pemrosesan, agregasi, dan pergudangan data. . Nantikan pos kami yang akan datang tentang prospek karier bagi mereka yang menggunakan Hadoop dengan MongoDB. Jika Anda sudah bekerja dengan Hadoop atau hanya mengambil MongoDB, lihat kursus yang kami tawarkan untuk MongoDB