Jika Anda sudah dari Industri IT , Anda harus menyadari itu Data besar adalah pembicaraan hari ini. Baik itu, startup baru yang hadir dengan model bisnis inovatif, atau kolega Anda yang pindah untuk bergabung dengan startup tersebut, untuk beberapa alasan, hari ini padang rumput yang lebih hijau tampaknya menjadi Data besar industri.
Jika Anda bertanya-tanya mengapa, saya sarankan Anda membaca ini sampai akhir karena ini bisa menjadi blog yang menjelajah sendiri, mengarahkan Anda ke tujuan yang Anda tuju.
Jadi, kenapa semua iniHYPEsekitarnya DATA BESAR?
Apakah itu hanya domain lain yang akan mendaratkan pengungsi dari semua domain lain untuk sementara? Atau, apakah itu akan berada di sini untuk jangka panjang?
Jika saya menebak, saya akan mengatakan bahwa, tidak hanya akan ada di sini untuk jangka panjang, tetapi industri Big Data akan menjadi pusat kemajuan teknologi.
Karena semuanya tentangDATA!
Persis seperti MataharinaikdariTimurdansetdalamBarat, penggunaan perangkat komputasi / non-komputasi secara terus-menerus akan menghasilkan ledakan data yang tidak dapat dikelola.
Ketika data ini melewati ambang batas, ditangani oleh Excel atau Sistem Manajemen Database apa pun, kami menyebutnya DATA BESAR .
Pikirkan, produk mana yang terakhir Anda beli dari Amazon? Manakah produk berikutnya yang mungkin Anda beli berdasarkan aktivitas sebelumnya? Jawaban atas pertanyaan semacam itu disimpan di Big Data.
cara membalikkan angka dengan python
Apakah ada tren yang berkembang di balik suatu produk? Ataukah ada tren yang menurun? Akankah pelanggan membeli 'Stoking' saat dia membeli 'Sepatu'? Ini adalah pertanyaan pemecahan masalah bisnis.
Dan, pertanyaan-pertanyaan ini bisa dengan mudah terjawab dengan menggunakan Analisis Big Data .
Lagi pula, apa gunanya data, padahal sebenarnya tidak menganalisa saya t?
Jadi, adalah Big Datasepenuhnya tentangAnalytics?Tidak sepenuhnya, tetapi Analytics adalah Hadiah Tertinggi.
Aliran utama lainnya di Big Data adalahPenyimpanandanPengelolaan.
Di sinilah Anda sebagai seorang profesional dapat berkontribusi. Anda dapat mengambil peran:
- Insinyur Data Besar
- Arsitek Solusi Big Data
Dan pastikan bahwa data besar yang dihasilkan selalu tersedia dan dapat digunakan untuk analisis di lain waktu. Jadi ini membawa kita ke pertanyaan & hellip
Di mana Big Data disimpan?
Bisakah itu disimpan diberkas Excel? Apakah bisa disimpan di asistem database relasional?
Tidak!
Jika bisa, maka itu akan terjadi!
Dan disebut sesuatu yang berbeda secara bersamaan. Mungkin seperti ituExcel-DataatauRDBMS-Data: D
Dan itu akan membawa kita kembali ke LANGKAH 1 : - Mengapa Big Data tidak dapat dikelola menggunakan Excel? KarenaBig Data terlalu panas untuk ditangani Excel. Dan bahkan sistem manajemen basis data lainnya sebenarnya.
java deep copy vs shallow copy
Jadi apa alternatifnya?
Untuk menangani Big Data, kami punya HADOOP . Anda mungkin juga mengetahui kata ini. Tapi, Anda mungkin bertanya-tanya, bagaimana sebenarnya cara kerjanya?
Sebagai permulaan, HADOOP adalah produk dariAPACHE Foundation. Apache adalah organisasi nirlaba Amerika yang mendukung pengembangan perangkat lunak sumber terbuka.
Hadoop didefinisikan sebagai kerangka kerja pemrograman berbasis Java sumber terbuka yang mendukung pemrosesan dan penyimpanan kumpulan data yang sangat besar dalam lingkungan komputasi terdistribusi.
Apa yang dapat dilakukan Hadoop, tetapi Excel tidak?
Proses dan pahami data tidak terstruktur!Data terstruktur dalam format tabel atau lainnya dapat dengan mudah ditangani. Excel dapat melakukannya, begitu pula RDBMS lainnya.
Tetapi ketika keterbacaan berkurang, dan data tidak terstruktur, disitulah Big Dataalat seperti Hadoopskor. Contoh data tidak terstruktur adalah syslog . Gambar contoh ada di bawah.
Log semacam itu jelas tidak dapat dikueri menggunakan Excel.
Hadoop, seperti alat Big Data, dapat memahami data sebagaimana adanya, dengan menggali pola dan membentuk hubungan antara berbagai bidang. Dan begitu data memiliki sentuhan relasional, itu benarAnalitik siap.
Analisis inilah yang akan membuat bisnis berdampak pada organisasi! Karier Anda akan sangat diuntungkan dengan keterlibatannya dalam domain Big Data ini.
' Bisakah saya menjadikannya sebagai Hadoop-er? '
… Mungkin pertanyaan berikutnya di benak Anda. Dan dipikir dengan benar, Big Data adalah pasar yang sama panasnya seperti sebelumnya, dan sama pentingnya seperti sebelumnya.
Tanpa Hadoop, perusahaan akan kesulitan menangani Big Data. Dan tanpa profesional ahli seperti Anda, perusahaan akan kesulitan berurusan dengan Hadoop.
Ada laporan yang menyebutkan, ada talent deficit di domain ini. Defisit talend artinya, kurang profesional tapi peminatnya tinggi. Dan ini dalam skala global dan tidak terbatas pada geografi tertentu.
Apakah Anda ingin nomor?
UNTUK Institut Global McKinsey Studi menyatakan bahwa AS akan menghadapi kekurangan sekitar 190.000 ilmuwan data dan 1,5 juta manajer dan analis yang dapat memahami dan membuat keputusan menggunakan Big Data pada tahun 2018.
perbedaan antara ansible dan chef
Saran karir untuk Anda? Berselancarlah saat air laut surut!
Tapi apakah kamu terbatas hanya untuk Hadoop ?
Tidak juga. Ada sejumlah alat untuk memproses Big Data, dan Hadoop dianggap sebagai salah satu yang terbaik. Tapi, tidak setiap saat!
Ada kalanya Hadoop bukan yang paling cocok. Misalnya, jika Anda adalah orang non-teknis yang tidak pandai menulis program MapReduce.
Dalam kasus seperti itu, Anda dapat menggunakanTALEND, yang memberi Anda antarmuka pengguna grafis untuk melakukan apa pun yang seharusnya Anda lakukan dengan MapReduce.
Untuk menulis kode Java yang lebih sederhana, Anda dapat menggunakanBABI.
Jika Anda ingin menjalankan kueri seperti SQL di Big Data, makaSARANG LEBAHdapat digunakan.
Jika Anda ingin menggunakan data yang disimpan dalam database NoSQL, makaHBasedapat digunakan.
Untuk melakukan analitik secara real-time, Anda dapat menggunakanPERCIKAN.
Ini adalah alat Big Data, yang bekerja sama dengan Hadoop, namun tidak menggantikan Hadoop sama sekali. Mereka adalah Pengaya Hadoop untuk Big Data.
Selain itu, ada beberapa alat lainnya seperti SQOOP, FLUME, OOZIE, dll yang dapat diintegrasikan dengan kerangka kerja Hadoop untuk menyelesaikan berbagai masalah bisnis.
Apa yang diharapkan industri dari Anda sebagai Pakar Data Besar?
Industri ini sangat membutuhkan ARSITEK DATA BESAR yang dapat membangun solusi big data ujung ke ujung untuk organisasi mereka. Arsitek Big Data adalah mereka yang memiliki keahlian dalam semua alat yang disebutkan sebelumnya.
Ini adalah kesaksian seorang pelajar Edureka tentang kursus:
Menjadi sebuah mulai dari pelatihan sertifikasi Big Data And Hadoop Edureka yang membantu peserta didik menjadi ahli dalam domain HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume, dan Sqoop menggunakan kasus penggunaan real-time di Retail, Media Sosial, Penerbangan, Pariwisata, domain Keuangan .