Apa Itu Ilmu Data? Panduan Pemula Untuk Ilmu Data

Saat dunia memasuki era big data, kebutuhan akan penyimpanannya juga meningkat. Itu adalah tantangan dan perhatian utama bagi industri enterprise hingga 2010. Fokus utama adalah membangun kerangka kerja dan solusi untuk menyimpan data. Sekarang ketika Hadoop dan kerangka kerja lainnya telah berhasil menyelesaikan masalah penyimpanan, fokusnya telah bergeser ke pemrosesan data ini. Ilmu Data adalah saus rahasia di sini. Semua ide yang Anda lihat di film sci-fi Hollywood sebenarnya bisa menjadi kenyataan oleh Data Science. Ilmu Data adalah masa depan Artificial Intelligence. Oleh karena itu, sangat penting untuk memahami apa itu Ilmu Data dan bagaimana hal itu dapat menambah nilai bagi bisnis Anda.

Di blog ini, saya akan membahas topik-topik berikut.

• Apa itu Ilmu Data?
• Mengapa Ilmu Data?
• Siapa Ilmuwan Data?
  • Apa yang dilakukan oleh Data Scientist?
• Apa bedanya dengan Business Intelligence (BI) dan Ilmu Data?
• Siklus hidup Ilmu Data dengan bantuan kasus penggunaan

Di akhir blog ini, Anda akan dapat memahami apa itu Ilmu Data dan perannya dalam mengekstrak wawasan yang bermakna dari kumpulan data yang kompleks dan besar di sekitar kita.Untuk mendapatkan pengetahuan mendalam tentang Ilmu Data, Anda dapat mendaftar untuk siaran langsung oleh Edureka dengan dukungan 24/7 dan akses seumur hidup.

Apa itu Ilmu Data?

Ilmu Data adalah perpaduan dari berbagai alat, algoritme, dan prinsip pembelajaran mesin dengan tujuan untuk menemukan pola tersembunyi dari data mentah. Namun, apa bedanya dengan apa yang telah dilakukan ahli statistik selama bertahun-tahun?

Jawabannya terletak pada perbedaan antara menjelaskan dan memprediksi.

Seperti yang Anda lihat dari gambar di atas, seorang Data Analystbiasanya menjelaskan apa yang terjadi dengan memproses riwayat data. Di sisi lain, Data Scientist tidak hanya melakukan analisis eksplorasi untuk menemukan wawasan darinya, tetapi juga menggunakan berbagai algoritme pembelajaran mesin tingkat lanjut untuk mengidentifikasi terjadinya peristiwa tertentu di masa depan. Seorang Ilmuwan Data akan melihat data dari berbagai sudut, terkadang sudut yang tidak diketahui sebelumnya.

Jadi, Ilmu Data terutama digunakan untuk membuat keputusan dan prediksi menggunakan analitik kausal prediktif, analitik preskriptif (prediktif plus ilmu keputusan), dan pembelajaran mesin.

• Analisis kausal prediktif - Jika Anda menginginkan model yang dapat memprediksi kemungkinan peristiwa tertentu di masa depan, Anda perlu menerapkan analitik kausal prediktif. Katakanlah, jika Anda memberikan uang secara kredit, maka kemungkinan pelanggan melakukan pembayaran kredit di masa depan tepat waktu adalah masalah yang menjadi perhatian Anda. Di sini, Anda dapat membangun model yang dapat melakukan analitik prediktif pada riwayat pembayaran pelanggan untuk memprediksi apakah pembayaran di masa mendatang akan tepat waktu atau tidak.

• Analisis preskriptif: Jika Anda menginginkan model yang memiliki kecerdasan dalam mengambil keputusannya sendiri dan kemampuan untuk memodifikasinya dengan parameter dinamis, Anda tentu membutuhkan analitik preskriptif untuk model tersebut. Bidang yang relatif baru ini adalah tentang memberikan nasihat. Dengan kata lain, ini tidak hanya memprediksi tetapi menyarankan berbagai tindakan yang ditentukan dan hasil terkait.
  Contoh terbaik untuk ini adalah mobil tanpa pengemudi dari Google yang telah saya diskusikan sebelumnya juga. Data yang dikumpulkan oleh kendaraan dapat digunakan untuk melatih mobil yang dapat mengemudi sendiri. Anda dapat menjalankan algoritme pada data ini untuk menghadirkan kecerdasan padanya. Ini akan memungkinkan mobil Anda mengambil keputusan seperti kapan harus berbelok, jalan mana yang harus diambil,kapan harus memperlambat atau mempercepat.

• Pembelajaran mesin untuk membuat prediksi - Jika Anda memiliki data transaksional perusahaan keuangan dan perlu membangun model untuk menentukan tren masa depan, maka algoritma pembelajaran mesin adalah pilihan terbaik. Ini berada di bawah paradigma pembelajaran yang diawasi. Ini disebut diawasi karena Anda sudah memiliki data yang menjadi basis untuk melatih mesin Anda. Misalnya, model deteksi penipuan dapat dilatih menggunakan catatan riwayat pembelian yang curang.

• Pembelajaran mesin untuk penemuan pola - Jika Anda tidak memiliki parameter yang dapat digunakan untuk membuat prediksi, Anda perlu mencari pola tersembunyi dalam kumpulan data untuk dapat membuat prediksi yang berarti. Ini tidak lain adalah model tanpa pengawasan karena Anda tidak memiliki label yang telah ditentukan sebelumnya untuk pengelompokan. Algoritma yang paling umum digunakan untuk penemuan pola adalah Clustering.
  Misalkan Anda bekerja di perusahaan telepon dan Anda perlu membangun jaringan dengan membangun menara di suatu wilayah. Kemudian, Anda dapat menggunakan teknik clustering untuk menemukan lokasi menara tersebut yang akan memastikan bahwa semua pengguna menerima kekuatan sinyal yang optimal.

Mari kita lihat bagaimana proporsi pendekatan yang dijelaskan di atas berbeda untuk Analisis Data serta Ilmu Data. Seperti yang Anda lihat pada gambar di bawah ini, Analisis Datatermasuk analitik deskriptif dan prediksi sampai batas tertentu. Di sisi lain, Ilmu Data lebih tentang Predictive Causal Analytics dan Machine Learning.

Sekarang setelah Anda tahu apa sebenarnya Ilmu Data, sekarang mari cari tahu alasan mengapa Ilmu Data itu diperlukan.

Mengapa Ilmu Data?

• Secara tradisional, data yang kami miliki sebagian besar terstruktur dan berukuran kecil, yang dapat dianalisis dengan menggunakan alat BI sederhana.Tidak seperti data disistem tradisional yang sebagian besar terstruktur, saat ini sebagian besar data tidak terstruktur atau semi-terstruktur. Mari kita lihat tren data pada gambar di bawah ini yang menunjukkan bahwa pada tahun 2020, lebih dari 80% data tidak akan terstruktur.
  
  Data ini dihasilkan dari berbagai sumber seperti log keuangan, file teks, bentuk multimedia, sensor, dan instrumen. Alat BI sederhana tidak mampu memproses volume dan variasi data yang sangat besar ini. Inilah mengapa kami membutuhkan alat dan algoritme analitik yang lebih kompleks dan canggih untuk memproses, menganalisis, dan menggambar wawasan yang bermakna darinya.

Ini bukan satu-satunya alasan mengapa Ilmu Data menjadi begitu populer. Mari kita gali lebih dalam dan lihat bagaimana Ilmu Data digunakan di berbagai domain.

• Bagaimana jika Anda dapat memahami dengan tepat persyaratan pelanggan Anda dari data yang ada seperti riwayat penjelajahan pelanggan sebelumnya, riwayat pembelian, usia, dan pendapatan. Tidak diragukan lagi Anda juga memiliki semua data ini sebelumnya, tetapi sekarang dengan jumlah dan variasi data yang sangat banyak, Anda dapat melatih model dengan lebih efektif dan merekomendasikan produk kepada pelanggan Anda dengan lebih presisi. Bukankah itu luar biasa karena akan membawa lebih banyak bisnis ke organisasi Anda?

• Mari kita ambil skenario lain untuk memahami peran Ilmu Data pengambilan keputusan.Bagaimana jika mobil Anda memiliki kecerdasan untuk mengantarmu pulang? Mobil self-driving mengumpulkan data langsung dari sensor, termasuk radar, kamera, dan laser untuk membuat peta sekitarnya. Berdasarkan data ini, dibutuhkan keputusan seperti kapan harus mempercepat, kapan harus mempercepat, kapan harus menyusul, di mana harus mengambil giliran - memanfaatkan algoritma pembelajaran mesin canggih.
• Mari kita lihat bagaimana Ilmu Data dapat digunakan dalam analisis prediktif. Mari kita ambil ramalan cuaca sebagai contoh. Data dari kapal, pesawat, radar, satelit dapat dikumpulkan dan dianalisis untuk membangun model. Model ini tidak hanya akan meramalkan cuaca tetapi juga membantu dalam memprediksi terjadinya bencana alam. Ini akan membantu Anda untuk mengambil tindakan yang tepat sebelumnya dan menyelamatkan banyak nyawa yang berharga.

Mari kita lihat infografis di bawah ini untuk melihat semua domain tempat Ilmu Data menciptakan kesannya.

Siapa Ilmuwan Data?

Ada beberapa definisi yang tersedia di Ilmuwan Data. Dengan kata sederhana, Ilmuwan Data adalah orang yang mempraktikkan seni Ilmu Data.Istilah 'Ilmuwan Data' telahdiciptakan setelah mempertimbangkan fakta bahwa Ilmuwan Data menarik banyak informasi dari bidang ilmiah dan aplikasi baik itu statistik atau matematika.

Apa yang dilakukan oleh Data Scientist?

Ilmuwan data adalah mereka yang memecahkan masalah data kompleks dengan keahlian mereka yang kuat dalam disiplin ilmu tertentu. Mereka bekerja dengan beberapa elemen yang berkaitan dengan matematika, statistik, ilmu komputer, dll (meskipun mereka mungkin bukan ahli dalam semua bidang ini).Mereka banyak menggunakan teknologi terbaru dalam menemukan solusi dan mencapai kesimpulan yang sangat penting untuk pertumbuhan dan perkembangan organisasi. Ilmuwan Data menyajikan data dalam bentuk yang jauh lebih berguna dibandingkan dengan data mentah yang tersedia bagi mereka dari bentuk terstruktur maupun tidak terstruktur.

Untuk mengetahui lebih lanjut tentang Ilmuwan Data, Anda dapat merujuk ke artikel ini di

Selanjutnya, sekarang mari kita bahas BI. Saya yakin Anda mungkin pernah mendengar tentang Business Intelligence (BI) juga. Seringkali Ilmu Data bingung dengan BI. Saya akan menyatakan beberapa singkat dan jelaskontras antara keduanya yang akan membantu Anda mendapatkan pemahaman yang lebih baik. Mari kita lihat.

Business Intelligence (BI) vs. Ilmu Data

• Business Intelligence (BI) pada dasarnya menganalisis data sebelumnya untuk menemukan peninjauan dan wawasan untuk menggambarkan tren bisnis. Di sini BI memungkinkan Anda untuk mengambil data dari sumber eksternal dan internal, menyiapkannya, menjalankan kueri di dalamnya, dan membuat dasbor untuk menjawab pertanyaan sepertianalisis pendapatan triwulananatau masalah bisnis. BI dapat mengevaluasi dampak peristiwa tertentu dalam waktu dekat.

• Ilmu Data adalah pendekatan yang lebih berwawasan ke depan, cara eksplorasi dengan fokus pada analisis data masa lalu atau saat ini dan memprediksi hasil masa depan dengan tujuan membuat keputusan yang tepat. Ini menjawab pertanyaan terbuka tentang 'apa' dan 'bagaimana' peristiwa terjadi.

Mari kita lihat beberapa fitur yang kontras.

Ini semua tentang apa itu Ilmu Data, sekarang mari kita pahami siklus hidup Ilmu Data.

Kesalahan umum yang dibuat dalam proyek Ilmu Data adalah terburu-buru dalam pengumpulan dan analisis data, tanpa memahami persyaratan atau bahkan menyusun masalah bisnis dengan benar. Oleh karena itu, sangat penting bagi Anda untuk mengikuti semua tahapan selama siklus hidup Ilmu Data untuk memastikan kelancaran fungsi proyek.

Siklus Hidup Ilmu Data

Berikut adalah ikhtisar singkat tentang fase utama Siklus Hidup Ilmu Data:

Tahap 1 — Penemuan: Sebelum Anda memulai proyek, penting untuk memahami berbagai spesifikasi, persyaratan, prioritas, dan anggaran yang diperlukan. Anda harus memiliki kemampuan untuk mengajukan pertanyaan yang tepat.Di sini, Anda menilai apakah Anda memiliki sumber daya yang diperlukan dalam hal orang, teknologi, waktu, dan data untuk mendukung proyek.Dalam fase ini, Anda juga perlu membingkai masalah bisnis dan merumuskan hipotesis awal (IH) untuk diuji.

Tahap 2 — Persiapan data: Dalam fase ini, Anda memerlukan kotak pasir analitik di mana Anda dapat melakukan analitik untuk seluruh durasi proyek. Anda perlu menjelajahi, memproses, dan mengkondisikan data sebelum pemodelan. Selanjutnya, Anda akan melakukan ETLT (mengekstrak, mengubah, memuat dan mengubah) untuk memasukkan data ke dalam kotak pasir. Mari kita lihat aliran Analisis Statistik di bawah ini.

Anda dapat menggunakan R untuk pembersihan, transformasi, dan visualisasi data. Ini akan membantu Anda menemukan pencilan dan membangun hubungan antar variabel.Setelah Anda membersihkan dan menyiapkan datanya, sekarang saatnya melakukan eksplorasianalitikdi atasnya. Mari kita lihat bagaimana Anda bisa mencapainya.

Tahap 3 — Perencanaan model: Di sini, Anda akan menentukan metode dan teknik untuk menggambar hubungan antar variabel.Hubungan ini akan menetapkan dasar untuk algoritme yang akan Anda terapkan di tahap berikutnya.Anda akan menerapkan Analisis Data Eksplorasi (EDA) menggunakan berbagai rumus statistik dan alat visualisasi.

Mari kita lihat berbagai alat perencanaan model.

1. R memiliki satu set lengkap kemampuan pemodelan dan menyediakan lingkungan yang baik untuk membangun model interpretatif.
2. Layanan Analisis SQL dapat melakukan analitik dalam basis data menggunakan fungsi penggalian data umum dan model prediktif dasar.
3. SAS / ACCESS dapat digunakan untuk mengakses data dari Hadoop dan digunakan untuk membuat diagram alur model yang dapat diulang dan digunakan kembali.

Meskipun banyak alat yang hadir dipasaran tetapi R adalah alat yang paling umum digunakan.

Sekarang Anda telah mendapatkan wawasan tentang sifat data Anda dan telah memutuskan algoritme yang akan digunakan. Di tahap selanjutnya, Anda akan melakukannyamenerapkanalgoritma dan membangun model.

Tahap 4 — Pembuatan model: Dalam fase ini, Anda akan mengembangkan kumpulan data untuk tujuan pelatihan dan pengujian. Di sini yAnda perlu mempertimbangkan apakah alat yang ada akan mencukupi untuk menjalankan model atau memerlukan lingkungan yang lebih kuat (seperti pemrosesan cepat dan paralel). Anda akan menganalisis berbagai teknik pembelajaran seperti klasifikasi, asosiasi, dan pengelompokan untuk membangun model.

Anda dapat mencapai pembuatan model melalui alat berikut.

Tahap 5 — Mengoperasikan: Pada fase ini, Anda menyampaikan laporan akhir, briefing, kode dan dokumen teknis.Selain itu, terkadang proyek percontohan juga dilaksanakan dalam lingkungan produksi yang real-time. Ini akan memberi Anda gambaran yang jelas tentang kinerja dan kendala terkait lainnya dalam skala kecil sebelum penerapan penuh.

Tahap 6 — Komunikasikan hasil: Sekarang penting untuk mengevaluasi apakah Anda telah mampu mencapai tujuan Anda yang telah Anda rencanakan pada tahap pertama. Jadi, pada fase terakhir, Anda mengidentifikasi semua temuan kunci, berkomunikasi dengan pemangku kepentingan dan menentukan apakah hasilnyaproyek berhasil atau gagal berdasarkan kriteria yang dikembangkan dalam Tahap 1.

Sekarang, saya akan mengambil studi kasus untuk menjelaskan kepada Anda berbagai tahapan yang dijelaskan di atas.

Studi Kasus: Pencegahan Diabetes

Bagaimana jika kita bisa memprediksi terjadinya diabetes dan mengambil tindakan yang tepat sebelumnya untuk mencegahnya?
Dalam kasus penggunaan ini, kami akan memprediksi terjadinya diabetes dengan menggunakan seluruh siklus hidup yang telah kita bahas sebelumnya. Mari melalui berbagai langkah.

Langkah 1:

• Pertama,kami akan mengumpulkan data berdasarkan riwayat kesehatanpasien seperti yang dibahas di Fase 1. Anda dapat merujuk ke contoh data di bawah ini.

bisa berubah dan tidak berubah di java

• Seperti yang Anda lihat, kami memiliki berbagai atribut seperti yang disebutkan di bawah ini.

Atribut:

1. npreg - Berapa kali hamil
2. glukosa - Konsentrasi glukosa plasma
3. bp - Tekanan darah
4. kulit - Ketebalan lipatan kulit trisep
5. bmi - Indeks massa tubuh
6. ped - Fungsi silsilah diabetes
7. usia - Usia
8. pendapatan - Pendapatan

Langkah 2:

• Sekarang, setelah kita memiliki datanya, kita perlu membersihkan dan menyiapkan data untuk analisis data.
• Data ini memiliki banyak ketidakkonsistenan seperti nilai yang hilang, kolom kosong, nilai tiba-tiba dan format data yang salah yang perlu dibersihkan.
• Di sini, kami telah mengatur data ke dalam satu tabel dengan atribut berbeda - membuatnya terlihat lebih terstruktur.
• Mari kita lihat contoh datanya di bawah ini.

Data ini memiliki banyak inkonsistensi.

1. Di kolom npreg , 'Satu' tertuliskata-kata,padahal harus dalam bentuk numerik seperti 1.
2. Di kolom bp salah satu nilainya adalah 6600 yang tidak mungkin (setidaknya untuk manusia) karena bp tidak bisa mencapai nilai sebesar itu.
3. Seperti yang Anda lihat Pendapatan kolom kosong dan juga tidak masuk akal dalam memprediksi diabetes. Oleh karena itu, berlebihan untuk memilikinya di sini dan harus dihapus dari tabel.

• Jadi, kami akan membersihkan dan memproses data ini dengan menghapus pencilan, mengisi nilai null dan menormalkan tipe data. Jika Anda ingat, ini adalah fase kedua kami yaitu pemrosesan awal data.
• Akhirnya, kami mendapatkan data bersih seperti yang ditunjukkan di bawah ini yang dapat digunakan untuk analisis.

Langkah 3:

Sekarang mari kita lakukan beberapa analisis seperti yang dibahas sebelumnya di Tahap 3.

• Pertama, kami akan memuat data ke dalam kotak pasir analitik dan menerapkan berbagai fungsi statistik di dalamnya. Misalnya, R memiliki fungsi seperti menjelaskan yang memberi kita jumlah nilai yang hilang dan nilai unik. Kita juga dapat menggunakan fungsi ringkasan yang akan memberi kita informasi statistik seperti nilai mean, median, range, min dan max.
• Kemudian, kami menggunakan teknik visualisasi seperti histogram, grafik garis, plot kotak untuk mendapatkan gambaran yang adil tentang distribusi data.

Langkah 4:

Sekarang, berdasarkan wawasan yang diperoleh dari langkah sebelumnya, yang paling cocok untuk jenis masalah ini adalah pohon keputusan. Mari kita lihat bagaimana caranya?

• Karena, kami sudah memiliki atribut utama untuk analisis seperti npreg, bmi , dll., jadi kami akan menggunakanteknik pembelajaran terbimbing untuk membangun amodel di sini.
• Lebih lanjut, kami secara khusus menggunakan pohon keputusan karena pohon ini mempertimbangkan semua atribut sekaligus, seperti yang memiliki ahubungan linier serta yang memiliki hubungan non-linier. Dalam kasus kami, kami memiliki hubungan linier antara npreg dan usia, sedangkan hubungan nonlinier antara npreg dan ped .
• Model pohon keputusan juga sangat kuat karena kita dapat menggunakan kombinasi atribut yang berbeda untuk membuat berbagai pohon dan akhirnya menerapkannya dengan efisiensi maksimum.

Mari kita lihat pohon keputusan kita.

Di sini, parameter terpenting adalah kadar glukosa, jadi itu adalah simpul akar kita. Sekarang, simpul saat ini dan nilainya menentukan parameter penting berikutnya yang akan diambil. Ini berlangsung sampai kita mendapatkan hasil dalam bentuk pos atau neg . Pos artinya kecenderungan mengidap diabetes positif dan neg berarti kecenderungan mengidap diabetes negatif.

Jika Anda ingin mempelajari lebih lanjut tentang penerapan pohon keputusan, lihat blog ini

Langkah 5:

Pada fase ini, kami akan menjalankan proyek percontohan kecil untuk memeriksa apakah hasil kami sesuai. Kami juga akan mencari kendala kinerja jika ada. Jika hasilnya tidak akurat, maka kita perlu merencanakan ulang dan membangun kembali model tersebut.

Langkah 6:

Setelah kami berhasil menjalankan proyek, kami akan membagikan hasilnya untuk penerapan penuh.

Menjadi Ilmuwan Data lebih mudah diucapkan daripada dilakukan. Jadi, mari kita lihat semua yang Anda butuhkan untuk menjadi Ilmuwan Data.Seorang Ilmuwan Data pada dasarnya membutuhkan keterampilandari tiga area utama seperti yang ditunjukkan di bawah ini.

Seperti yang Anda lihat pada gambar di atas, Anda perlu memperoleh berbagai hard skill dan soft skill. Anda harus pandai statistik dan matematika untuk menganalisis dan memvisualisasikan data. Tak perlu dikatakan, Pembelajaran mesin membentuk inti dari Ilmu Data dan mengharuskan Anda untuk menjadi ahli dalam hal itu. Selain itu, Anda harus memiliki pemahaman yang kuat tentang file domain Anda berupaya untuk memahami masalah bisnis dengan jelas. Tugas Anda tidak berakhir di sini. Anda harus mampu menerapkan berbagai algoritma yang membutuhkan kebaikan pengkodean keterampilan. Terakhir, setelah Anda membuat keputusan kunci tertentu, penting bagi Anda untuk menyampaikannya kepada pemangku kepentingan. Sangat baik komunikasi pasti akan menambah poin brownies untuk keterampilan Anda.

Saya mendorong Anda untuk melihat tutorial video Ilmu Data ini yang menjelaskan apa itu Ilmu Data dan semua yang telah kita bahas di blog. Silakan, nikmati videonya dan beri tahu saya pendapat Anda.

Apa Itu Ilmu Data? Kursus Ilmu Data - Tutorial Ilmu Data Untuk Pemula | Edureka

Video kursus Edureka Data Science ini akan memandu Anda memahami kebutuhan ilmu data, apa itu ilmu data, kasus penggunaan ilmu data untuk bisnis, BI vs ilmu data, alat analisis data, siklus hidup ilmu data, beserta demo.

Pada akhirnya, tidak salah untuk mengatakan bahwa masa depan adalah milik Data Scientist. Diperkirakan pada akhir tahun 2018, akan ada kebutuhan sekitar satu juta Ilmuwan Data. Semakin banyak data akan memberikan peluang untuk mendorong keputusan bisnis utama. Ini akan segera mengubah cara kita memandang dunia yang dibanjiri data di sekitar kita. Oleh karena itu, seorang Ilmuwan Data harus sangat terampil dan termotivasi untuk memecahkan masalah yang paling kompleks.

Saya harap Anda menikmati membaca blog saya dan memahami apa itu Ilmu Data.Lihat kami di sini, yang dilengkapi dengan pelatihan langsung yang dipimpin instruktur dan pengalaman proyek kehidupan nyata.