Tujuan satu atap untuk setiap penggemar film, tentu saja, Netflix. Tetapi bagaimana jika Anda menonton film favorit Anda dan itu terus-menerus buffering? Anda hanya perlu menutup aplikasi dan memilih opsi lain. Tapi, bagaimana cara mengatur lalu lintas jutaan pengguna dengan cepat? Terimakasih untuk . Dalam artikel ini, mari kita pelajari cara Netflix menggunakan Python.
Mari kita mulai dengan melihat sekilas tema yang mengisi artikel ini:
Mari kita mulai. :)
Pengantar Netflix
Netflix adalah perusahaan Amerika yang menyediakan layanan Video on Demand (VOD). Berkantor pusat di Los Gatos, California, Netflix memiliki sekitar 148 juta pelanggan di seluruh dunia dan jumlahnya terus bertambah setiap hari. Dalam kurun waktu kurang lebih dua dekade, Netflix telah muncul sebagai 'Raja klan' untuk Serial TV dan Film terbesar di seluruh dunia. Menjadi merek Amerika yang tumbuh paling cepat dan memiliki pendapatan $ 20,5 miliar pada tahun 2019, sudah cukup untuk menjadi 'penangkap mata', sehingga menarik semua ke dalam bidang teknologinya.
Berdasarkan bidang minat yang sama, Netflix telah mengungkapkan cara mereka menggunakan bahasa yang paling trending, Python , untuk infrastrukturnya.
Jadi sekarang mari kita lanjutkan untuk melihat bagaimana sebenarnya Netflix menggunakan Python?
Bagaimana Netflix menggunakan Python?
'Kami menggunakan Python melalui siklus hidup konten penuh, mulai dari memutuskan konten mana yang akan didanai hingga pengoperasian CDN yang menyajikan video akhir hingga 148 juta anggota' - Insinyur di Netflix
Mulai from Domain administratif untuk Keandalan dan Ilmu Data untuk dll, Netflix menggunakan Python untuk hampir setiap sisi bisnis mereka.
Sekarang mari kita lihat lebih dalam bagaimana caranya digunakan di berbagai domain di Netflix:
Buka Hubungkan:
CDN (Jaringan Pengiriman Konten) yang digunakan Netflix adalah, Open Connect. Open connect pada dasarnya muncul saat Anda mengklik tombol 'play'. Semua konten yang dikirim ke pengguna akhir dijaga oleh CDN ini.
Koneksi terbuka membutuhkan berbagai sistem perangkat lunak lain untuk merancang, membangun, dan mengoperasikannya yang pada gilirannya ditulis dengan Python. Tidak hanya itu, perangkat jaringan yang mendasari CDN ini adalah aplikasi Python karena Python menonjol dalam memecahkan masalah jaringan.
Tim Teknik Permintaan:
Tim Teknik Permintaan bertanggung jawab untuk menangani Kegagalan Regional cloud Netflix, Administrasi Lalu Lintas, Manajemen Operasi Kapasitas (menjaga batas hingga konten dapat diservis), dan Efisiensi Armada. Elemen Python yang digunakan oleh tim ini adalah:
NumPy dan SciPy:
dan SciPy adalah perpustakaan yang digunakan untuk komputasi ilmiah. Netflix menggunakan pustaka Python ini untuk melakukan analisis numerik sehingga memungkinkan pengelolaan Regional Failovers.
Boto3:
Boto3 adalah Software Development Kit (SDK) dari untuk Python. Ini membantu pengembang Python mengintegrasikan Python ke dalam AWS sehingga memungkinkan pengembangan dalam infrastruktur.
RQ (Redis Queue):
Ini adalah pustaka Python yang membantu melacak tugas-tugas yang ada dalam antrian dan memungkinkan eksekusi mereka sehingga memungkinkan pengelolaan beban kerja asinkron.
Labu:
Terakhir, Netflix menggunakan Flask (Python Web Development library) API untuk mengikat semua segmen sebelumnya menjadi satu.
Netflix memanfaatkan yang merupakan aplikasi web sumber terbuka, digunakan untuk pengembangan Python bersama dengan berinteraksi (ekstensi untuk Jupyter) dalam skala besar. Jupyter dikenal populer untuk analisis data. Ini berfungsi dengan sangat baik dalam analisis dan visualisasi data operasional yang pada gilirannya membantu dalam mendeteksi regresi kapasitas.
Infrastruktur Pembelajaran Mesin:
mulai dari membuat algoritme Personalisasi hingga mencari tahu kasus penggunaan. Algoritme personalisasi membantu melatih model Machine Learning sesuai standar Netflix. Ini memberikan rekomendasi yang dipersonalisasi, garis besar setiap hari, pembuatan label, dll.
Perpustakaan dibutuhkan untuk belajar Jaringan Neural Dalam adalah TensorFlow , Keras , dan Pytorch sedangkan XGBoost dan LightGBM untuk Pohon Keputusan yang Didorong Gradien.Mereka juga telah mengembangkan beberapa perpustakaan tingkat tinggi yang membantu menggabungkan dengan area kerja seperti pencatatan fakta, ekstraksi fitur, penerbitan, dll. Terlepas dari semua ini, Netflix juga menggunakan MetaFlow untuk membuat proyek pembelajaran mesin.
“Metaflow mendorong batas Python: Kami memanfaatkan kode Python yang diparalelkan dengan baik dan dioptimalkan untuk mengambil data pada 10Gbps, menangani ratusan juta titik data dalam memori, dan mengatur komputasi lebih dari puluhan ribu inti CPU” - Netflix
Data besar:
Itu tim bertanggung jawab untuk mengeksekusi ETL (mengekstrak, mengubah, memuat) dan pipeline Adhoc. Sebagian besar orkestrasi ini ditulis dengan Python. Tim ini menggunakan penjadwal yang berjalan di Jupyter Notebooks dengan pabrik kertas untuk menghasilkan jenis pekerjaan dengan templat, misalnya, , Segera, dll.
Selain itu, tim juga telah membuat platform berbasis peristiwa yang dibangun sepenuhnya di Python. Mereka telah membuat sejumlah acara dan menggabungkannya menjadi satu acara yang memungkinkan Netflix memfilter, bereaksi, dan mengarahkan acara. Pygenie juga merupakan bagian dari infrastruktur ini yang berinteraksi dengan Genie (layanan eksekusi pekerjaan unggulan).
Eksperimen Ilmiah:
Ini adalah platform yang dibuat oleh tim eksperimen ilmiah untuk memungkinkan Pengujian A / B bersama dengan beberapa eksperimen lainnya. Di sini, ilmuwan dan insinyur dapat mempresentasikan inovasi baru dalam data, statistik, dan visualisasi.
Python yang diterapkan di sini adalah Repo Metrik yang didasarkan pada PyPika dan memungkinkan penulisan kueri berparameter yang dapat digunakan kembali. Untuk sektor statistik, PyArrow dan RPy2 digunakan untuk menghitung statistik dengan Python atau R. Plotly membantu dalam visualisasi.
perbedaan antara lemparan dan lemparan di java
Enkode Video / Rekayasa Cloud Media:
Tim ini bertanggung jawab atas tugas encoding dan encoding ulang untuk katalog Netflix. Python digunakan kira-kira untuk 50 proyek seperti VMAF (Penggabungan Penilaian Multi-Metode Video) dan MezzFS (Sistem File Mezanin), Solusi Visi Komputer (berurusan dengan citra) menggunakan Pemanah , dll.
Animasi Netflix dan NVFX:
Python membentuk basis untuk semua Animasi dan Efek Visual (VFX) di Netflix. Semua serikat Maya dan Nuke dilakukan dengan Python.
IS (Keamanan Informasi):
Netflix menggunakan sistem IS yang didukung Python untuk remediasi otomatis, otomatisasi keamanan, klasifikasi risiko, dll. Proyek Python sumber terbuka paling aktif dari tim ini adalah Monyet Keamanan . Netflix juga menggunakan MEMBERKATI (Layanan SSH Ephemeral Lambda Bastion) untuk melindungi SSH (Secure Shell). RepoKid digunakan untuk memberi SUDAH izin dan sertifikat TLS dialokasikan melalui Lemur. Kedua tugas ini mengandalkan Python.
Pemantauan dan Remediasi Otomatis:
Tim ini dikenal sebagai tim Insight Engineering. Mereka membangun dan menjalankan alatuntuk wawasan operasional, diagnostik, remediasi otomatis, dan perubahan. Untuk sebagian besar layanannya, tim ini menggunakan Python, misalnya, pustaka klien Spectator Python. Perpustakaan ini digunakan untuk merekam deret waktu dimensional. Bersamaan dengan pustaka ini, produk seperti Winston dan Bolt juga dibangun di atas kerangka kerja Python , Gunicorn, dan Flask-RestPlus.
Meringkas semuanya, seseorang dapat dengan mudah mengklaim Python sebagai kekuatan pendorong Netflix. Dengan ini, kita telah sampai di akhir blog ini tentang “Bagaimana Netflix menggunakan Python?”. Saya harap Anda jelas semua yang telah dibahas.
Untuk mendapatkan pengetahuan mendalam tentang Python beserta berbagai aplikasinya, Anda dapat mendaftar secara langsung dengan dukungan 24/7 dan akses seumur hidup.
Ada pertanyaan untuk kami? Harap sebutkan di bagian komentar di blog 'Bagaimana Python menggunakan Netflix' dan kami akan menghubungi Anda kembali secepatnya.