kelas python __init__
Di dunia saat ini, data adalah bahan utama aplikasi internet dan biasanya meliputi yang berikut ini:
- Kunjungan halaman dan klik
- Aktivitas pengguna
- Acara yang sesuai dengan login
- Aktivitas jejaring sosial seperti suka, berbagi, dan komentar
- Metrik khusus aplikasi (mis. Log, waktu buka halaman, kinerja, dll.)
Ini data dapat digunakan untuk menjalankan analitik secara real time melayani berbagai keperluan, beberapa diantaranya adalah:
- Mengirimkan iklan
- Melacak perilaku pengguna yang tidak normal
- Menampilkan pencarian berdasarkan relevansi
- Menampilkan rekomendasi berdasarkan aktivitas sebelumnya
Masalah: Mengumpulkan semua data tidaklah mudah karena data dihasilkan dari berbagai sumber dalam format yang berbeda
Larutan: Salah satu cara untuk mengatasi masalah ini adalah dengan menggunakan sistem pesan. Sistem pesan menyediakan integrasi yang mulus antara aplikasi terdistribusi dengan bantuan pesan.
Apache Kafka:
Apache Kafka adalah sistem pesan berlangganan terbitan terdistribusi yang awalnya dikembangkan di LinkedIn dan kemudian menjadi bagian dari proyek Apache. Kafka cepat, gesit, terukur, dan didistribusikan sesuai desain.
Arsitektur dan Terminologi Kafka:
Tema : Aliran pesan yang termasuk dalam kategori tertentu disebut topik
Produser: Produser dapat berupa aplikasi apa pun yang dapat mempublikasikan pesan ke suatu topik
Konsumen: Konsumen dapat menjadi aplikasi apa pun yang berlangganan topik dan menggunakan pesan
Broker: Cluster Kafka adalah sekumpulan server yang masing-masing disebut broker
Kafka dapat diskalakan dan memungkinkan pembuatan berbagai jenis cluster.
- Cluster Pialang Tunggal Node
- Cluster Broker Ganda Node Tunggal
- Beberapa Node Beberapa Broker Cluster
Pialang Tunggal Node Tunggal
Apa peran ZooKeeper?
Setiap broker Kafka berkoordinasi dengan broker Kafka lainnya menggunakan Zookeeper. Produsen dan Konsumen diberitahu oleh layanan ZooKeeper tentang keberadaan broker baru atau kegagalan broker dalam sistem Kafka.
Beberapa Broker Node Tunggal
Beberapa Node Beberapa Broker
Kafka @ LinkedIn
LinkedIn Newsfeed didukung oleh Kafka
Rekomendasi LinkedIn diberdayakan oleh Kafka
Pemberitahuan LinkedIn diberdayakan oleh Kafka
catatan: Selain itu, LinkedIn menggunakan Kafka untuk banyak tugas lain seperti pemantauan log, metrik kinerja, peningkatan pencarian, dan lain-lain.
Siapa lagi yang menggunakan Kafka?
DataSift: DataSift menggunakan Kafka sebagai kolektor peristiwa pemantauan dan untuk melacak konsumsi aliran data pengguna secara real time
Wooga: Wooga menggunakan Kafka untuk mengumpulkan dan memproses data pelacakan dari semua game Facebook mereka (dihosting di berbagai penyedia) di satu lokasi pusat
Spongecell: Spongecell menggunakan Kafka untuk menjalankan seluruh saluran analitik dan pemantauannya yang menggerakkan aplikasi waktu nyata dan ETL
Loggly: Loggly adalah manajemen log berbasis cloud paling populer di dunia. Ini menggunakan Kafka untuk pengumpulan log.
Studi Banding: Kafka vs. ActiveMQ vs. RabbitMQ
Kafka memiliki format penyimpanan yang lebih efisien. Rata-rata, setiap pesan memiliki overhead 9 byte di Kafka, dibandingkan 144 byte di ActiveMQ
Baik di ActiveMQ dan RabbitMQ, broker mempertahankan status pengiriman setiap pesan dengan menulis ke disk tetapi dalam kasus Kafka, tidak ada penulisan disk, sehingga membuatnya lebih cepat.
Dengan adopsi Kafka yang luas dalam produksi, tampaknya ini menjadi solusi yang menjanjikan untuk memecahkan masalah dunia nyata. Pelatihan Apache Kafka dapat membantu Anda menjadi yang terdepan dalam karier analitik real-time. Mulailah dengan tutorial Apache Kafka sini .
Ada pertanyaan untuk kami? Harap sebutkan di bagian komentar dan kami akan menghubungi Anda kembali.
Posting terkait:
penyortiran array c ++