View profile

#125 - Cơ chế tái cân bằng trong Kafka

Revue
 
 

Grokking Newsletter

June 14 · Issue #125 · View online
Tuyển tập những bài viết hay cùng sự kiện bổ ích dành cho kĩ sư phần mềm tại Việt Nam.

Những bài viết hay
How we use HashiCorp Nomad
How Online Primary Key Changes Work in CockroachDB
Apache Kafka Rebalance Protocol
Nhiều consumers của 1 topic sẽ tạo thành 1 consumers group. Với càng nhiều partitions, ta có thể tăng số consumers để tăng khả năng xử lý song song của consumer group. Ngoài ra, Kafka sẽ đảm bảo việc cân bằng tải (load balance) các partitions đến các consumers trong group. Nếu 1 consumer rời group hoặc vào lại, Kafka sẽ tái cân bằng lại group dựa vào Kafka Rebalance Protocol. Một số cách sử dụng giao thức tái cân bằng:
  • Confluent Schema Registry sử dụng rebalace protocol để chọn leader node
  • Kafka Connect sử dụng rebalace protocol để phấn bố các tasks và connectors một cách phù hợp trên các workers node
  • Kafka Stream sử dụng rebalace protocol để gán tasks và partitions đến các instances
Cơ chế rebalacing được cấu thành từ 2 protocols: Group Membership ProtocolClient Embedded Protocol.
Vậy làm sao để các protocol này kết nối với nhau? Khi 1 consumer rời hoặc tham gia 1 group, rebalancing sẽ hoạt động ra sao? Hay các group processes như Schema Registry hay Kafka Connect sử dụng rebalancing cho các mục đích khác nhau như thế nào?
Stop writing your own user authentication code
Sản phẩm của người Việt
Kipacast - một sản phẩm mới của Kipalog team.
Tiếp nối thành công từ một nền tảng chia sẻ kiến thức qua hình thức “viết” - log, đội ngũ Kipalog đã cho ra đời một sản phẩm chia sẻ khác, nhưng qua hình thức “nói” - podcast.
Hai tuần một lầnKipacast sẽ đăng tải một cuộc trò chuyện cùng một kĩ sư hay những người làm phần mềm, với mục tiêu đem lại cho khán thính giả một góc nhìn khác cũng như kiến thức từ những người trong ngành.
Mời các bạn cùng nghe & theo dõi https://kipacast.info!
Giới thiệu sách
The Analytics Setup Guidebook - Build scalable analytics & BI stacks in modern cloud era 📚 The Analytics Setup Guidebook - Build scalable analytics & BI stacks in modern cloud era 📚
Code & Tools
Quotes
First, solve the problem. Then, write the code.
― John Johnson
Did you enjoy this issue?
If you don't want these updates anymore, please unsubscribe here.
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue
Charmington La Pointe, 181 Cao Thang, Dist 10, Ho Chi Minh city, Viet Nam