View profile

#167 - Các kỹ thuật tối ưu Spark không thể bỏ qua

Revue
 
 

Grokking Newsletter

April 19 · Issue #168 · View online

Tuyển tập những bài viết hay cùng sự kiện bổ ích dành cho kĩ sư phần mềm tại Việt Nam.


Những bài viết hay
Các kỹ thuật tối ưu Spark không thể bỏ qua Các kỹ thuật tối ưu Spark không thể bỏ qua
Gửi SMS trên quy mô lớn với Twilio Gửi SMS trên quy mô lớn với Twilio
Bốn sai lầm tôi gặp phải khi còn là developer
Góc Database
Trong các năm trở lại đây, nhiều hệ thống dữ liệu phân tán đang bắt đầu chuyển dịch theo hướng chấp nhận dữ liệu có tính chất eventual consistency để đổi lại hệ thống sẽ có độ khả dụng cao (high availability). Một trong những lý do được đưa ra là vì đối với các hệ thống eventual consistency, khoảng thời gian mà dữ liệu ở trạng thái không nhất quán (inconsistency window) là khá ngắn, và câu hỏi được đưa ra ở đây sẽ là nó “ngắn” đến mức nào.
Để trả lời cho câu hỏi này thì trước tiên chúng ta cùng khảo sát cách phân loại về đặc tính nhất quán.
Theo như đề cập trong quyển sách “DistributedSystems - Principles and Paradigms” bởi hai tác giả Tanenbaum và Steen thì khái niệm nhất quán có thể phân thành hai nhóm theo hai góc độ khảo sát: nhất quán về theo góc độ lưu trữ (data-centric) và nhất quán theo góc độ người dùng (client-centric)
  • Khi khảo sát tính nhất quán về mặt lưu trữ (data-centric consistency model) thì một hệ thống dữ liệu phân tán được coi là nhất quán khi tất cả phiên bản của một đơn vị dữ liệu được lưu trên các server khác nhau đều giống nhau.
  • Theo một hướng khác thì mô hình tính nhất quán theo góc độ người dùng (client-centric consistency model) sẽ không quan tâm dữ liệu được hệ thống storage được lưu trữ như thế nào mà chỉ quan tâm xem dữ liệu nhận về từ các instance khác nhau của một hệ thống có thống nhất (hay nhất quán) hay không.
Dựa theo cách phân loại này thì chúng ta có thể thấy, một hệ thống có thể xem là không nhất quán ở khía cạnh lưu trữ vẫn có khả năng trả về các kết quả nhất quán theo góc độ người dùng.
Trong bài báo này, hai tác giả David Bermbach và Stefan Tai quan tâm đến việc đo đạc ở khía cạnh người dùng nhiều hơn. Các tác giả trình bày kỹ thuật dùng để đo đạc khung thời gian mà dữ liệu không nhất quán (inconsistency window) và áp dụng để đo đạc chỉ số nhất quán của hệ thống Amazon S3. Mời các bạn cùng tham khảo.
Lưu ý: bài báo được đưa ra vào nào 2011 nên kết quả có thể không còn phù hợp ở thời điểm
Code & Tools
This Week Sponsors
LINE đang tích cực tìm kiếm nhiều nhân tố ở các vị trí chủ chốt để đáp ứng nhu cầu phát triển mạnh mẽ của hệ sinh thái LINE. Đặc biệt, trong vai trò Engineering ManagerProject Leader, các bạn sẽ có cơ hội tác động tích cực đến sự phát triển của con người, tổ chức, sản phẩm và hàng trăm triệu người dùng.
Góc Tuyển Dụng
Quotes
Falling in love with code means falling in love with problem solving and being a part of a forever ongoing conversation.
- Kathryn Barrett
Did you enjoy this issue?
If you don't want these updates anymore, please unsubscribe here.
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue
Charmington La Pointe, 181 Cao Thang, Dist 10, Ho Chi Minh city, Viet Nam