221 - Tối ưu hoá thời gian đọc S3 giúp tăng hiệu suất tác vụ xử lý dữ liệu lớn

Đội ngũ kĩ sư ở Wix tin rằng có thể vừa phát triển tính năng mới nhanh chóng, vừa giảm số lượng bug cũng như ảnh hưởng của chúng trên môi trường production. Mặc dù Wix deploy code lên production nhiều lần trong ngày, và mỗi thay đổi có thể ảnh hưởng đến hàng triệu cửa hàng trực tuyến với hàng nghìn lượng truy cập mỗi phút, nhưng Wix không có môi trường pre-production hoặc thậm chí môi trường testing, mà kiểm thử chúng trực tiếp trên môi trường production. 

Khi một kĩ sư push code, nó có thể được triển khai ngay ở production chỉ trong vài giờ hoặc thậm chí vài phút mà không có manual QA. Vậy bí quyết của Wix là gì? Bài viết đề cập các ý chính như sau:

- Trong quá trình phát triển: áp dụng rất nhiều feature toggle, viết unit test với độ bao phủ cao (high-coverage), và E2E production test.

- Khi triển khai: sử dụng gradual deployment. Tăng dần số lượng người dùng được tiếp cận phiên bản mới hoặc tính năng mới, kiểm soát bởi cơ sở hạ tầng và feature toggle.

- Theo dõi các chỉ số và KPI cụ thể một cách tường minh, kèm cơ chế alert tự động. Khi có sự cố, các kỹ sư sẽ ưu tiên bật tắt feature toggle hoặc rollback về version cũ nếu cấp thiết.

Mời các bạn tham khảo thêm chi tiết các đề xuất của Wix tại link bên dưới.

Tại Pinterest, với việc xử lý hàng petabyte dữ liệu được lưu trữ trên Amazon S3 mỗi ngày, việc giám sát những chỉ số liên quan đến tốc độ đọc/ghi dữ liệu cần được ưu tiên hơn kể. Khi các kỹ sư tại đây tiến hàng kiểm tra các chỉ số liên quan của MapReduce/Cascading/Scalding jobs, một điều bất ngờ là tốc độ mapper chậm hơn dự kiến. Vấn đề này làm ảnh hưởng tới tốc độ đọc dữ liệu của các jobs liên quan. Vì vậy, nếu giảm được độ trễ này sẽ giúp đội ngũ kỹ sư tại đây tiết kiệm đáng kể thời gian, công sức trong quá trình xây dựng và vận hành hệ thống. Về lâu dài, những chi phí kỹ thuật như thế có thể tăng lên và gây tiêu tốn ngân sách của công ty.

Để cải thiện việc này, các kỹ sư tại đây đã có một cách tiếp cận mới nhằm cải thiện read throughput của S3, từ đó có thể cải thiện hiệu quả production jobs của họ. Kết quả rất đáng khích lệ với tốc độ read throughput tăng tốc lên 12 lần so với trước đó. Hơn nữa, những chỉ số liên quan tới resources saving, vcores, memory,… cũng có dấu hiệu tích cực hơn.

Trong bài viết, tác giả làm rõ điểm bottleneck khiến cho tốc độ đọc vào S3 bị hạn chế. Gồm 2 mấu chốt là Single threaded reads và Multiple unnecessary reopens. Để giải quyết những vấn đề trên, tác giả đưa ra cách triển khai hệ thống và một số kỹ thuật mà đội ngũ kỹ sư ở đây áp dụng nhằm tăng tốc tốc độ đọc vào S3. Để biết thêm chi tiết về bài viết, mời các bạn đón đọc tại đây:

Không thể không thừa nhận được rằng ngày nay git đóng vai trò nền tảng trong các dự án phát triển phần mềm và là một công cụ bắt buộc phải có đối với các đội phát triển cùng làm việc với nhau và là một engine nền tảng cho sự chuyển biến của cộng đồng open-source trong những năm qua.

Hầu như các developer làm việc với git mỗi ngày, trong bài viết này tác giả Alberto Prospero sẽ giới thiệu sâu vào đặc tính bên trong và khám phá các thành phần cơ bản của Git. Cấu trúc dữ liệu Git dựa trên 03 thành phần chính là Blobs, Trees, và Commits, 03 cấu trúc này là nền tảng của Git. 

Mỗi khi ta tạo một file mới và tiến hành track file vào repository bằng lệnh `git add <file-name>`, Git sẽ tạo ra 1 blob, là 1 file được lưu tại sub-folder `.git/objects` đây là nơi sẽ lưu trữ nội dung của file ta vừa tạo, tên của blob sẽ là mã hash của nội dung file được tạo.  

Giả sử ta lại tạo ra thêm một sub-folder trên repository đặt tên là `subfolder` sau đó tạo ra một file `yourfile.text` trong sub-folder vừa tạo, khi ta tiến hành commit cả 02 file bằng lệnh `git commit`, Git sẽ tiến hành hai bước:

Tiếp theo tác giả giới thiệu về Git Branch. Các branch là các tên tham chiếu (named references) đến một Commit. Khi tạo mới một branch bằng câu lệnh `git checkout -b mybranch`, Git sẽ tạo ra một file mới theo đường dẫn `.git/refs/heads`, nội dung của file là mã hash của commit từ branch được tạo ra.

Thông tin chi tiết hơn về cách thức git branch hoạt động, giải thích ý nghĩa của HEAD và ý nghĩa của việc Merge Branch, có thể tham khảo tại bài viết gốc.