Tiểu luận: Google File System
Giới thiệu chung về Google File System (GFS)
Google File System (GFS) là một hệ thống quản lý tập tin phân tán được phát triển bởi Google. Hệ thống này được thiết kế nhằm cung cấp khả năng truy xuất dữ liệu hiệu quả và đáng tin cậy trên quy mô lớn, tận dụng sức mạnh của các hệ thống cluster sử dụng phần cứng thông dụng (commodity hardware). GFS không phải là một sản phẩm mã nguồn mở mà chỉ được sử dụng nội bộ bởi Google, và thường được xem như một mô hình tham khảo cho các hệ thống tập tin phân tán (DFS).
Kiến trúc tổng quan của GFS
Mỗi tệp trong GFS được chia thành các khối (chunk) có kích thước cố định là 64 MB. Mỗi chunk này được nhân bản (replica) thành nhiều bản sao và lưu trữ trên các máy chủ chunk (chunk server) khác nhau. Hệ thống bao gồm một máy chủ chính (master server) duy nhất, nhiều máy chủ chunk và các máy khách (client). Máy chủ chính chịu trách nhiệm quản lý tập trung, giúp đơn giản hóa quá trình quản lý, đồng thời GFS không sử dụng cơ chế caching dữ liệu.
Các giả định và giao diện của GFS
GFS được xây dựng dựa trên một số giả định quan trọng về tỷ lệ lỗi của các thành phần, số lượng và kích thước file lớn (vài triệu file, mỗi file hơn 100 MB), với phần lớn thao tác là ghi nối tiếp (append) và đọc luồng dữ liệu lớn (large streaming read). Để tương tác với hệ thống, GFS cung cấp các giao diện như Create, Delete, Open, Close, Read, Write, Snapshot và RecordAppend.
Cơ chế hoạt động và xử lý
Trong GFS, các thao tác thay đổi nội dung file (mutation) bao gồm ghi hoặc ghi nối tiếp, và phải được thực hiện trên mọi bản sao. Cơ chế Lease được thiết kế để giảm sự tham gia của máy chủ chính vào các thao tác trên file. Máy chủ chính sẽ chọn một bản sao làm bản sao chính (primary replica) để xử lý các yêu cầu thao tác mutation từ client.
Metadata và sự tương tác
Metadata trong GFS bao gồm tên file và chunk, mapping giữa file và chunk, cùng vị trí của các chunk. Metadata này được lưu trữ trên cả máy chủ chính và máy chủ chunk, và được tải lên RAM để truy xuất nhanh chóng. Operation log ghi lại các thao tác trên metadata, là metadata bền vững duy nhất lưu trên đĩa cục bộ và được sao lưu bởi các shadow master.