[2019] Bắt đầu với CEPH Storage

Một số ghi chép về SDS và CEPH Storage

1. Mở đầu về CEPH

• CEPH hiện tại đang là sofwarre-defined stroage nổi tiếng và được sử dụng rộng rãi. CEPH là một dự án opensource cung cấp các giải pháp về sofware-defined block, file và ojbject storage. Core idea của CEPH là cung cấp một distrbuted storage system có khả năng mởi rộng và hiệu năng cao với no singe point of failure . Trong cloud ecosystem , CEPH là một lựa chọn để xây dựng storage backend phù hợp cho cả public, private và hybrid cloud.
• Sofrware-defined storage — SDS : là một phần mềm có khả năng cung cấp mà quản lý dữ liệu lưu trữ mà không có rằng buộc vào với hạ tầng vật lý. Không giống như các hạ tấng stroage bình thường, trong SDS người phát triển có tự do chọn lựa phần cứng ( storage hardware ) từ nhà sản xuất nào và được tự do thiết kế giải pháp theo nhu cầu sử dụng . Lợi ích của SDS mang lại giúp giảm chi phí sử dụng các phần cứng chuyên dụng, tăng độ linh hoạt, khả năng mở rộng và tăng độ tin cậy . CEPH là một giải pháp nằm trong SDS, cung cấp các giải pháp lưu trữ dành cho các doanh nghiệp
• Cloud Storage : Trong hệ hạ tầng Cloud , hệ thống lưu trữ là những quan tâm hàng đầu. Mỗi hạ tầng cloud cần có một storage system có độ tin cậy cao, chi phí xây dựng thấp và có khả năng mở rộng, trong một số trường hợp các hệ thống storage đơn thuần có thể đảm nhiệm việc đó. Tuy nhiêm, CEPH với khả năng tích hợp nhanh vào cloud system, cắt giảm chi phí mà không ảnh hướng đến độ tin cậy và độ mở rộng đang là một trong những storage backend hoàn hảo cho các dự án cloud OpenStack, CloudStack, and OpenNebula. Moreover
• Các hạ tầng Cloud dựa trên CEPH cung cấp khả năn linh hoạt cần thiết cho mô hình Storage-as-a-Service và Infrastructure-as-a-Service

2. Hệ thống lưu trữ tập trung

2.1.File-based storage

• File-based storage : được gọi là file level, hệ thống lưu trữ theo hướng tổ chức phân cấp. Dữ liệu được lưu tại các tập tin, thư mục, thư mục con, truy cập dữ liệu qua các đường dẫn . Dữ liệu có thể được truy cập thông qua NFS đối với Linux hoặc SMB đối với Window, khả năng truy cập và thao tác của người dùng hoặc nhóm người dùng với các file và foler tùy thuộc vào các quyền nguời quản trị cung cấp. Đối với file-based stroage cung cấp khả năng lưu trữ có khả năng truy xuất dữ liệu một cách dễ đàng. cung cấp giải pháp chi phí thấp, đối với File-base việc lưu file có thể nói là unlimited , nhưng với khả năng đáp ứng với các hệ thống dữ liệu lớn là không cao. “The more files you accumulate, the bigger the headache.”

2.2. Block Storage

• Block storage : Cung cấp các khối dữ liệu thô . Mỗi storage volume là một ổ đĩa độc lập và được điều khiển bởi các OS ngoài , các block storage có thể gắn vào các hệ điều hành giống như một ổ cứng vật lý .Các hệ thống block stroage : SAN, iSCSI. Các cloud provider thường sử dụng phải pháp block storage để gắn vào máy ảo, cung cấp cho người dùng máy ảo có khả năng sử dụng các block như một hark disk vật lý bình thường. Có thể xây dựng các hệ thống file-base level, xây dựng các hệ thống cơ sở dữ liệu..
• Một số trường hợp sử dụng block storage
• sử dụng cho các Database, đáp ứng các yêu cầu về I/O và độ trễ
• Sử dụng cho RAID, có thể sử dụng nhiều block để stripping hoặc mirroring.
• Mốt số lợi ích khi sử dụng block storage trên môi trường cloud
• Cung cấp khả năng snapshot
• Có thể thay đổi kích thức các block theo hướng tăng ( increment )
• Có thể sử dụng các block trên các điểm gắn khác nhau, khả năng di chuyển giữa các điểm dễ dàng
• Chạy các dịch vụ yêu cầu server side như Java, PHP, and .Net
• Xây dựng các hệ thống file-base
• Nhược điểm của block storage trên môi trường cloud
• Nguời dùng các block sẽ không được hưởng lợi ích on demand ( trả phí theo nhu cầu ) mà phải trả phí cho cả block
• Chỉ có thể truy cập vào block storage, xây dựng hoặc truy cập tài nguyên trên khi các block này đang chứa OS hoặc điều khiển bởi 1 OS ngoài
• Block storage yêu cầu nhiều hands-on work từ người dùng

2.3. Oject Storage

• Oject storage ( lưu trữ hướng đối tượng ) :người dùng chỉ có thể truy cập vào dữ liệu Block storage volume khi chúng được gắn vào môt hiệu điều hành . Nhưng đối với các dữ liệu lưu trữ dưới dạng Oject Storage, các Object data có thể truy cập qua các API nhờ oject metadata. Trên các object storage người dùng có thể lưu trữ data, photos, videos, and log files. Mỗi đối tượng khi được lưu trữ trên các Object storage bao gồm dữ liệu của chính nó, metadata và một mã định danh duy nhất.
• Trường hợp sử dụng
• Lưu trữ các dữ liệu phi cấu trúc nhu như mp3 file, docs, image , video..
• Lưu trữ các bản backup, database dump, log file
• Khả năng lưu dữ dữ liệu lớn.
• Một số lợi dích khi sử dụng object storage
• khả năng truy xuất dữ liệu dơn giản
• khả năng thêm khả năng vào “hồ chứa”
• Một số hạn chế khi sử dụng oject storage
• chỉ phù hợp với việc lưu dữ các dữ liệu dưới dạng đối tượng

2.4. Unified next-generation storage architecture

• Khái niệm lưu trữ tập trung được thay đổi từ khi các công nghệ như cloud computing, big data, and internet of Things ngày càng phát triển, một loại lưu trữ mới xuất hiện: Object storage . CEPH cung cấp giải pháp hệ thống lưu trữ tập trung, hỗ trợ block, file, oject storage từ một hệ thống duy nhất .

2.5. The End Of Raid

• The newer enterprise disk specification offers disks up to 4 TB, 6 TB, and even 10 TB disk drives, and the capacities keep increasing year by year. Think of an enterprise RAID-based storage system that is made up of numerous 4 TB or 6 TB disk drives. Unfortunately, when such a disk drive fails, RAID will take several hours and even up to days to repair a single failed disk
• RAID requires a set of identical disk drivers in a single RAID group; you would face penalties if you change the disk size, rpm, or disk type. Doing so would adversely affect the capacity and performance of your storage system. This makes RAID highly choosy about the hardware. Also, enterprise RAID-based systems often require expensive hardware components, such as RAID controllers, which significantly increases the system cost. These RAID controllers will become single points of failure if you do not have many of them.

3. CEPH defined

3.1. USe case

• The power of Ceph can transform your organization’s IT infrastructure and your ability to manage vast amounts of data. If your organization runs applications with different storage interface needs, Ceph is for you! Ceph’s foundation is the Reliable Autonomic Distributed Object Store (RADOS), which provides your applications with object, block, and file system storage in a single unified storage cluster — making Ceph flexible, highly reliable and easy for you to manage. Ceph’s RADOS provides you with extraordinary data storage scalability — thousands of client hosts or KVMs accessing petabytes to exabytes of data. Each one of your applications can use the object, block or file system interfaces to the same RADOS cluster simultaneously, which means your Ceph storage system serves as a flexible foundation for all of your data storage needs. You can use Ceph for free, and deploy it on economical commodity hardware. Ceph is a better way to store data.

3.2. Advantage

CEPH OBJECT STORE

• RESTful Interface
• S3- and Swift-compliant APIs
• S3-style subdomains
• Unified S3/Swift namespace
• User management
• Usage tracking
• Striped objects
• Cloud solution integration
• Multi-site deployment
• Multi-site replication

CEPH BLOCK DEVICE

• Thin-provisioned
• Images up to 16 exabytes
• Configurable striping
• In-memory caching
• Snapshots
• Copy-on-write cloning
• Kernel driver support
• KVM/libvirt support
• Back-end for cloud solutions
• Incremental backup
• Disaster recovery (multisite asynchronous replication)

CEPH FILESYSTEM

• POSIX-compliant semantics
• Separates metadata from data
• Dynamic rebalancing
• Subdirectory snapshots
• Configurable striping
• Kernel driver support
• FUSE support
• NFS/CIFS deployable
• Use with Hadoop (replace HDFS)

4. Tài liệu tìm hiểu

• Version : mimic
• Lý thuyết , thực hành theo docs : http://docs.ceph.com/docs/mimic/start/

END.