Như sống nội dung bài viết trước, mình đã trình diễn với các bạn đông đảo điều cơ phiên bản duy nhất về HDFS, và giờ cùng với bài viết này bản thân sẽ trình diễn với chúng ta về Kiến trúc của HDFS.
Bạn đang xem: Hdfs là gì
I. Cơ chế Master – Slave
Nhỏng mình đã trình bày những lần, HDFS đang chia nhỏ dại file của người sử dụng thành những phần với lưu trữ bọn chúng trên các vật dụng trong cụm, cùng Việc tàng trữ file vẫn tuân thủ theo đúng chế độ Master – Slave.
Master – Slave ám chỉ quy mô tất cả 1 ông chủ (master) cầm đầu một đám nô lệ (slave). Ông công ty sẽ không tmê say gia trực tiếp vào công việc, mà lại chỉ sở hữu các đầu mục câu hỏi với lên tiếng của những nô lệ. Công bài toán bao gồm của ông nhà là thống trị, giám sát để đám nô lệ nhằm bọn chúng làm việc đúng cách dán cùng mang đến kết quả.
Thật bất ngờ máy vi tính cũng giai cấp
Cụ thể chính sách master – slave sầu được bộc lộ vào HDFS bằng Việc vào một cụm sản phẩm, sẽ chỉ bao hàm một đồ vật duy nhất được gọi là là Namenode (Master) với các sản phẩm còn lại Điện thoại tư vấn là Datanode (Slave). Trong đó:
Datanode sẽ là địa điểm tàng trữ những file tài liệu nhưng chúng ta gửi vào.Namenode là khu vực lưu thúc đẩy của file này được phân tách với lưu giữ trên những datanode như thế nào.
Có một thắc mắc đặt ra là Tại sao Blochồng vào HDFS có dung lượng cao cho tới vậy – 128M, trong những lúc block file system của Linux chỉ nên 4KB?
Câu vấn đáp là: Big data là số đông tập tài liệu rất lớn, đơn vị thuộc khoảng Terabytes hay Petabytes. Vậy nếu như kích thước của bloông chồng cơ mà nhỏ dại trung bình 4KB thì một file dữ liệu gửi vào HDFS sẽ bị phân thành rất nhiều các blochồng, vấn đề đó cũng chính là cho các file metadata ở namenode phình to hơn. Và tất nhiên vấn đề này khiến câu hỏi thống trị metada khó khăn rộng, điều nhưng không người nào ao ước.
Xem thêm: Giá Xe Ford Everest 2018 - Đánh Giá Sơ Bộ Ford Everest 2018
IV. Cơ chế cai quản các phiên bản sao
giữa những đặc trưng của HDFS là tất cả độ tin tưởng cao cùng năng lực phục sinh sau lỗi giỏi. Vậy HDFS đang làm rứa nào để có được đăng trưng này? Giờ bản thân đang chỉ mang lại các bạn nhé.
Dữ liệu sau khi được tạo thành những bloông xã, không tính Việc được lưu lại rải rác rưởi bên trên mọi các datanode, các blochồng còn được nhân bản thành các phiên bản khác nhau cùng giữ tại các datanode không giống nhau. quý khách hàng có thể coi hình ảnh sau đây để hiểu rõ hơn.
V. Tổng kết
Lại là một bài viết ngập cả triết lý nhưng mà đọc xong xuôi có vẻ … chẳng đọc gì với cũng chẳng giúp ích gì các. Thật ra tôi cũng từng vậy đấy, dẫu vậy cđọng gọi, lưu lại được trong đầu tý làm sao thì ứ đọng, chiếc quan trọng nhất là bản thân cđọng “biết nó là thế đã” còn nó đặc biệt hay là không thì trong tương lai new hiểu rằng. Nhưng mình tiết lộ luôn nhé, bản thân Cảm Xúc rất nhiều kỹ năng định hướng này siêu hữu dụng cho Việc thực hành trong tương lai đấy. Mấy nữa học tới đoạn thực hành thực tế cùng với code, thử xem các bạn có xúc cảm tương đương mình ko nhé.
Tóm tắt lại thì bài bác này còn có một số trong những điều cần chăm chú nlỗi sau:
Hadoop cluster chuyển động theo hình thức master – slave.Một Hadoop cluster bao gồm 1 namenode cùng n datanode. Vì vậy namenode đề xuất tính chuẩn bị sẵn sàng cao, còn datanode thì không bắt buộc đề cao tính sẵn sàng.Namenode không phải là chỗ thẳng lưu giữ dữ liệu, nhưng chỉ với nơi giữ các metadata. Dữ liệu thực tiễn được tạo thành những bloông xã và lưu giữ tại những datanode.Các bloông xã sẽ tiến hành nhân bản và lưu trữ trên những datanode không giống nhau.Chào giã từ, hẹn gặp gỡ lại sinh hoạt bài viết tiếp đến.
Tương tác cùng với HDFS trải qua restful api với WebHDFS… Còn nữa… bản thân đã viết