Cài đặt môi trường Hadoop Single Node
Điều kiện tiên quyết
Hadoop hoạt động phụ thuộc vào JDK, cần phải cài đặt trước, các bước cài đặt xem tại:
Cấu hình SSH đăng nhập không cần mật mã
Các thành phần của Hadoop cần giao tiếp với nhau thông qua SSH.
Cấu hình ánh xạ
Cấu hình ánh xạ địa chỉ IP và tên máy chủ:
Tạo public-private key
Chạy dòng lệnh sau để tạo public key và privatekey:
ssh-keygen -t rsa
Ủy quyền
Đi vào thư mục ~/.ssh
, kiểm tra public key và private key đã tạo, sau đó ghi public key vào tệp ủy quyền:
Cài đặt môi trường Hadoop (HDFS)
Tải về và giải nén
Tải về gói cài đặt Hadoop từ trang chủ, địa chỉ tải về là: Index of /hadoop/common/hadoop-2.10.2
Cấu hình biến môi trường
Cấu hình biến môi trường:
export HADOOP_HOME=/usr/app/hadoop-2.10.2
export PATH=${HADOOP_HOME}/bin:$PATH
Thực hiện lệnh source
để cấu hình biến môi trường có hiệu lực ngay lập tức:
Sửa cấu hình Hadoop
Truy cập vào thư mục ${HADOOP_HOME}/etc/hadoop/
, sửa các cấu hình sau:
1. hadoop-env.sh
2. core-site.xml
3. hdfs-site.xml
Chỉ định hệ số bản sao và vị trí lưu trữ tệp tin tạm thời:
4. slaves
Cấu hình tên máy chủ hoặc địa chỉ IP của tất cả các nút phụ thuộc, do đây là phiên bản đơn, nên chỉ cần chỉ định máy chủ này:
Tắt tường lửa
Nếu không tắt tường lửa, có thể sẽ không thể truy cập vào giao diện Web UI của Hadoop:
Khởi tạo
Lần đầu tiên khởi động Hadoop cần phải khởi tạo, truy cập vào thư mục ${HADOOP_HOME}/bin/
, thực hiện lệnh sau:
Khởi động HDFS
Truy cập vào thư mục ${HADOOP_HOME}/sbin/
, khởi động HDFS:
Kiểm tra xem đã khởi động thành công chưa
Cách một: Thực hiện lệnh jps
để kiểm tra xem dịch vụ NameNode
và DataNode
đã khởi động hay chưa:
Cách hai: Kiểm tra giao diện Web UI, cổng là 50070
:
Cài đặt môi trường Hadoop (YARN)
Sửa cấu hình
Truy cập vào thư mục ${HADOOP_HOME}/etc/hadoop/
, sửa các cấu hình sau:
1. mapred-site.xml
2. yarn-site.xml
Khởi động dịch vụ
Truy cập vào thư mục ${HADOOP_HOME}/sbin/
, khởi động YARN:
Kiểm tra xem đã khởi động thành công chưa
Cách một: Thực hiện lệnh jps
để kiểm tra xem dịch vụ NodeManager
và ResourceManager
đã khởi động hay chưa:
Cách hai: Kiểm tra giao diện Web UI, cổng là 8088
: