Thứ tư, 04/11/2015 | 00:00 GMT+7

Cách cài đặt Elasticsearch 1.7, Logstash 1.5 và Kibana 4.1 (ELK Stack) trên CentOS 7

Lưu ý: Hướng dẫn này dành cho version cũ hơn của ngăn xếp ELK, không tương thích với version mới nhất. Phiên bản mới nhất của hướng dẫn này có sẵn tại Cách cài đặt Elasticsearch, Logstash và Kibana (ELK Stack) trên CentOS 7 .


Trong hướng dẫn này, ta sẽ xem xét cài đặt Elasticsearch ELK Stack trên CentOS 7 — tức là Elasticsearch 1.7.3, Logstash 1.5.4 và Kibana 4.1.1. Ta cũng sẽ chỉ cho bạn cách cấu hình nó để thu thập và trực quan hóa các log hệ thống của bạn ở một vị trí tập trung. Logstash là một công cụ open-souce để thu thập, phân tích cú pháp và lưu trữ log để sử dụng trong tương lai. Kibana là một giao diện web được dùng để tìm kiếm và xem các bản ghi mà Logstash đã lập index . Cả hai công cụ này đều dựa trên Elasticsearch.

Ghi log tập trung có thể rất hữu ích khi cố gắng xác định sự cố với server hoặc ứng dụng của bạn, vì nó cho phép bạn tìm kiếm qua tất cả log của bạn ở một nơi duy nhất. Nó cũng hữu ích vì nó cho phép bạn xác định các vấn đề trải dài trên nhiều server bằng cách tương quan các log của chúng trong một khung thời gian cụ thể.

Có thể sử dụng Logstash để thu thập log của tất cả các loại, nhưng ta sẽ giới hạn phạm vi của hướng dẫn này là thu thập log hệ thống.

Mục tiêu của ta

Mục tiêu của hướng dẫn là cài đặt Logstash để thu thập các log hệ thống của nhiều server và cài đặt Kibana để trực quan hóa các log đã thu thập.

Cài đặt Logstash / Kibana của ta có bốn thành phần chính:

  • Logstash : Thành phần server của Logstash xử lý các log đến
  • Elasticsearch : Lưu trữ tất cả log
  • Kibana : Giao diện web để tìm kiếm và hiển thị log , sẽ được ủy quyền thông qua Nginx
  • Logstash Forwarder : Được cài đặt trên các server sẽ gửi log của họ đến Logstash, Logstash Forwarder đóng role là đại lý chuyển tiếp log sử dụng giao thức mạng lumberjack để giao tiếp với Logstash

Cơ sở hạ tầng ELK

Ta sẽ cài đặt ba thành phần đầu tiên trên một server duy nhất, mà ta sẽ gọi là Server Logstash của ta . Logstash Forwarder sẽ được cài đặt trên tất cả các server khách hàng mà ta muốn thu thập log , ta sẽ gọi chung là Server Khách hàng của ta .

Yêu cầu

Để hoàn thành hướng dẫn này, bạn sẽ yêu cầu quyền truy cập root vào VPS CentOS 7. Hướng dẫn cài đặt có thể tìm thấy ở đây (bước 3 và 4): Cài đặt server ban đầu với CentOS 7 .

Nếu bạn muốn sử dụng Ubuntu thay thế, hãy xem hướng dẫn này: Cách cài đặt ELK trên Ubuntu 14.04 .

Số lượng CPU, RAM và dung lượng lưu trữ mà Server Logstash của bạn sẽ yêu cầu phụ thuộc vào dung lượng log mà bạn định thu thập. Đối với hướng dẫn này, ta sẽ sử dụng một VPS với các thông số kỹ thuật sau cho Server Logstash của ta :

  • Hệ điều hành: CentOS 7
  • RAM: 4GB
  • CPU: 2

Ngoài Server Logstash của bạn, bạn cần có một vài server khác mà bạn sẽ thu thập log từ đó.

Hãy bắt đầu cài đặt Server Logstash của ta !

Cài đặt Java 8

Elasticsearch và Logstash yêu cầu Java, vì vậy ta sẽ cài đặt nó ngay bây giờ. Ta sẽ cài đặt version gần đây của Oracle Java 8 vì đó là những gì Elasticsearch đề xuất. Tuy nhiên, nó sẽ hoạt động tốt với OpenJDK, nếu bạn quyết định đi theo con đường đó. Làm theo các bước trong phần này nghĩa là bạn chấp nhận Thỏa thuận cấp phép binary của Oracle cho Java SE.

Thay đổi folder chính của bạn và download Oracle Java 8 (Cập nhật 65) JDK RPM bằng các lệnh sau:

  • cd ~
  • wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u65-b17/jdk-8u65-linux-x64.rpm"

Sau đó cài đặt RPM bằng lệnh yum này (nếu bạn đã download một bản phát hành khác, hãy thay thế tên file tại đây):

  • sudo yum localinstall jdk-8u65-linux-x64.rpm

Bây giờ Java sẽ được cài đặt tại /usr/java/jdk1.8.0_65/jre/bin/java và được liên kết từ / usr / bin / java.

Bạn có thể xóa file lưu trữ mà bạn đã download trước đó:

  • rm ~/jdk-8u65-linux-x64.rpm

Bây giờ Java 8 đã được cài đặt, hãy cài đặt ElasticSearch.

Cài đặt Elasticsearch

Elasticsearch có thể được cài đặt với trình quản lý gói bằng cách thêm repository của Elastic.

Chạy lệnh sau để nhập khóa GPG công khai Elasticsearch vào rpm:

  • sudo rpm --import http://packages.elastic.co/GPG-KEY-elasticsearch

Tạo và chỉnh sửa file repository yum mới cho Elasticsearch:

  • sudo vi /etc/yum.repos.d/elasticsearch.repo

Thêm cấu hình repository sau:

/etc/yum.repos.d/elasticsearch.repo
  • [elasticsearch-1.7]
  • name=Elasticsearch repository for 1.7.x packages
  • baseurl=http://packages.elastic.co/elasticsearch/1.7/centos
  • gpgcheck=1
  • gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
  • enabled=1

Lưu và thoát.

Cài đặt Elasticsearch bằng lệnh này:

  • sudo yum -y install elasticsearch

Elasticsearch hiện đã được cài đặt. Hãy chỉnh sửa cấu hình:

  • sudo vi /etc/elasticsearch/elasticsearch.yml

Bạn cần hạn chế quyền truy cập từ bên ngoài vào version Elasticsearch của bạn (cổng 9200), vì vậy người ngoài không thể đọc dữ liệu hoặc tắt cụm Elasticsearch của bạn thông qua API HTTP. Tìm dòng chỉ định network.host , bỏ ghi chú và thay thế giá trị của nó bằng “localhost” để nó trông giống như sau:

Đoạn trích thunsearch.yml (cập nhật)
network.host: localhost 

Lưu và thoát elasticsearch.yml .

Bây giờ bắt đầu Elasticsearch:

  • sudo systemctl start elasticsearch

Sau đó chạy lệnh sau để khởi động Elasticsearch tự động khi khởi động:

  • sudo systemctl enable elasticsearch

Bây giờ Elasticsearch đã được cài đặt và chạy, hãy cài đặt Kibana.

Cài đặt Kibana

Gói Kibana chia sẻ cùng một Khóa GPG với Elasticsearch và ta đã cài đặt public key đó, vì vậy hãy tạo và chỉnh sửa file repository Yum mới cho Kibana:

Tạo và chỉnh sửa file repository yum mới cho Kibana:

  • sudo vi /etc/yum.repos.d/kibana.repo

Thêm cấu hình repository sau:

/etc/yum.repos.d/kibana.repo
  • [kibana-4.1]
  • name=Kibana repository for 4.1.x packages
  • baseurl=http://packages.elastic.co/kibana/4.1/centos
  • gpgcheck=1
  • gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
  • enabled=1

Lưu và thoát.

Cài đặt Kibana bằng lệnh này:

  • sudo yum -y install kibana

Mở file cấu hình Kibana để chỉnh sửa:

  • sudo vi /opt/kibana/config/kibana.yml

Trong file cấu hình Kibana, tìm dòng chỉ định host và thay thế địa chỉ IP (“0.0.0.0” theo mặc định) bằng “localhost”:

đoạn trích kibana.yml (đã cập nhật)
host: "localhost" 

Lưu và thoát. Cài đặt này làm cho nó để Kibana sẽ chỉ có thể truy cập vào server local . Điều này là tốt vì ta sẽ cài đặt Reverse Proxy Nginx, trên cùng một server , để cho phép truy cập bên ngoài.

Bây giờ hãy bắt đầu dịch vụ Kibana và kích hoạt nó:

  • sudo systemctl start kibana
  • sudo chkconfig kibana on

Trước khi có thể sử dụng giao diện web Kibana, ta phải cài đặt một Reverse Proxy . Hãy làm điều đó ngay bây giờ, với Nginx.

Cài đặt Nginx

Vì ta đã cấu hình Kibana để lắng nghe trên localhost , ta phải cài đặt Reverse Proxy để cho phép truy cập từ bên ngoài vào nó. Ta sẽ sử dụng Nginx cho mục đích này.

Lưu ý: Nếu bạn đã có version Nginx mà bạn muốn sử dụng, hãy sử dụng version đó thay thế. Chỉ cần đảm bảo cấu hình Kibana để server Nginx của bạn có thể truy cập được (bạn có thể cần thay đổi giá trị host , trong /opt/kibana/config/kibana.yml , thành địa chỉ IP riêng của server Kibana của bạn). Ngoài ra, bạn nên bật SSL / TLS.

Thêm kho EPEL vào yum:

  • sudo yum -y install epel-release

Bây giờ, hãy sử dụng yum để cài đặt Nginx và httpd-tools:

  • sudo yum -y install nginx httpd-tools

Sử dụng htpasswd để tạo admin-user , được gọi là “kibanaadmin” (bạn nên sử dụng tên khác), có thể truy cập giao diện web Kibana:

  • sudo htpasswd -c /etc/nginx/htpasswd.users kibanaadmin

Nhập password khi được yêu cầu . Hãy nhớ thông tin đăng nhập này, vì bạn cần nó để truy cập giao diện web Kibana.

Bây giờ, hãy mở file cấu hình Nginx trong editor yêu thích của bạn. Ta sẽ sử dụng vi:

  • sudo vi /etc/nginx/nginx.conf

Tìm khối server mặc định (bắt đầu bằng server { ), đoạn cấu hình cuối cùng trong file và xóa nó. Khi bạn hoàn tất, hai dòng cuối cùng trong file sẽ giống như sau:

đoạn trích nginx.conf
    include /etc/nginx/conf.d/*.conf; } 

Lưu và thoát.

Bây giờ ta sẽ tạo một khối server Nginx trong một file mới:

  • sudo vi /etc/nginx/conf.d/kibana.conf

Dán khối mã sau vào file . Đảm bảo cập nhật server_name để trùng với tên server của bạn:

/etc/nginx/conf.d/kibana.conf
  • server {
  • listen 80;
  • server_name example.com;
  • auth_basic "Restricted Access";
  • auth_basic_user_file /etc/nginx/htpasswd.users;
  • location / {
  • proxy_pass http://localhost:5601;
  • proxy_http_version 1.1;
  • proxy_set_header Upgrade $http_upgrade;
  • proxy_set_header Connection 'upgrade';
  • proxy_set_header Host $host;
  • proxy_cache_bypass $http_upgrade;
  • }
  • }

Lưu và thoát. Điều này cấu hình Nginx để hướng lưu lượng truy cập HTTP của server của bạn đến ứng dụng Kibana, đang lắng nghe trên localhost:5601 . Ngoài ra, Nginx sẽ sử dụng file htpasswd.users mà ta đã tạo trước đó và yêu cầu xác thực cơ bản.

Bây giờ hãy bắt đầu và kích hoạt Nginx để áp dụng các thay đổi của ta :

  • sudo systemctl start nginx
  • sudo systemctl enable nginx

Lưu ý: Hướng dẫn này giả định SELinux đã bị vô hiệu hóa. Nếu không đúng như vậy, bạn có thể cần chạy lệnh sau để Kibana hoạt động bình thường: sudo setsebool -P httpd_can_network_connect 1

Kibana hiện có thể truy cập thông qua FQDN của bạn hoặc địa chỉ IP công cộng của Server Logstash của bạn, tức là http: // logstash \ _server \ _public \ _ip / . Nếu bạn truy cập vào đó trong trình duyệt web, sau khi nhập thông tin đăng nhập “kibanaadmin”, bạn sẽ thấy trang chào mừng Kibana sẽ yêu cầu bạn cấu hình mẫu index . Hãy quay lại điều đó sau, sau khi ta cài đặt tất cả các thành phần khác.

Cài đặt Logstash

Gói Logstash chia sẻ cùng một Khóa GPG với Elasticsearch và ta đã cài đặt public key đó, vì vậy hãy tạo và chỉnh sửa file repository Yum mới cho Logstash:

  • sudo vi /etc/yum.repos.d/logstash.repo

Thêm cấu hình repository sau:

/etc/yum.repos.d/logstash.repo
  • [logstash-1.5]
  • name=logstash repository for 1.5.x packages
  • baseurl=http://packages.elasticsearch.org/logstash/1.5/centos
  • gpgcheck=1
  • gpgkey=http://packages.elasticsearch.org/GPG-KEY-elasticsearch
  • enabled=1

Lưu và thoát.

Cài đặt Logstash 1.5 bằng lệnh này:

  • sudo yum -y install logstash

Logstash đã được cài đặt nhưng nó chưa được cấu hình.

Tạo certificate SSL

Vì ta sẽ sử dụng Logstash Forwarder để gửi log từ Server đến Server Logstash của ta , ta cần tạo certificate SSL và cặp khóa. Chứng chỉ được Logstash Forwarder sử dụng để xác minh danh tính của Logstash Server.

Đến đây bạn có hai tùy chọn để tạo certificate SSL của bạn . Nếu bạn có cài đặt DNS cho phép server khách hàng của bạn phân giải địa chỉ IP của Server Logstash, hãy sử dụng Tùy chọn 2 . Nếu không, Tùy chọn 1 sẽ cho phép bạn sử dụng địa chỉ IP.

Tùy chọn 1: Địa chỉ IP

Nếu bạn không có một DNS cài đặt -mà sẽ cho phép server của bạn, rằng bạn sẽ thu thập các bản ghi từ, để giải quyết địa chỉ IP của Logstash bạn Server-bạn sẽ có thêm địa chỉ IP riêng Logstash Server đến subjectAltName (SAN) trường của certificate SSL mà ta sắp tạo. Để làm như vậy, hãy mở file cấu hình OpenSSL:

  • sudo vi /etc/pki/tls/openssl.cnf

Tìm phần [ v3_ca ] trong file và thêm dòng này vào bên dưới (thay thế bằng địa chỉ IP riêng của Server Logstash):

Đoạn trích openssl.cnf
  • subjectAltName = IP: logstash_server_private_ip

Lưu và thoát.

Bây giờ, tạo certificate SSL và private key ở các vị trí thích hợp (/ etc / pki / tls /), bằng các lệnh sau:

  • cd /etc/pki/tls
  • sudo openssl req -config /etc/pki/tls/openssl.cnf -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt

Tệp logstash-forwarder.crt sẽ được sao chép vào tất cả các server sẽ gửi log đến Logstash nhưng ta sẽ thực hiện điều đó sau một thời gian ngắn. Hãy hoàn thành cấu hình Logstash của ta . Nếu bạn đã chọn tùy chọn này, hãy bỏ qua tùy chọn 2 và chuyển sang Định cấu hình Logstash .

Tùy chọn 2: FQDN (DNS)

Nếu bạn đã cài đặt DNS với mạng riêng của bạn , bạn nên tạo một bản ghi A có chứa địa chỉ IP riêng của Server Logstash — domain này sẽ được sử dụng trong lệnh tiếp theo, để tạo certificate SSL. Ngoài ra, bạn có thể sử dụng bản ghi trỏ đến địa chỉ IP công cộng của server . Chỉ cần đảm bảo server của bạn ( server mà bạn sẽ thu thập log từ đó) sẽ có thể phân giải domain thành Server Logstash của bạn.

Bây giờ, hãy tạo certificate SSL và private key , ở các vị trí thích hợp (/ etc / pki / tls /…), bằng lệnh sau (thay thế trong FQDN của Server Logstash):

  • cd /etc/pki/tls
  • sudo openssl req -subj '/CN=logstash_server_fqdn/' -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt

Tệp logstash-forwarder.crt sẽ được sao chép vào tất cả các server sẽ gửi log đến Logstash nhưng ta sẽ thực hiện điều đó sau một thời gian ngắn. Hãy hoàn thành cấu hình Logstash của ta .

Cấu hình Logstash

Các file cấu hình logstash có định dạng JSON và nằm trong /etc/logstash/conf.d. Cấu hình bao gồm ba phần: đầu vào, bộ lọc và kết quả .

Hãy tạo một file cấu hình có tên 01-lumberjack-input.conf và cài đặt đầu vào “lumberjack” của ta (giao thức mà Logstash Forwarder sử dụng):

  • sudo vi /etc/logstash/conf.d/01-lumberjack-input.conf

Chèn cấu hình đầu vào sau:

/etc/logstash/conf.d/01-lumberjack-input.conf
  • input {
  • lumberjack {
  • port => 5043
  • type => "logs"
  • ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
  • ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
  • }
  • }

Lưu và thoát. Điều này chỉ định một đầu vào lumberjack sẽ lắng nghe trên cổng tcp 5043 và nó sẽ sử dụng certificate SSL và private key mà ta đã tạo trước đó.

Bây giờ, hãy tạo một file cấu hình có tên là 10-syslog.conf , nơi ta sẽ thêm một bộ lọc cho các thông báo log hệ thống:

  • sudo vi /etc/logstash/conf.d/10-syslog.conf

Chèn cấu hình bộ lọc log hệ thống sau:

/etc/logstash/conf.d/10-syslog.conf
  • filter {
  • if [type] == "syslog" {
  • grok {
  • match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
  • add_field => [ "received_at", "%{@timestamp}" ]
  • add_field => [ "received_from", "%{host}" ]
  • }
  • syslog_pri { }
  • date {
  • match => [ "syslog_timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ]
  • }
  • }
  • }

Lưu và thoát. Bộ lọc này tìm kiếm các log được gắn nhãn là loại "nhật ký hệ thống" (bởi Logstash Forwarder) và nó sẽ cố gắng sử dụng "grok" để phân tích cú pháp các log hệ thống đến để làm cho nó có cấu trúc và khả năng truy vấn.

Cuối cùng, ta sẽ tạo một file cấu hình có tên 30-lumberjack-output.conf :

  • sudo vi /etc/logstash/conf.d/30-lumberjack-output.conf

Chèn cấu hình kết quả sau:

/etc/logstash/conf.d/30-lumberjack-output.conf
  • output {
  • elasticsearch { host => localhost }
  • stdout { codec => rubydebug }
  • }

Lưu và thoát. Đầu ra này về cơ bản cấu hình Logstash để lưu trữ các bản ghi trong Elasticsearch.

Với cấu hình này, Logstash cũng sẽ chấp nhận log không trùng với bộ lọc, nhưng dữ liệu sẽ không có cấu trúc (ví dụ: log Nginx hoặc Apache chưa được lọc sẽ xuất hiện dưới dạng thông báo phẳng thay vì phân loại thông báo theo mã phản hồi HTTP, địa chỉ IP nguồn, file được cung cấp , Vân vân.).

Nếu bạn muốn thêm bộ lọc cho các ứng dụng khác sử dụng đầu vào Logstash Forwarder, hãy đảm bảo đặt tên cho các file để chúng sắp xếp giữa cấu hình đầu vào và kết quả (tức là từ 01- đến 30-).

Khởi động lại và kích hoạt Logstash để thay đổi cấu hình của ta có hiệu lực:

  • sudo systemctl restart logstash

Bây giờ Server Logstash của ta đã sẵn sàng, hãy chuyển sang cài đặt Logstash Forwarder.

Cài đặt Logstash Forwarder (Thêm Server Khách hàng)

Thực hiện các bước này cho từng server CentOS hoặc RHEL 7 mà bạn muốn gửi log đến Server Logstash của bạn . Để biết hướng dẫn về cách cài đặt Logstash Forwarder trên các bản phân phối Linux dựa trên Debian (ví dụ: Ubuntu, Debian, v.v.), hãy tham khảo phần Build và Package Logstash Forwarder của biến thể Ubuntu của hướng dẫn này.

Sao chép Chứng chỉ SSL và Gói Chuyển tiếp Logstash

Trên Server Logstash , sao chép certificate SSL vào Server Khách hàng (thay thế địa chỉ IP của server khách hàng và thông tin đăng nhập của chính bạn):

  • scp /etc/pki/tls/certs/logstash-forwarder.crt user@server_private_IP:/tmp

Sau khi cung cấp thông tin đăng nhập, hãy đảm bảo bản sao certificate đã thành công. Nó được yêu cầu để giao tiếp giữa server khách hàng và server Logstash.

Cài đặt gói Logstash Forwarder

Trên Server Khách hàng , hãy chạy lệnh sau để nhập khóa GPG công khai Elasticsearch vào rpm:

  • sudo rpm --import http://packages.elastic.co/GPG-KEY-elasticsearch

Tạo và chỉnh sửa file repository yum mới cho Logstash Forwarder:

  • sudo vi /etc/yum.repos.d/logstash-forwarder.repo

Thêm cấu hình repository sau:

/etc/yum.repos.d/logstash-osystemer.repo
  • [logstash-forwarder]
  • name=logstash-forwarder repository
  • baseurl=http://packages.elastic.co/logstashforwarder/centos
  • gpgcheck=1
  • gpgkey=http://packages.elasticsearch.org/GPG-KEY-elasticsearch
  • enabled=1

Lưu và thoát.

Sau đó cài đặt gói Logstash Forwarder:

  • sudo yum -y install logstash-forwarder

Bây giờ sao chép certificate SSL của server Logstash vào vị trí thích hợp (/ etc / pki / tls / certs):

  • sudo cp /tmp/logstash-forwarder.crt /etc/pki/tls/certs/

Cấu hình Logstash Forwarder

Trên Server Khách hàng , tạo và chỉnh sửa file cấu hình Logstash Forwarder, ở định dạng JSON:

  • sudo vi /etc/logstash-forwarder.conf

Trong phần network , thêm các dòng sau vào file , thay thế bằng địa chỉ IP riêng của Server Logstash của bạn cho logstash_server_private_IP :

logstash-forwarder.conf đoạn trích 1/2
    "servers": [ "logstash_server_private_IP:5043" ],     "ssl ca": "/etc/pki/tls/certs/logstash-forwarder.crt",     "timeout": 15 

Trong phần files (giữa các dấu ngoặc vuông), hãy thêm các dòng sau,

logstash-forwarder.conf trích đoạn 2 của 2
    {       "paths": [         "/var/log/messages",         "/var/log/secure"        ],       "fields": { "type": "syslog" }     } 

Lưu và thoát. Điều này cấu hình Logstash Forwarder để kết nối với Server Logstash của bạn trên cổng 5043 (cổng mà ta đã chỉ định một đầu vào trước đó) và sử dụng certificate SSL mà ta đã tạo trước đó. Phần đường dẫn chỉ định file log nào sẽ gửi (ở đây ta chỉ định messagessecure ) và phần loại chỉ định rằng các log này thuộc loại “syslog * (là loại mà bộ lọc của ta đang tìm kiếm).

Lưu ý đây là nơi bạn sẽ thêm nhiều file / loại khác để cấu hình Logstash Forwarder cho các file log khác tới Logstash trên cổng 5043.

Bây giờ hãy bắt đầu và kích hoạt Logstash Forwarder để đưa các thay đổi của ta vào vị trí:

  • sudo systemctl start logstash-forwarder
  • sudo chkconfig logstash-forwarder on

Giờ đây Logstash Forwarder đang gửi các messages log hệ thống và các file secure tới Server Logstash của bạn! Lặp lại phần này cho tất cả các server khác mà bạn muốn thu thập log .

Kết nối với Kibana

Khi bạn hoàn tất việc cài đặt Logstash Forwarder trên tất cả các server mà bạn muốn thu thập log , hãy xem Kibana, giao diện web mà ta đã cài đặt trước đó.

Trong trình duyệt web, truy cập FQDN hoặc địa chỉ IP công cộng của Server Logstash của bạn. Sau khi nhập thông tin đăng nhập "kibanaadmin", bạn sẽ thấy một trang nhắc bạn cấu hình mẫu index :

Tạo index

Hãy tiếp tục và chọn @timestamp từ menu thả xuống, sau đó nhấp vào nút Tạo để tạo index đầu tiên.

Bây giờ hãy nhấp vào liên kết Khám phá trong thanh chuyển trên cùng. Theo mặc định, điều này sẽ hiển thị cho bạn tất cả dữ liệu log trong 15 phút qua. Bạn sẽ thấy một biểu đồ với các sự kiện log , với các thông báo log bên dưới:

Trang khám phá

Ngay bây giờ, sẽ không có nhiều thứ trong đó vì bạn chỉ thu thập log hệ thống từ server khách hàng của bạn . Tại đây, bạn có thể tìm kiếm và duyệt qua log của bạn . Bạn cũng có thể tùy chỉnh trang tổng quan của bạn .

Hãy thử những điều sau:

  • Tìm kiếm "root" để xem liệu có ai đang cố gắng đăng nhập vào server của bạn với quyền root không
  • Tìm kiếm một tên server cụ thể (tìm kiếm host: " hostname " )
  • Thay đổi khung thời gian bằng cách chọn một vùng trên biểu đồ hoặc từ menu ở trên
  • Nhấp vào thông báo bên dưới biểu đồ để xem cách dữ liệu đang được lọc

Kibana có nhiều tính năng khác, chẳng hạn như vẽ đồ thị và lọc, vì vậy hãy thoải mái khám phá!

Kết luận

Như vậy, các log hệ thống của bạn đã được tập trung thông qua Elasticsearch và Logstash và bạn có thể hình dung chúng bằng Kibana, bạn sẽ có một khởi đầu tốt với việc tập trung tất cả các log quan trọng của bạn . Lưu ý bạn có thể gửi khá nhiều loại log tới Logstash, nhưng dữ liệu sẽ trở nên hữu ích hơn nếu nó được phân tích cú pháp và cấu trúc với grok.

Để cải thiện ngăn xếp ELK mới của bạn , bạn nên xem xét việc thu thập và lọc các log khác của bạn bằng Logstash và tạo trang tổng quan Kibana. Các chủ đề này được đề cập trong phần hướng dẫn thứ hai và thứ ba trong loạt bài này. Ngoài ra, nếu bạn gặp sự cố với cài đặt của bạn , hãy làm theo hướng dẫn Cách khắc phục sự cố thường gặp của ngăn xếp ELK của ta .

Cuộn xuống các liên kết để tìm hiểu thêm về cách sử dụng ngăn xếp ELK của bạn!


Tags:

Các tin liên quan

Cách cài đặt và cấu hình scponly trên CentOS 7
2015-07-22
Cách viết quy tắc kiểm tra hệ thống tùy chỉnh trên CentOS 7
2015-07-16
Cách viết quy tắc kiểm tra hệ thống tùy chỉnh trên CentOS 7
2015-07-16
Cách thiết lập firewall bằng FirewallD trên CentOS 7
2015-06-18
Cách thiết lập firewall bằng FirewallD trên CentOS 7
2015-06-18
Cách phát hiện bất thường với Skyline trên CentOS 7
2015-06-16
Cách cài đặt và cấu hình mod_deflate trên CentOS 7
2015-06-12
Cách hạn chế tài nguyên bằng cách sử dụng nhóm trên CentOS 6
2015-06-10
Cách phân tích chỉ số hệ thống với InfluxDB trên CentOS 7
2015-06-04
Cách quản lý / vv với Kiểm soát phiên bản bằng Etckeeper trên CentOS 7
2015-04-20