日志监控

zookeeper：

• 下载zookeeper：http://www.apache.org/dyn/closer.cgi/zookeeper
• 解压：tar zxvf xx.tar.gz
• 运行：sudo bin/zkServer.sh start conf/zoo.cfg
• 停止：sudo bin/zkServer.sh stop
• 运行zookeeper客户端:sudo ../bin/zkCli.sh -server ip:port,ip1port参数配置：1.伪集群模式新建配置文件：../conf/zoo.cfg

# zx.cfg      tickTime=2000      initLimit=10      syncLimit=2      dataDir=/usr/myenv/zookeeper-3.4.8/zx/data      clientPort=218x      # server.x中的“x”表示ZooKeeper Server进程的标识      server.1=127.0.0.1:2222:2225      server.2=127.0.0.1:3333:3335      server.3=127.0.0.1:4444:4445

注：

切记添加myid文件，不然会导致zookeeper启动异常

在配置的dataDir路径下，新建myid文件，内容只存贮对应server.x中的x的数值

• initLimit: zookeeper集群中的包含多台server, 其中一台为leader, 集群中其余的server为follower. initLimit参数配置初始化连接时, follower和leader之间的最长心跳时间. 此时该参数设置为5, 说明时间限制为5倍tickTime, 即5*2000=10000ms=10s.

• syncLimit: 该参数配置leader和follower之间发送消息, 请求和应答的最大时间长度. 此时该参数设置为2, 说明时间限制为2倍tickTime, 即4000ms.启动 ：sudo bin/zkServer.sh start conf/zoo.cfg

友情链接

logstash with kafka

更换源：logstash目录下，修改Gemfile文件;vim Gemfile更换source为：http://gems.ruby-china.org下载logstash-input-kafka 插件:sudo bin/logstash-plugin install logstash-input-kafka

logstash配置文件:

input {  beats {    port => 5044  }kafka{//kafka地址    bootstrap_servers => "127.0.0.1:9092"//topics，必须提前在kafka中建好    topics  => "test"//标识当前kafka input的类型   type => "kafka"    }}output {  stdout { codec => rubydebug }  if [type] == "messages" {        elasticsearch {                hosts => ["127.0.0.1:9200"]                index => "logstash-messages-%{+YYYY.MM}"        }  }  if [type] == "nginx-access" {        elasticsearch {                hosts => ["127.0.0.1:9200"]                index => "logstash-nginx-access-%{+YYYY.MM}"        }  }  if [type] == "console" {        elasticsearch {                hosts => ["127.0.0.1:9200"]                index => "logstash-console-%{+YYYY.MM}"        }  }}

启动:出错后开启debug模式：bin/logstash -f config/index.conf --debug

../bin/logstash -f /etc/logstash/conf.d/nginx_logstash.conf # 以daemon方式运行，则在指令后面加一个 & 符号 /bin/logstash -f /etc/logstash/conf.d/nginx_logstash.conf &  # 如果是通过rpm包安装的logstash则可以使用自带的脚本启动 /etc/init.d/logstash start  # 通过这种方式启动，logstash会自动加载 /etc/logstash/conf.d/ 下的配置文件

elasticsearch

注意，el启动时，不能给root权限，一般把el文件夹给用户权限之后，直接启动就行

启动：./elasticsearch查看所有索引：http://localhost:9200/_cat/indices?v

kibana

启动：bin/kibana

注：被一个问题困扰了几天，从kafka推送的消息，进入到logstash，再到elasticseearch，然后从kibana中查，index为kafka开头的消息始终没有，原来是因为默认创建的indexpattern是logstash-**

看左上角的两个过滤规则，kafka-*是后来加上的，当选择这个indexpattern的时候，以kafka开头的所有消息才会被筛选出来。那么问题来了，怎么创建indexpattern呢，看图

Paste_Image.png

中间的indexpattern，进入里边，我们就可以创建了

Paste_Image.png

all right