一、ELK 架构解析与容器化价值

1.1 核心组件功能

组件角色：

Elasticsearch：分布式搜索分析引擎（文档型数据库）
Logstash：日志管道（支持 200+ 插件过滤数据）
Kibana：数据可视化与集群管理界面
Filebeat：轻量级日志采集器（替代 Logstash 输入端）

容器化优势：

维度	容器方案	传统部署	提升效果
部署速度	5分钟完成	2小时+	效率提升 24倍
资源隔离	Cgroups 限制 CPU/内存	进程竞争资源	稳定性提升 40%
版本一致性	镜像锁定版本	手动编译易冲突	故障率降低 75%

二、生产环境规划与准备

2.1 系统要求与内核优化

硬件最低配置：

CPU: 4核（推荐8核）  
内存: 8GB（ES独占4GB）  
磁盘: SSD/NVMe，200GB+（避免IO瓶颈）

内核参数调优：

# 调整虚拟内存映射限制（ES必需）  
echo "vm.max_map_count=262144" >> /etc/sysctl.conf  
sysctl -p  

# 文件描述符与线程数限制  
echo "* soft nofile 65535" >> /etc/security/limits.conf  
echo "* hard nofile 65535" >> /etc/security/limits.conf  

# 禁用Swap（保证ES稳定性）  
swapoff -a && sed -i '/ swap / s/^/#/' /etc/fstab

2.2 目录结构与权限规划

mkdir -p /opt/elk/{es/{data,logs,config},logstash/{pipeline,config},kibana,filebeat}  
chown -R 1000:1000 /opt/elk/es  # ES以uid 1000运行  
chmod -R 775 /opt/elk

三、Docker Compose 全栈部署

3.1 核心配置文件 (`docker-compose.yml`)

version: '3.8'  
services:  
  elasticsearch:  
    image: docker.elastic.co/elasticsearch/elasticsearch:8.12.0  
    container_name: elasticsearch  
    environment:  
      - discovery.type=single-node  
      - ES_JAVA_OPTS=-Xms4g -Xmx4g  
      - bootstrap.memory_lock=true  
    ulimits:  
      memlock: -1:-1  
    volumes:  
      - /opt/elk/es/data:/usr/share/elasticsearch/data  
      - /opt/elk/es/logs:/usr/share/elasticsearch/logs  
      - /opt/elk/es/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml  
    ports:  
      - "9200:9200"  
      - "9300:9300"  
    networks:  
      - elk-net  

  logstash:  
    image: docker.elastic.co/logstash/logstash:8.12.0  
    container_name: logstash  
    volumes:  
      - /opt/elk/logstash/pipeline:/usr/share/logstash/pipeline  
      - /opt/elk/logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml  
    environment:  
      - LS_JAVA_OPTS=-Xms2g -Xmx2g  
    ports:  
      - "5044:5044"  
    depends_on:  
      - elasticsearch  
    networks:  
      - elk-net  

  kibana:  
    image: docker.elastic.co/kibana/kibana:8.12.0  
    container_name: kibana  
    volumes:  
      - /opt/elk/kibana/kibana.yml:/usr/share/kibana/config/kibana.yml  
    ports:  
      - "5601:5601"  
    depends_on:  
      - elasticsearch  
    networks:  
      - elk-net  

networks:  
  elk-net:  
    driver: bridge

3.2 关键组件配置详解

Elasticsearch 配置 (elasticsearch.yml)：

cluster.name: elk-production  
network.host: 0.0.0.0  
xpack.security.enabled: true  # 启用X-Pack安全  
xpack.security.http.ssl:  
  enabled: true  
  keystore.path: certs/elastic-certificates.p12  # 需提前生成

Logstash 管道配置 (pipeline/logstash.conf)：

input {  
  beats { port => 5044 }  
}  

filter {  
  grok {  
    match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:level} %{GREEDYDATA:log}" }  
  }  
  date { match => ["timestamp", "ISO8601"] }  
}  

output {  
  elasticsearch {  
    hosts => ["https://elasticsearch:9200"]  
    user => "elastic"  
    password => "${ES_PASSWORD}"  # 从环境变量读取  
    ssl => true  
    cacert => "/usr/share/logstash/config/certs/ca.crt"  
  }  
}

Kibana 配置 (kibana.yml)：

server.host: "0.0.0.0"  
elasticsearch.hosts: ["https://elasticsearch:9200"]  
elasticsearch.ssl.certificateAuthorities: ["/usr/share/kibana/config/certs/ca.crt"]  
xpack.security.enabled: true  
i18n.locale: "zh-CN"  # 中文界面

四、安全加固与证书配置

4.1 TLS 加密通信全流程

# 生成 CA 证书（Elasticsearch 节点执行）  
bin/elasticsearch-certutil ca --pem  

# 创建节点证书  
bin/elasticsearch-certutil cert --ca elastic-stack-ca.zip --pem  

# 解压并分发到各容器挂载目录  
unzip elastic-certificates.zip -d /opt/elk/es/config/certs  
cp /opt/elk/es/config/certs/* /opt/elk/logstash/config/certs/  
cp /opt/elk/es/config/certs/* /opt/elk/kibana/config/certs/

4.2 X-Pack 账号体系配置

# 初始化密码（Elasticsearch 容器内）  
bin/elasticsearch-setup-passwords auto  

# 输出示例：  
Changed password for user apm_system  
PASSWORD = oC4sV5qJ8mRw  

Changed password for user kibana_system  
PASSWORD = 9vQz3tHxYpL2  

Changed password for user elastic  # 超级管理员  
PASSWORD = kE8sN7mR!2025

五、Filebeat 日志采集实践

5.1 配置示例 (`filebeat.yml`)

filebeat.inputs:  
- type: log  
  paths:  
    - /var/log/nginx/*.log  
  fields:  
    log_type: "nginx"  

output.logstash:  
  hosts: ["logstash:5044"]  
  ssl.certificate_authorities: ["/etc/filebeat/certs/ca.crt"]

5.2 容器化部署方案

# 在 docker-compose.yml 中追加  
filebeat:  
  image: docker.elastic.co/beats/filebeat:8.12.0  
  volumes:  
    - /opt/elk/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml  
    - /var/log/nginx:/var/log/nginx:ro  
    - /opt/elk/filebeat/certs:/etc/filebeat/certs  
  networks:  
    - elk-net

六、性能调优与监控

6.1 Elasticsearch 关键参数

参数	推荐值	作用
`indices.query.bool.max_clause_count`	8192	提高复杂查询能力
`thread_pool.write.queue_size`	1000	高写入场景队列深度
`index.refresh_interval`	30s	降低实时刷新开销

6.2 JVM 与资源限制策略

# Elasticsearch 容器配置示例  
deploy:  
  resources:  
    limits:  
      memory: 8g  
      cpus: '4.0'  
    reservations:  
      memory: 2g

七、高级运维实践

7.1 索引生命周期管理 (ILM)

PUT _ilm/policy/logs_policy  
{  
  "policy": {  
    "phases": {  
      "hot": { "min_age": "0ms", "actions": {"rollover": {"max_size": "50gb"}} },  
      "delete": { "min_age": "30d", "actions": {"delete": {}} }  
    }  
  }  
}

7.2 备份与恢复（快照仓库）

# 创建共享文件系统仓库  
PUT _snapshot/backups  
{  
  "type": "fs",  
  "settings": { "location": "/mnt/backups" }  
}  

# 手动触发快照  
PUT _snapshot/backups/snapshot_20250825

八、故障排查手册

现象	诊断命令	解决方案
ES 启动报 `memory locking`	`docker logs elasticsearch`	添加 `--ulimit memlock=-1:-1`
Logstash 管道阻塞	`bin/logstash -t -f pipeline.conf`	检查 Grok 语法错误
Kibana 无法连接 ES	`curl -k -u elastic` https://localhost:9200	检查证书路径与密码

资源附录
官方配置生成器
生产检查清单