共计 5455 个字符，预计需要花费 14 分钟才能阅读完成。
我们用 ELK 做日志分析系统，Elasticsearch1.7.3 运行了近一年，最近已经将一个集群升级到 ES5.1.1，但是遇到问题比较多。所以将另一个集群升级到社区推荐比较稳定的 2.4.2。为了便于升级管理，操作都是用 ansible 来统一执行。
一：停止 monit 守护进程
# 集群的所有 logstash、es 进程都是由 monit 监控守护，先停止监控守护。感兴趣 monit 的可以看我另一篇文章《使用 M /Monit 进行可视化集中进程管理》
$ ansible elksjs -m shell -a ‘/opt/monit/bin/monit -c /opt/monit/conf/monitrc unmonitor all’
二：停止 es 集群写入
# 由于前端顶了 kafka 集群，所以后端停止写入，数据会堆积在 kafka 中。集群启动后继续消费。数据不会丢失。
$ ansible elksjs -m shell -a ‘/etc/init.d/logstash start’
三: 停止 logstash 写入后，同步副本 commitd
# 和 linux 命令 sync 的类似，停机前将内存中数据刷到磁盘中。
$ curl -XPOST localhost:9200/_flush/synced
四: 停机前禁止分片分配
# 禁止分片分配，防止集群启动后，某些节点没有及时加入而导致数据在集群中分配均衡，增加负载。应该等所有节点加入后，再开启分片分配。
$ curl -XPUT localhost:9200/_cluster/settings -d ‘{“transient”:{“cluster.routing.allocation.enable”: “none”}}’
五：停止 es
# 停止所有 es 的节点。
$ ansible elksjs -m shell -a ‘/etc/init.d/elasticsearch stop’
六：卸载 es 老版本
# 卸载所有 es 的安装包
$ ansible elksjs -m shell -a ‘rpm -e elasticsearch-1.7.3-1’
七：安装新包
# 安装新的 es2.4.2 安装包
ansible elksjs -m shell -a ‘wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/rpm/elasticsearch/2.4.2/elasticsearch-2.4.2.rpm -P /opt’
ansible elksjs -m shell -a ‘rpm -iv /opt/elasticsearch-2.4.2.rpm’
八：恢复配置文件和启动文件
# 做这一步的前提是本次升级配置文件没有变化，1.7.3 和 2.4.2 的配置变化不大，我的配置中都适配 2.4.2 版本，所以直接用原配置了。稍后再做优化和调整。如果有变化，请更新配置文件。
$ ansible elksjs -m shell -a ‘cd /etc/init.d/ &&rm elasticsearch && mv elasticsearch.rpmsave elasticsearch’
$ ansible elksjs -m shell -a ‘cd /etc/elasticsearch/&& rm -rf elasticearch.yml &&mv elasticsearch.yml.rpmsave elasticsearch.yml’
九：修改数据目录属主
# 由于卸载 es 安装包的时候也删除了 es 用户，又新建了 es 用户，所以要重新给 es 的 data 目录属主改成 elasticsearch。
$ ansible elksjs -m shell -a ‘chown -R elasticsearch.elasticsearch /data/elk/es’
$ ansible elksjs -m shell -a ‘chown -R elasticsearch.elasticsearch /data/es’
十：启动 elasticsearch
# 启动 es 进程，这一步没有报错就万事大吉了，事实上不是。。。经历了多次报错，多次回滚到老版本，调整后终于升级成功了。
1 ansible elksjs -m shell -a ‘/etc/init.d/elasticsearch start’
十一：检查集群是否健康
# 集群启动后，通过下面来检查集群节点是否都加入集群，集群是否健康。事实上，我的五个 master 启动后自动加入集群，但是数据节点升级后启动时基本都在做索引升级操作。es2.x 和 es1.x 对多目录索引路径的存放策略是不同的。需要将所有的数据 move 一遍。等待时间很长。
$ curl localhost:9200/_cat/health?v
$ curl localhost:9200/_cat/nodes?v
十二：集群启动后启动分片分配
# 等所有节点都加入集群后，可以开启分片分配
1 curl -XPUT localhost:9200/_cluster/settings -d ‘{“transient”: {“cluster.routing.allocation.enable”: “all”}}’
十三：下载新版本 head 和 kopf 插件
# 之前 1.X 用的 head 插件和 kopf-1.5 发现在 es2.4.2 中都无法正常显示，只好卸载重装了，安装了新的版本。
$ wget https://codeload.github.com/mobz/elasticsearch-head/zip/master
$ wget https://codeload.github.com/lmenezes/elasticsearch-kopf/tar.gz/v2.1.2
$ tar xf elasticsearch-kopf-2.1.2.tar.gz
$ unzip elasticsearch-head-master.zip
$ mv elasticsearch-kopf-2.1.2 /usr/share/elasticsearch/plugins/kopf
$ mv elasticsearch-head-master /usr/share/elasticsearch/plugins/head
十四：更新 kibana
# 由于之前使用的是 ES1.X，在 2.x 中已经不再支持 kibana3，但是由于有大量的索引页在 kibana3 上，以及长时间的用户习惯，还想使用 kibana3。社区里有同学改了 kibana3 的代码，支持了 es2.X。所以又可以愉快的使用 kibana3 了。
$ wget https://codeload.github.com/heqin5136/kibana3-with-es2/zip/master
# 将 kibana3-with-es2/src 作为 web 目录即可
# kibana4 之前使用的是 4.1.4 但是启动后也出现报错。使用 4.6 版本正常
1 $ wget https://download.elastic.co/kibana/kibana/kibana-4.6.0-x86_64.rpm
——————————————————————————–
升级过程中遇到的问题
（1）：当设置 bootstrap.mlockall: true 时，启动 es 报警告 Unknown mlockall error 0。
解决方法：设置为锁住内存大小无限制，linux 命令：ulimit -l unlimited
（2）：升级后，启动 es 报错 Failed to created node environment，原因是卸载 es 包之后，es 用户被删除。新安装的 es 包，创建了新的 es 用户。而原来的 data 目录属主还是原来的 id。所以新的 es 用户没有权限去读数据。导致无法启动。
[2016-07-24 19:19:16,280][ERROR][bootstrap] Exception
org.elasticsearch.ElasticsearchIllegalStateException: Failed to created node environment
data
解决办法：chown -R elasticsearch.elasticsearch /data/elk/es
（3）：新的字段中不允许有. 的存在，之前由于采用 kv 随机匹配产生了大量的随机字段，很多包含了., 所以无法升级
Starting elasticsearch: Exception in thread “main” Java.lang.IllegalStateException: unable to upgrade the mappings for the index [logstash-adn-2016.07.02], reason: [Field name [adn_tabArticle.articleId] cannot contain ‘.’]
Likely root cause: MapperParsingException[Field name [adn_tabArticle.articleId] cannot contain ‘.’]
atorg.elasticsearch.index.mapper.object.ObjectMapper$TypeParser.parseProperties(ObjectMapper.java:278)
解决办法：注销 kv 切割字段，等待老索引过期再升级。
（4）：字段类型不同导致 es 的 mapping 报错。之前由于 output 插件的判断不够严谨，导致 packetbeat 的部分数据写到 logstash 的索引中，在 logstash 索引中 port 字段出现了 number 和 string 两种类型，产生冲突，导致 es 无法升级。
unable to upgrade the mappings for the index [logstash-2016.12.12], reason: [mapper [port] cannot be changed from type [string] to [long]]。
解决办法：注重新写 logstash 的判断输出，等待冲突索引过期。
（5）：ES 启动后，数据节点进行索引升级，但是发现很多已经删除的几个月前老索引也在升级操作，非常耗费时间。
解决办法：删除掉 data 目录下的无用的索引目录。
（6）：Kibana: This version of Kibana requires Elasticsearch ^1.4.4 on all nodes.
I found the following incompatible nodes in your cluster: Elasticsearch v2.4.2 @ undefined
解决办法：kiabna 版本 4.1.4 与 es2.4.2 不匹配。更新到 4.6.1 正常使用。
（7）kibana4.6.1 报错 Courier Fetch Error: unhandled courier request error: Authorization Exception
spacer.gif 解决办法：注释掉 http.cors.enabled:
Linux 上安装部署 ElasticSearch 全程记录 http://www.linuxidc.com/Linux/2015-09/123241.htm
Elasticsearch 安装使用教程 http://www.linuxidc.com/Linux/2015-02/113615.htm
ElasticSearch 配置文件译文解析 http://www.linuxidc.com/Linux/2015-02/114244.htm
ElasticSearch 集群搭建实例 http://www.linuxidc.com/Linux/2015-02/114243.htm
ElasticSearch 基础和集群搭建 http://www.linuxidc.com/Linux/2017-02/140491.htm
Elasticsearch 的安装，运行和基本配置 http://www.linuxidc.com/Linux/2016-07/133057.htm
使用 Elasticsearch + Logstash + Kibana 搭建日志集中分析平台实践 http://www.linuxidc.com/Linux/2015-12/126587.htm
Ubuntu 14.04 搭建 ELK 日志分析系统 (Elasticsearch+Logstash+Kibana) http://www.linuxidc.com/Linux/2016-06/132618.htm
Elasticsearch1.7 升级到 2.3 实践总结 http://www.linuxidc.com/Linux/2016-11/137282.htm
Ubuntu 14.04 中 Elasticsearch 集群配置 http://www.linuxidc.com/Linux/2017-01/139460.htm
Elasticsearch-5.0.0 移植到 Ubuntu 16.04 http://www.linuxidc.com/Linux/2017-01/139505.htm
ElasticSearch 的详细介绍 ：请点这里
ElasticSearch 的下载地址 ：请点这里
本文永久更新链接地址 ：http://www.linuxidc.com/Linux/2017-03/142137.htm
