阿里云-云小站（无限量代金券发放中）
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

使用Docker、CoreOS、Mesos部署可扩展的Web应用

245次阅读
没有评论

共计 9552 个字符，预计需要花费 24 分钟才能阅读完成。

【编者的话】本文作者重点介绍了如何使用 Docker、CoreOS、Mesos、Vulcand、对象存储来部署一个可扩展的 Web 应用，他首先介绍了 为什么要选择这些工具以及与其它工具相比这些工具的优势。紧接着，他通过实际案例演示了整个部署过程，图文并茂，推荐阅读。

介绍

让我们先来讨论一下为什么我决定使用这些软件来展示如何创建一个可扩展的 Web 基础架构。

为什么选择 Docker？

那问题来了，为啥要选择 Linux 容器？因为相比于虚拟机，Linux 容器拥有更低的计算和存储开销。

Docker 简化了人们使用 Linux 容器的方式，并且提供一些非常实用的特性，比如 Dockerfiles、Docker Hub、分层文件系统。在本文中，我将使用使用 Amazon S3 API 的 VIPR 搭建私有的 Docker Registry 以存储镜像（如我以前的帖子中描述）。

为什么选择 CoreOS？

所有的组件都会在 Docker 容器中运行，所以你可能会说，操作系统并没有那么重要。但是，CoreOS 有很多的优势，具体如下：

  • 以一个单元的形式自动更新整个系统，而不是一个包接着一个包的更新（如果你的基础设施没有 SPOF，甚至要重启系统）
  • 包含用于发现服务的 etcd，也使用 Vulcand（甚至设置中需要 mesos）
  • 包含了 systemd 和 fleet，一个可以以一个 init 系统呈现你整个集群的工具。在这个设置中我不使用 fleet，但是在其它方面我有使用它，比如几秒内启动 elastic search 集群。

为什么选择 Vulcand？

我看到有关如何部署容器或虚拟机的很多教程，但我总是惊讶地看到，他们很少涉及基础设施的负载均衡部分。

在我看来，负载均衡是一个可扩展的 Web 应用架构的重要组成部分。如果用户不能正常访问你的应用，那还搞什么自动化？

Vulcand 是一个为 HTTP API 管理和微服务而设计的反向代理工具。Vulcand 会监控 etcd，并自动检测到它需要实现新的规则，所以你不需要重新加载任何服务。只需在 etcd 添加正确的密钥，然后你的服务 / 应用程序就可以被使用了。

为什么选择 Mesos？

有三种不同的方式来自动化部署 Docker 容器，具体如下：

  • Fleet：Fleet 是一个通过 Systemd 对 CoreOS 集群进行控制和管理的工具。如果你想启动容器或者手动指定映射到主机的端口，那 Fleet 是一个不错的选择（译者注：Fleet 的更多资料可以阅读本文）。
  • Kubernetes：这可能是最佳的选择之一，但现在 Kuernetes 还太年轻。
  • Mesos：Mesos 目前已经支持 Docker，它已经是一个相对稳定的平台，并且可以用来部署其它软件，例如 Hadoop。

为什么选择对象存储？

我们可以通过上面介绍的软件来部署可扩展和高可用的应用。但是，数据怎么处理？

结构化的内容可能会被存储到分布式数据库中，例如 MongoDB。非结构化的内容一般会存储在一个本地文件系统、NAS 或者对象存储。

本地文件系统并不适合现在的场景，因为容器可能会被部署到集群的任何一个节点上。

理论上 NAS 共享方案可行，但是特别复杂的。例如，NAS 共享需要挂载到所有的主机上，所以你需要为每个容器指定 Volume，并在特权模式下运行容器 … 当容器启动而 NAS 共享不可用时，容器内的应用程序需要能够处理相关问题。

然而，对象存储却可以在任何容器的任何应用中使用，并且是高可用的，因为我们使用了负载均衡器，它不需要任何配置，这也可以加快应用程序的开发周期。为什么了？因为开发者不需要考虑数据的存储方式、目录结构管理等。

我已经开发了一个 Web 应用程序，它展示了一个应用程序如何不通过数据路径处理上传和下载，我会在下面运行这个应用程序。

使用 Docker、CoreOS、Mesos 部署可扩展的 Web 应用
上图展示了几个不同的组件，以及我如何设置 3 个节点的 CoreOS 集群。

我使用 Keepalived 来确保公共 IP 10.64.231.84 是可用的，不管对应在 coreos1 还是 coreos3 节点上。

Vulcand 会运行再每个节点上，以均衡用户和 Web 应用程序之间的负载，同事也可以平衡应用程序和不同的 VIPR 节点。

私有的 Docker Registry 在 coreos1 节点上运行，并使用 Amazon S3 API 在 VIPR 上存储镜像。

Mesos 主节点（Master）和 Marathon 运行在 coreos2 节点上。

CentOS 6/ 7 系列安装 Docker http://www.linuxidc.com/Linux/2014-07/104768.htm

Docker 的搭建 Gitlab CI 全过程详解 http://www.linuxidc.com/Linux/2013-12/93537.htm

Docker 安装应用 (CentOS 6.5_x64) http://www.linuxidc.com/Linux/2014-07/104595.htm

在 Docker 中使用 MySQL http://www.linuxidc.com/Linux/2014-01/95354.htm

在 Ubuntu Trusty 14.04 (LTS) (64-bit) 安装 Docker http://www.linuxidc.com/Linux/2014-10/108184.htm

Docker 安装应用 (CentOS 6.5_x64) http://www.linuxidc.com/Linux/2014-07/104595.htm

Ubuntu 14.04 安装 Docker  http://www.linuxidc.com/linux/2014-08/105656.htm

阿里云 CentOS 6.5 模板上安装 Docker http://www.linuxidc.com/Linux/2014-11/109107.htm

Demo

视频可以点此链接浏览。

更多详情见请继续阅读下一页的精彩内容 ：http://www.linuxidc.com/Linux/2015-01/112497p2.htm

为我的 Web 应用程序创建 Docker 镜像

这里是我用来构建 Docker 镜像的 Dockerfile：

FROM golang
WORKDIR /
RUN git clone https://djannot:xxxx@github.com/djannot/s3pics.git
WORKDIR /s3pics
RUN go build
EXPOSE 8080

构建镜像时我使用了 –no-cache 参数，以确保最新的源代码是从 GitHub 上克隆的。

core@coreos1 /media/share1/Dockerfiles/s3pics $ docker build --no-cache .Sending build context to Docker daemon 2.048 kB
Sending build context to Docker daemon
Step 0 : FROM golang
---> 1ea210e0e1f6Step 1 : WORKDIR /---> Running in f6987b175723
---> 022aa96f56d0Removing intermediate container f6987b175723
Step 2 : RUN git clone https://djannot:xxxx@github.com/djannot/s3pics.git---> Running in 54d6a32e90baCloning into 's3pics'...---> 3369bca87577Removing intermediate container 54d6a32e90baStep 3 : WORKDIR /s3pics
---> Running in d875bc08eac9
---> 73946142ea54Removing intermediate container d875bc08eac9
Step 4 : RUN go build
---> Running in e0bd59c1f28b
---> baebdd1b633e
Removing intermediate container e0bd59c1f28b
Step 5 : EXPOSE 8080---> Running in 16d3fa9be1c5---> 815b7aed2c83Removing intermediate container 16d3fa9be1c5Successfully built 815b7aed2c83

最后，我推送镜像到 Docker registry。

core@coreos1 /media/share1/Dockerfiles/s3pics $ docker push 10.64.231.45:5000/s3pics:2.0The push refers to a repository [10.64.231.45:5000/s3pics] (len: 1)Sending image list
Pushing repository 10.64.231.45:5000/s3pics (1 tags)Image 511136ea3c5a already pushed, skipping
Image 16386e29a1f4 already pushed, skipping
Image 835c4d274060 already pushed, skipping
Image 22c23ce0a90c already pushed, skipping
Image 3f1e6432f26e already pushed, skipping
Image 7982826b1e59 already pushed, skipping
Image 1dafbd563f5a already pushed, skipping
Image 7a94d87545e8 already pushed, skipping
Image e2d60f7b3d07 already pushed, skipping
Image 4f23222e2f74 already pushed, skipping
Image 258b590ccdee already pushed, skipping
Image 986643313a7b already pushed, skipping
Image 1ea210e0e1f6 already pushed, skipping
022aa96f56d0: Image successfully pushed
3369bca87577: Image successfully pushed
73946142ea54: Image successfully pushed
baebdd1b633e: Image successfully pushed
815b7aed2c83: Image successfully pushed
Pushing tag for rev [815b7aed2c83] on {http://10.64.231.45:5000/v1/repositories/s3pics/tags/2.0}

我已经指定了一个 tag（2.0），以确保集群中的每个节点都会从 Docker Registry 获取最新版本。

部署 Mesos 应用程序

现在，���我们使用 Docker 镜像部署一个 Mesos 应用：

POST http://<Mesos Marathon IP>:8080/v2/apps{"id": "s3pics","cmd": "cd /s3pics; ./s3pics -AccessKey=denis@ad.forest -SecretKey=xxxx -EndPoint=http://denisnamespace.ns.viprds.ad.forest -Namespace=denisnamespace","cpus": 0.1,"mem": 64.0,"instances": 1,"container": {"type": "DOCKER","docker": {
  "image": "10.64.231.45:5000/s3pics:2.0",
  "network": "BRIDGE",
  "portMappings": [
  { "containerPort": 8080, "hostPort": 0, "protocol": "tcp" }
  ]}},"healthChecks": [{"protocol": "HTTP","portIndex": 0,"path": "/","gracePeriodSeconds": 10,"intervalSeconds": 20,"maxConsecutiveFailures": 3}]}

当 Mesos 应用程序启动后，Mesos Marathon UI 就会显示应用程序的状态。

使用 Docker、CoreOS、Mesos 部署可扩展的 Web 应用

几秒钟之后，应用部署成功，Docker 主机和端口显示在 UI 中。

3.png

【编者的话】本文作者重点介绍了如何使用 Docker、CoreOS、Mesos、Vulcand、对象存储来部署一个可扩展的 Web 应用，他首先介绍了 为什么要选择这些工具以及与其它工具相比这些工具的优势。紧接着，他通过实际案例演示了整个部署过程，图文并茂，推荐阅读。

介绍

让我们先来讨论一下为什么我决定使用这些软件来展示如何创建一个可扩展的 Web 基础架构。

为什么选择 Docker？

那问题来了，为啥要选择 Linux 容器？因为相比于虚拟机，Linux 容器拥有更低的计算和存储开销。

Docker 简化了人们使用 Linux 容器的方式，并且提供一些非常实用的特性，比如 Dockerfiles、Docker Hub、分层文件系统。在本文中，我将使用使用 Amazon S3 API 的 VIPR 搭建私有的 Docker Registry 以存储镜像（如我以前的帖子中描述）。

为什么选择 CoreOS？

所有的组件都会在 Docker 容器中运行，所以你可能会说，操作系统并没有那么重要。但是，CoreOS 有很多的优势，具体如下：

  • 以一个单元的形式自动更新整个系统，而不是一个包接着一个包的更新（如果你的基础设施没有 SPOF，甚至要重启系统）
  • 包含用于发现服务的 etcd，也使用 Vulcand（甚至设置中需要 mesos）
  • 包含了 systemd 和 fleet，一个可以以一个 init 系统呈现你整个集群的工具。在这个设置中我不使用 fleet，但是在其它方面我有使用它，比如几秒内启动 elastic search 集群。

为什么选择 Vulcand？

我看到有关如何部署容器或虚拟机的很多教程，但我总是惊讶地看到，他们很少涉及基础设施的负载均衡部分。

在我看来，负载均衡是一个可扩展的 Web 应用架构的重要组成部分。如果用户不能正常访问你的应用，那还搞什么自动化？

Vulcand 是一个为 HTTP API 管理和微服务而设计的反向代理工具。Vulcand 会监控 etcd，并自动检测到它需要实现新的规则，所以你不需要重新加载任何服务。只需在 etcd 添加正确的密钥，然后你的服务 / 应用程序就可以被使用了。

为什么选择 Mesos？

有三种不同的方式来自动化部署 Docker 容器，具体如下：

  • Fleet：Fleet 是一个通过 Systemd 对 CoreOS 集群进行控制和管理的工具。如果你想启动容器或者手动指定映射到主机的端口，那 Fleet 是一个不错的选择（译者注：Fleet 的更多资料可以阅读本文）。
  • Kubernetes：这可能是最佳的选择之一，但现在 Kuernetes 还太年轻。
  • Mesos：Mesos 目前已经支持 Docker，它已经是一个相对稳定的平台，并且可以用来部署其它软件，例如 Hadoop。

为什么选择对象存储？

我们可以通过上面介绍的软件来部署可扩展和高可用的应用。但是，数据怎么处理？

结构化的内容可能会被存储到分布式数据库中，例如 MongoDB。非结构化的内容一般会存储在一个本地文件系统、NAS 或者对象存储。

本地文件系统并不适合现在的场景，因为容器可能会被部署到集群的任何一个节点上。

理论上 NAS 共享方案可行，但是特别复杂的。例如，NAS 共享需要挂载到所有的主机上，所以你需要为每个容器指定 Volume，并在特权模式下运行容器 … 当容器启动而 NAS 共享不可用时，容器内的应用程序需要能够处理相关问题。

然而，对象存储却可以在任何容器的任何应用中使用，并且是高可用的，因为我们使用了负载均衡器，它不需要任何配置，这也可以加快应用程序的开发周期。为什么了？因为开发者不需要考虑数据的存储方式、目录结构管理等。

我已经开发了一个 Web 应用程序，它展示了一个应用程序如何不通过数据路径处理上传和下载，我会在下面运行这个应用程序。

使用 Docker、CoreOS、Mesos 部署可扩展的 Web 应用
上图展示了几个不同的组件，以及我如何设置 3 个节点的 CoreOS 集群。

我使用 Keepalived 来确保公共 IP 10.64.231.84 是可用的，不管对应在 coreos1 还是 coreos3 节点上。

Vulcand 会运行再每个节点上，以均衡用户和 Web 应用程序之间的负载，同事也可以平衡应用程序和不同的 VIPR 节点。

私有的 Docker Registry 在 coreos1 节点上运行，并使用 Amazon S3 API 在 VIPR 上存储镜像。

Mesos 主节点（Master）和 Marathon 运行在 coreos2 节点上。

CentOS 6/ 7 系列安装 Docker http://www.linuxidc.com/Linux/2014-07/104768.htm

Docker 的搭建 Gitlab CI 全过程详解 http://www.linuxidc.com/Linux/2013-12/93537.htm

Docker 安装应用 (CentOS 6.5_x64) http://www.linuxidc.com/Linux/2014-07/104595.htm

在 Docker 中使用 MySQL http://www.linuxidc.com/Linux/2014-01/95354.htm

在 Ubuntu Trusty 14.04 (LTS) (64-bit) 安装 Docker http://www.linuxidc.com/Linux/2014-10/108184.htm

Docker 安装应用 (CentOS 6.5_x64) http://www.linuxidc.com/Linux/2014-07/104595.htm

Ubuntu 14.04 安装 Docker  http://www.linuxidc.com/linux/2014-08/105656.htm

阿里云 CentOS 6.5 模板上安装 Docker http://www.linuxidc.com/Linux/2014-11/109107.htm

Demo

视频可以点此链接浏览。

更多详情见请继续阅读下一页的精彩内容 ：http://www.linuxidc.com/Linux/2015-01/112497p2.htm

访问 web 应用

使用在 Marathon UI 显示的信息，我可以访问 URL 为 http://coreos1.ad.forest:31000 的 Web 应用程序。

使用 Docker、CoreOS、Mesos 部署可扩展的 Web 应用

当应用程序运行时页面左上角会显示容器名称，用于上载和下载的图片的 Amazon S3 终端（endpoint）会显示在左下角，并表明 ViPR 用于存储数据。

我们现在可以上传图片了。

使用 Docker、CoreOS、Mesos 部署可扩展的 Web 应用

下面是由 Web 应用程序发送到浏览器的代码，以让浏览器直接上传图片到对象存储平台。

var files =  $("#file")[0].files;var reader = new FileReader();
reader.onload = function(event){var content = event.target.result;try {
$.ajax({
  url: 'http://bucket1.denisnamespace.ns.viprds.ad.forest:80/pictures/B6C3OuVCIAEfwjm.jpg',
  data: content,
  cache: false,
  processData: false,
  type: 'PUT',
  beforeSend: function (request)
  {
    request.setRequestHeader('Content-Length','35964');
    request.setRequestHeader('Content-Type','binary/octet-stream');
    request.setRequestHeader('x-amz-date','Sun, 11 Jan 2015 12:53:12 UTC');
    request.setRequestHeader('host','bucket1.denisnamespace.ns.viprds.ad.forest');
    request.setRequestHeader('Authorization','AWS denis@ad.forest:iCnahEUOy8/lanI96tQYA3WKQVE=');
  },
  success: function(data, textStatus, request){
    $('#alert-success').html("Picture uploaded").show().delay(5000).fadeOut();
    },
  error: function(data, textStatus, request){
    $('#alert-danger').html("Upload failed").show().delay(5000).fadeOut();
  }});}catch (e) {
alert(e);}}
reader.readAsArrayBuffer(files[0]);

图片直接上传到对象存储平台的事实意味着该 Web 应用程序中并没有数据路径。也就是说无需部署数百个实例应用程序就可以扩展。

这个 Web 应用程序，也可用于显示所有存储在相应的 Amazon S3 的图片。

使用 Docker、CoreOS、Mesos 部署可扩展的 Web 应用

图片下方显示的 URL 表明图片可以直接从对象存储平台下载，而这又意味着 Web 应用程序不是从数据路径直接下载。

对象存储是事实上的标准网络规模应用。

更新 vulcand 代理

现在，让我们看看如何能够从外界访问该 Web 应用程序。

我使用 Golang 开发了一个小工具，同时使用 Marathon API 和 etcd API：

  • 找到那些运行的 Mesos 应用程序但却没有相对应的在 etcd 中的 vulcand 规则，然后新建缺失的规则。
  • 找到那些存在与 etdc 的 vulcand 规则中的不再运行的 Mesos 应用，然后删除。

使用 Docker、CoreOS、Mesos 部署可扩展的 Web 应用

Web 应用程序现在可以从外界访问。(http://s3pics.ad.forest).

使用 Docker、CoreOS、Mesos 部署可扩展的 Web 应用

扩展 Mesos 应用程序

其中 Mesos 之美在于它能够轻松地扩展当前正在运行的应用程序的实例数目。

使用 Docker、CoreOS、Mesos 部署可扩展的 Web 应用

几秒钟后，20 个实例正在运行。

使用 Docker、CoreOS、Mesos 部署可扩展的 Web 应用

我需要再次运行我的工具来更新 vulcand 规则。

使用 Docker、CoreOS、Mesos 部署可扩展的 Web 应用

现在，如果我刷新我的网页浏览器，可以看到，在左上角显示的容器名称是基于服务的应用程序实例发生变化。

使用 Docker、CoreOS、Mesos 部署可扩展的 Web 应用

使用 Docker、CoreOS、Mesos 部署可扩展的 Web 应用

使用 Marathon UI 或 API 时，它也可以按比例缩小的实例数并再次运行工具来更新 vulcand 规则。

引用原文 ：这里

Docker 的详细介绍 ：请点这里
Docker 的下载地址 ：请点这里

正文完
星哥玩云-微信公众号
post-qrcode
Apache CoreOS Docker Hadoop Linux服务器 Mesos Nginx Tomcat 使用Docker、CoreOS、Mesos部署可扩展的Web应用 分布式 分布式系统 服务器 集群
发表至： 服务器应用
2022-01-20
 0
星锅
版权声明：本站原创文章，由 星锅 于2022-01-20发表，共计9552字。
转载说明：除特殊说明外本站文章皆由CC-4.0协议发布，转载请注明出处。
【腾讯云】推广者专属福利，新客户无门槛领取总价值高达2860元代金券，每种代金券限量500张，先到先得。
CentOS 7.1下Node.js+Nginx+MongoDB的安装与配置
Ubuntu 18.04下搭建单机Hadoop和Spark集群环境
Ubuntu 14.10 下安装 LAMP 服务图文详解
CentOS 7 x64下Apache+MySQL(Mariadb)+PHP5.6的安装
Ubuntu 16.10添加NFS服务及配置共享目录
CentOS 6.x下LNMP环境源码编译安装及配置
Zabbix监控Nginx、PHP和Memcached状态
首次远程安装 GlassFish 后以远程 Web 方式访问其后台管理系统出现错误的解决方法
阿里云-最新活动爆款每日限量供应
评论（没有评论）
验证码
星哥说事
星哥说事
分享互联网知识
阅读量
3461206
评论数
4
文章搜索
热门文章
基于开源MaxKB构建大语言模型的本地知识库系统

基于开源MaxKB构建大语言模型的本地知识库系统

基于开源 MaxKB 构建大语言模型的本地知识库系统 什么是 MaxKB MaxKB 是一款基于 LLM（La...
获取各大人工智能AI工具通过API和KEY调用的方法

获取各大人工智能AI工具通过API和KEY调用的方法

获取各大人工智能 AI 工具通过 API 和 KEY 调用的方法 前言 随着人工智能技术的飞速发展，AI 工具...
安装开源软件ChatALL（齐叨）来聚合各大人工智能工具

安装开源软件ChatALL（齐叨）来聚合各大人工智能工具

安装开源软件 ChatALL（齐叨）来聚合各大人工智能工具 前言 如果你跟我一样无论遇到什么问题都要询问人工智...
给你的NAS无限可能，安装小晓雅全家桶影音库

给你的NAS无限可能，安装小晓雅全家桶影音库

给你的 NAS 无限可能，安装小晓雅全家桶影音库 家庭存储和娱乐的需求日益增长。无论是高清电影、电视剧，还是音...
vmware下的网卡分配问题

vmware下的网卡分配问题

导读 vmware 虚拟机下 linux centos6.6 只有 lo，没有 eth0 网卡、随机分配 ip...
CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
HTTP协议学习

HTTP协议学习

导读 超文本传输协议（HTTP，HyperText Transfer Protocol)是互联网上应用最为广泛...
rtop 通过 SSH 监控远程主机

rtop 通过 SSH 监控远程主机

rtop 是一个基于 SSH 的直接的交互式远程系统监控工具，它收集并显示重要的系统性能指标，如 CPU、磁盘...
如何解决Oracle临时表空间过大

如何解决Oracle临时表空间过大

导读 解决 Oracle 临时表空间过大有两种方法，方法一增加临时表空间的大小，方法二重建临时表空间，解决临时...
Centos7 add delete Swap exchange partitions

Centos7 add delete Swap exchange partitions

导读 Linux 将物理内存分为内存段，叫做页面。交换是指内存页面被复制到预先设定好的硬盘空间 (叫做交换空间...
一个企业的大数据分析平台的构建方法

一个企业的大数据分析平台的构建方法

导读 在搭建大数据分析平台之前，要先明确业务需求场景以及用户的需求，通过大数据分析平台，想要得到哪些有价值的信...
一言一句话
-「」
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中