阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

有一台以上的服务器,都有理由来尝试云操作系统

157次阅读
没有评论

共计 2989 个字符,预计需要花费 8 分钟才能阅读完成。

Mesos 往往以其在大规模生产环境下的成熟案例为大家所熟知。但其实 Mesos 对于互联网初创企业也是非常有用的。最显著的一点就是:从一开始就使用基于 Mesos 的云操作系统,让一套 IT 构架就能支撑不同阶段业务的飞速发展。并让技术人员更关注业务,而不是把精力花在服务器配置上。借用 Rahman 的一句话,“只要大家拥有一台以上的服务器,都有理由来尝试云操作系统。”

有一台以上的服务器,都有理由来尝试云操作系统

 

美国初创公司 Mattermark 采用 Mesos 技术

Mattermark 是一家专门面向私营企业交付数据的高人气初创企业。作为初创公司,其 IT 基础设施规模还是相对较小的。不过正是凭借着这种初创特质,其也得以顺利摆脱了众多规模更大且更为成熟的企业所难以解决的运营效率低下难题。与众多大型企业一样,Mattermark 公司同样使用 Apache Mesos 以及 Marathon 框架来解决自身面对的独特问题。

这家诞生刚刚两年的年轻公司,仅仅运行着一些 Amazon Web Services 实例,存储着 GB 级别大小的数据,却认为他们的 IT 架构已经变得不可为继,会在不远的将来影响业务的发展。在这方面,最突出的实际难题就是数据处理任务,特别是 Mattermark 在日常运营当中不可避免的大量数据挖掘、机器学习以及索引工作——过去,这些工作一直在以缺乏充分理论指导的随意方式进行。

“我们拥有大量运行着重要工作内容的 EC2 实例,但没人了解其具体运行机制,”Mattermark 公司机器学习工程师 Samiur Rahman 解释称。“这确实非常麻烦。”

该公司的管理层意识到,要想真正为各私营企业客户提供可靠的数据源,必须要对现有运营机制进行整顿。“我们很清楚,未来的一到两年内公司规模会出现持续扩张,”Rahman 表示。“所以我们要么继续安于现有环境并不断加以构建,要么就像其它企业那样全盘淘汰现有设施并直接向现代基础设施转移。”

 

利用 Mesos 进行基础设施调度

Mattermark 公司在几个月之前决定利用 Mesos 对自身基础设施进行重新设计,而且同时针对新系统提供了几项必须能够实现的特殊要求:

  • 需要在开发人员与公司 AWS 实例之间建立一套抽象层。
  • 能够将任务分发至不同的 AWS 实例当中。
  • 能够根据特定任务的实际需要为其分配对应资源。
  • 面向任务调度实现高度细化的控制机制。
  • 对资源进行隔离以避免相邻实例争夺资源的问题。

该公司目前在 Mesos 之上运行有 Chronos 与 Marathon,而此举已经带来了理想的回报。Mattermark 公司如今能够以受控方式对批量任务进行调度,同时以智能化方式将不同类型的任务运行在同一资源池中,从而提高 AWS 的资源利用率。举例来讲,其能够将多个低资源型网页获取任务与其它内存与 CPU 使用率较高的机器学习任务运行在同一个实例当中。

“能够切实完成此类资源分配 (即允许这些工作负载在同一资源之上共存) 的解决方案非常重要,”Rahman 指出。如此一来,Mattermark 公司不仅能够通过一套可靠的方式实现任务流程自动化,同时也能够在工作效果不变的前提下减少 AWS 实例使用量并由此降低使用成本。

相较于以往的服务器监控最佳实践,即企业需要从起始阶段就要考虑到资源占用率趋近 100% 时的应对措施,“我们的监控机制有所不同,因为如今 80% 到 90% 才是理想的资源利用率,”他解释道。“这意味着我们能够更加充分地利用已有资源。”

尽管 Mattermark 公司目前仍有一部分工作负载运行在由 Elastic Load Balancer 支持的 AWS 裸机实例当中(即非 Mesos 工作节点),但 Rahman 强调称那些需要高可用性保障的任务已经运行在 Mesos-Marathon 环境之内。随着 Mattermark 公司不断推出新的工作负载与任务类型,其也将全部由新系统负责承载。

“我们致力于让各类工作负载与任务运行在 Mesos 当中,”他指出。而且由于 Mattermark 公司已经开始广泛利用预配置 Docker 容器作为应用程序运行环境,其目前能够以相对简单的方式完成各类进程由纯 AWS 实例迁移至运行在 AWS 实例之上的 Mesos 集群中的工作。

以“积极态度”迎接大数据挑战

不过就 Mattermark 公司的情况而言,Mesos 的真正价值在于允许其保持基础设施规模与业务发展同步扩张——反之亦然。换言之,让 IT 资源随着业务的发展而平滑增加,这样既不会让 IT 架构成为业务发展的瓶颈,也不会因需要预留大量 IT 资源而造成浪费。

尽管目前规模仅为 150 GB 的 MySQL 数据库很难被定义为“大数据”,但 Rahman 表示 Mattermark 公司计划在未来几年当中对其规模进行显著拓展。而其中最突出的理由就是,Mattermark 公司的从业时间越长,其需要在数据库内为每家企业客户保存的数据量也就越大。

但从更具战略意义的角度出发,Mattermark 公司希望能够将其数据库涵盖能力由 100 万家企业扩展到全球范围内的数亿家企业。随着企业客户数量的增长,其当然也希望为每位客户提供更加丰富的数据类型——包括员工数量、网站流量、融资信息、相关新闻以及社交媒体关注度等等。

“我们的业务规模取决于我们实现数据更新的速度以及将更多企业客户纳入数据库的能力,”Rahman 指出。

在他看来,Mesos 能够从多个角度带来助益,使得 Mattermark 公司更为轻松地引入各类必要的新型数据处理技术,包括 Kafka 以及 Spark 等,并在运行大规模处理任务时快速添加对应容量。总而言之,该公司在基础设施与任务之间的契合度方面投入的精力越少,那么其专注于在正确时间对正确数据进行访问、分析以及交付的能力也就越强。

“我们希望运营体系能够时刻为规模伸缩做好准备,从而帮助我们获取更多数据并从其中发掘出更多有价值信息,”Rahman 表示。“另外,我们也希望能够继续保持向客户交付数据的速度。”

 

初创公司也要勇于尝试 Mesos 或数据中心操作系统

着眼于未来,Rahman 表示他希望看到 Mattermark 公司将运营体系由开源 Mesos 迁移至 Mesosphere 数据中心操作系统(国内的朋友可以选择数人云哦),这在很大程度上意味着摆脱软件组件更新以及漏洞修复等工作带来的困扰。尽管目前尚在对 DCOS 的 Early Access 版本进行早期实验,但他已经可以在 30 分钟之内设置起一套以往通常需要数个星期才能搭建完成的系统。

“初创企业应该了解 DCOS,因为它能够让运营工作变得更为轻松,”他解释称。另外,初创企业不必因为的自己运营规模并不像 Yelp、苹果或者是 Twitter 那么庞大,而害怕尝试 DCOS 或者是开源 Mesos 组件。

“Mesos 天然具备的开发者自由空间与良好运营效率让我们从系统重新设计当中获得了切实回报,”Rahman 总结称。“只要大家拥有一台以上的服务器,都有理由在这方面做出尝试。”

 

中国的 DCOS” 数人云 ”

数人云是数人科技基于 Mesos 和 Docker 技术开发出的云操作系统(数据中心操作系统),其目的是能够让用户像使用单机电脑一样管理云端应用和集群。从而让企业更专注业务本身,而不是将精力花在 IT 基础设施构建上。

最后借用 Rahman 的一句话,” 只要大家拥有一台以上的服务器,都有理由来尝试云操作系统。”

本文永久更新链接地址:http://www.linuxidc.com/Linux/2015-11/125263.htm

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计2989字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中