阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

基于AWS的时序处理应用架构

186次阅读
没有评论

共计 881 个字符,预计需要花费 3 分钟才能阅读完成。

当数据用来作为定期连续测量时,它被称为时间序列信息。通过 AWS 的独特定位解决了基于时间序列的信息处理带来了规模化挑战。

这种弹性是通过 AutoScaling 组进行采集处理,Amazon Elastic MapReduce 定时作业的 AWS 数据管道,系统间数据编排的 AWS 数据管道,大规模数据分析的 AmazonRedshift 来实现的。关键架构要素包括用于消息缓冲的 SQS,它减少了频繁 AWS 数据管道调度,保持了整体解决方案的成本预测和控制。

基于 AWS 的时序处理应用架构

1.  远程设备,如电表,移动客户端,广告网络客户端,工业仪表,卫星和环境测量工具感知着他们周围的世界,并通过 HTTP(S)发送采样传感器数据作为信息进行处理。

2.  发送到 Amazon Simple QueueService 队列的信息通过自扩展的 AmazonEC2 进一步存储到 Amazon DynamoDB。DynamoDB 中的表是一个基于时间且面向星期的表结构。

3.  如果存在一个一个监督控制和数据采集(SCADA)的系统,可以从 Amazon DynamoDB 创建采样数据流来分别支持另外的云计算或其他的现有系统。

4.  通过一个定时的 Amazon ElasticMapReduce 作业来创建数据管道,可以同时计算密集的采样处理并输出采样结果。

5.  数据管道将结果存储到 Amazon Redshift 用于进一步的分析。

6.  数据管道将面向星期的历史采样数据表从 AmazonDynamoDB 导出到 Amazon Simple Storage Service (Amazon S3)。

7.  数据管道将结果导出为其他可接受的自定义格式。

8.  Amazon Redshift 作为选项来保留历史采样数据及计算结果。

9.  用内部或亚马逊合作伙伴的商业智能解决方案,AmazonRedshift 可以支持其他的大规模分析。

AWS 中 Web 应用程序托管架构  http://www.linuxidc.com/Linux/2014-07/104410.htm

AWS 中批处理任务运行架构  http://www.linuxidc.com/Linux/2014-07/104409.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计881字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中