阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

基于AWS云服务的大数据与大规模计算的应用架构

198次阅读
没有评论

共计 675 个字符,预计需要花费 2 分钟才能阅读完成。

AWS 对于大规模计算方案是很受欢迎的,如科学计算,模拟和研究项目。这些方案包括从科研设备,测量设备,或其他计算作业的大量数据集的采集。采集后,使用大规模计算作业的分析来生成最终数据集。通常,这些结果将提供给更多的受众。

基于 AWS 云服务的大数据与大规模计算的应用架构

1.  为了将大数据集上传到 AWS, 关键是拥有最多的可用带宽。通过多客户端的并行处理,就可以把数据上传到 S3, 每个客户端采用多线程技术实现并行上传或上传多部分以便进一步并行处理。像窗口调整和确认选择等 TCP 设置是可以调整的,以便进一步增强吞吐量。通过适当的优化,一天上传几 TB 是可能的。另一种上传大数据集的方法是 Amazon Import/Export 功能, 这一功能支持将存储设备发送给 AWS 同时直接插入到 Amazon S3 或者 Amazon EBS。

2.  大规模作业的并行处理是关键,现存的并行处理应用能够运行在多个 EC2 实例上. 如果应用程序需要一个 POSIX 风格的文件系统,那么无论是直接使用 HTTP 或使用 FUSE 层(例如,S3FS 或 SubCloud),并行应用程序对所有节点都可以从 S3 高效地读取和写入数据。

3.  一旦计算完成,结果数据也被存储到 S3, EC2 实例可以被关闭,并且将结果数据集就可被下载了,或者通过授予读取权限来指定用户,指定所有人或使用有限时间的 URL,完成输出数据与他人的共享。

4.  如果不用 S3, 也可以使用 Amazon EBS 保存输入数据,作为临时存储区,或者获得输出结果。在上传期间, 要同样采用并行流上传和 TCP 调整的技术。另外,还可以使用 UDP 使上传加速。结果数据集可以被写入 EBS 卷,时间快照可采取共享卷的方式。

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计675字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中