大规模，先进的高性能计算(通常称为超级计算)对于解决复杂和大型问题至关重要。

从回答关于宇宙起源的形而上学询问到发现抗癌药物到支持高速流媒体服务，一切都需要处理大量数据。但是，对于这些高级计算机系统而言必不可少的存储平台一直停留在一个严格的框架中，要求用户在功能定制或高可用性之间进行选择。现在，弗吉尼亚理工大学的研究人员已经找到了一种方法，可以让高性能计算(HPC)数据系统通过名为BespoKV的首个框架灵活地发展，这可能有助于有朝一日实现HPC的目标。 exascale，或每秒1亿亿次计算。研究人员将于11月13日在德克萨斯州达拉斯举行的计算机协会/ IEEE超级计算会议上发表他们的研究结果。

新平台功能的主要组成部分是关键值(KV)系统。KV系统从非常快速的基于内存的存储而不是较慢的磁盘存储和检索重要数据。这些系统越来越多地用于当今使用分布式系统的高性能应用程序，这些应用程序由许多计算机组成以解决问题。高性能计算依赖于计算机以前所未有的速度接收，处理和分析大量数据。目前，最好的系统每秒运行千万亿次计算或千万亿次计算。这项研究与处理大量数据的行业有关，无论是空间占用，电影流媒体网站的强烈视觉图形;大型信用卡公司的数百万金融交易;或社交媒体上的用户生成内容。想想像Facebook这样的大型媒体网站，其内容不断变换和不断访问。当用户将内容上载到其个人资料页面时，该信息驻留在多个服务器上。

但是，如果您必须不断访问某些内容，KV系统作为存储介质可以更加高效，因为内容从附近的内存存储器加载，而不是远处的存储服务器。这允许系统在完成任务或请求时提供非常高的性能。“我对关键价值系统感兴趣，因为这个非常基础和简单的存储平台尚未在高性能计算系统中被利用，它可以提供很多好处，”该论文的第一作者Ali Anwar说道，弗吉尼亚理工大学毕业生，目前在IBM Research工作。“BespoKV是一种新颖的框架，可以使HPC系统提供大量的灵活性和性能，而不是被严格的存储设计所束缚。”

BespoKV的主要创新之处在于它支持组合一系列具有所需功能的KV商店。它的工作原理是采用一个名为datalet的单服务器KV存储，并支持即时和即用的分布式KV存储。现在，开发人员可以将数据集放入BespoKV并将分布式系统的“混乱管道”卸载到框架，而不是从头开始重新设计系统来完成特定任务。BespoKV将KV存储设计解耦到用于分布式管理的控制平面和用于本地数据存储的数据平面。

该框架还为企业和机构尚未预见的工作负载提供新的HPC服务。当前最先进的KV商店的主要限制效果之一是它们在设计时考虑了预先存在的分布式服务，并且通常专门用于特定设置。另一个限制因素是不灵活的单片设计，其中分布式功能深深地融入到具有后端数据存储的系统中，这些存储执行管理库存，订单和供应等操作。这些KV商店的严格设计无法适应不断变化的用户对无数后端，拓扑，一致性和许多其他服务的需求。

计算机科学教授阿里巴特说：“大型公司的开发人员可以真正投入到使用BespoKV设计创新HPC存储系统的过程中。“数据访问性能是HPC存储系统的一个主要限制，通常采用混合解决方案来提供灵活性和性能，这很麻烦。我们已经创建了一种方法来显着加快系统行为，以符合所需的性能，一致性，和可靠性水平。“BespoKV可以灵活，因为它允许所需服务和可用组件之间的任意映射，同时支持分布式管理服务以实现和启用与数据集相关联的分布式KV存储。“现在我们已经证明我们可以在功能强大的HPC系统中使用KV系统进行高效而简单的操作，客户不必在可扩展性和灵活性之间做出选择，”Butt说。该研究由国家科学基金会资助。除了Anwar和Butt之外，合作者还包括弗吉尼亚理工大学计算机科学助理教授Dongyoon Lee;Jingoo Han，也来自弗吉尼亚理工大学;橡树岭国家实验室;乔治梅森大学;和Perspecta实验室。