源作者:企业存储技术
什么是程序运行时的存储位置包括所需的数据本文内容来自SNIA白皮书《How To Be A Part of the Real-World Workload Revolution》。
如何成为真实世界存储工作负载革命的一部分
简介
实际数字工作负载的行为通常与预期的不同。计算系统中使用的设备的功能可能与预期的不同。与工作负载一起运行的复杂软件和操作中的未知怪癖可能比用户最初假设的更多或更少。要真正了解正在发生的事情，正确的方法是在执行实际代码时测试和监控系统的行为。通过使用测量数据设计人员，供货商和服务人员可以查明特定工作负载所遇到的实际限制和瓶颈。SNIA Real-World Workload Capture程序允许用户测量他们自己的实际工作负载，并将其与执行类似操作的其他工作负载进行比较，并优化系统和配置，以获得最佳性能和效率。此外，捕获和共享这些匿名工作负载跟踪将有助于一般小区预测并避免常见的系统问题和瓶颈。我们都可以通过SNIA SSSI真实世界工作负载捕获程序共享数字工作负载的痕迹而受益。
Tom Coughlin, Coughlin Associates
Jim Handy, Objective Analysis
Executive Summary
对实际工作负载的分析通常被称为计算器存储解决方案的最终目标。这是因为工作负载功能通常是决定已部署系统性能的最重要因素。通过从实际使用中捕获和共享工作负载，有机会成为这场革命的一部分。
通过参与SNIA固态存储计划（SSSI）真实世界工作负载捕获计划，您可以为行业的发展做出贡献，并找到您的工作负载看起来有助于您的存储购买决策。
实际工作负载通常可以定义为在软件/硬件堆栈中从一个点到另一个点时发生的I/O流的组合和顺序。当应用程序向存储器发送和接收I/O流时，会创建实际存储工作负载。
新的I/O跟踪和捕获工具（如www.TestMyWorkload.com上提供的免费工具）现在允许任何用户轻松捕获其实际工作负载。本文介绍并解释了实际工作负载是什么，如何捕获和共享它们，它们的含义以及这样的程序如何使整个行业受益。观众包括IT，专业人士，应用程序开发人员，存储设计人员，制造商以及人工智能的用户和技术爱好者。
实际I/O工作负载的特征 Characteristics of a Real-World I/O Workload
大多数系统或软件架构师将根据其读/写平衡来讨论特定工作负载，例如，“读取主导系统”。这通常是作为累积测量的工作负载的总体组合的度量，基本上是测量随着时间的推移所有的读写，并找到一个基本的百分比。但是，在关键时刻，平衡可能与一般结果有很大差异。
一个简单的例子是视频流。从应用层查看时，它直观地看起来是大块的顺序读取。虽然在文件系统中可以这样，但底层块I/O级别可能非常不同，主要包括进入磁盘的随机4K和8K块。虽然文件系统中的实时视频帧可以从DRAM进行假脱机和查看，但I/O流到存储的流量通常是随机4K和8K读/写块的混合，它们与固态驱动器的页面大小相匹配，或SSD。
特别是在现代固态驱动器中，文件可能以可用页面大小而不是单个连续块分布，这进一步使读取和写入配置文件复杂化。此外，如果需要将视频流从服务器转码到多个客户端，实际结果可能会更复杂。
实际工作负载都是独一无二的，即使是那些执行类似功能的工作负载。它们由I/O流，不同队列深度和系统中的多个进程ID组合而成。衡量任何工作负载都会发现应用程序和系统进程的行为方式类似，但这种行为很可能会随着多次运行而发生变化。
与旨在测量正常操作范围之外的存储性能的固定和常量工作负载的合成工作负载不同，实际示例包括不断变化的组合和序列I/O流和队列深度。除了具有许多I/O流之外，这些流还包括各种传输大小，从小字节大小访问到非传统大小的更大传输。
实际工作负载组合通常与通常理解的定义或假设不匹配。例如，合成SQL工作负载的普遍接受的行业定义是随机8K 65:35读/写混合。但是，让我们来看看下面的零售门户网站的实际读取主导（72:28 R/W组合）SQL工作负载。首先，请注意混合比例是72:28 R/W，而不是65:35 R/W。其次，只有10％随机8K读取和2.78％随机8K写入。第三，请注意，24小时内有5,086个独特的IO流，其中71％由最常出现的9个I/O流组成。
在这9个I/O流中，主要的4个流是随机64K读取（18.5％），顺序0.5K写入（17％），随机8K读取（10％）和顺序8K读取（8.4％）总共总I/O的63.9％。
查看I/O流映像，我们可以看到不同I/O流的序列和组合，因为它们与不同的活动相关。2AM备份负载包括45.1％顺序64K写入和41.6％顺序64K读取 - 从Drive0读取并写入Drive1。在早晨启动过程中，I/O活动由连续0.5K写入控制。最后，每日交易由一组I/O流组成，这些I/O流反映了24小时内的主要I/O流。
其他系统活动将影响I/O特性。如果存在重要的用户或应用程序级活动，则I/O流的队列深度可能会增加，从而影响单个应用程序的整体行为。今天的系统运行各种后台进程，这将增加整体I/O活动。最后，应用程序的配置也将改变工作负载特征。例如，在虚拟机上运行将产生与在裸机上运行不同的模式。因此，随着工作负载内容随着时间的推移而变化并随着系统用例和平台环境的发展而逐渐进行连续捕获是很有用的。
显然，各种各样的实际工作负载以及任何给定工作负载的可变性使得市场中I/O设备的开发和扩散变得复杂。虽然现代固态磁盘涵盖了各种用例，但硬件和使用它们的应用程序的可变性需要在构建解决方案之前更好地了解环境，尤其是跨大型企业进行可扩展部署的解决方案。
机会Opportunity: 提供您的工作负载来改善市场Provide Workloads to Improve the Marketplace
如上所述，存储网络行业协会（SNIA）是一个致力于开发标准和教育计划以推进存储和信息技术的全球性组织。SNIA的固态存储计划（SSSI）支持市场上固态存储（SSS）和持久存储器（PM）的接受和发展。我们的成员公司，如Calypso Systems，教育供货商和用户小区，并支持SNIA技术工作。通过合作，SNIA SSSI参与者将受益于该行业。
SNIA是该行业的公正仲裁者，致力于推动多种形式的固态技术的扩散。作为SNIA和SSSI成员，Calypso Systems是SSSI认证的性能测试实验室，使用先进的方法和测试系统提供第三方测试。SNIA利用Calypso RTP / CTS作为捕获I/O工作负载的记录测试系统。
通过提供工作负载，参与公司可以帮助扩展用于开发和测试固态存储产品和驱动程序的信息，从而更好地为整个行业服务。虽然这对整个行业有利，但通过创建更适合其应用特性的产品，最有利于参与者。此外，参与者还可以立即获取有关其自身工作负载的信息，从而实现更好的开发和部署选项。SNIA和SSSI正在呼吁开发的所有阶段的工作负载。
Capturing and Analyzing Workloads
用来存储当前正在运行的程序和数据的存储器是利用实际工作负载有三个组件：
●捕获：SSSI和Calypso提供可供Linux，Windows和Mac下载的免费I/O捕获小程序和数据存储库可以位于TestMyWorkload.com。下载应用程序后，在定义捕获持续时间/长度，时间分辨率和其他因素后打开并开始捕获。
●分析：所有数据都作为表中的二进制信息收集。不收集任何个人数据或实际数据。I/O捕获过程对每个观察到的I/O进行统计，并在本地或在TestMyWorkload站点保存数据。然后将其处理成I/O流映射以立即或稍后分析。
●测试：捕获的工作负载可以转换为可在各种硬件上使用的复杂测试脚本。用户可以测试直接或间接连接到包含捕获数据的服务器的任何逻辑存储组合。通过这种方式，工作负载可立即用作性能测试平台。
通常，捕获过程几乎没有开销，占CPU使用率的1-4％。如上所述，没有捕获实际数据，但是跟踪和存储代表性块数据。因此，不存在对用户或应用程序数据的担忧。可以从文件系统或块级别的目标OS识别的任何逻辑存储中获取捕获。可以使用Calypso提供的定制工具调整其他类型的捕获。
可以以不同方式可视化测试结果。简单的I/O流映射详细说明了实际的读写数据，可以实时了解工作负载特征。可以解析地图以在捕获的任何点提供重要信息，从而分析对性能影响最大的关键区域。
附加的可视选项允许显示工作负荷，通过逻辑块地址（LBA）范围，随机或顺序访问等显示每个I/O的空间位置。这将使用户能够检查存储分层策略，查看各种实际设备上的流量以及其他有用的分析。还可以通过进程ID，时间，事件和各种其他视图来过滤工作负载。
可以从解析的I/O流映射创建测试脚本。一旦捕获，重放可以选择整个工作负载，或者可以关注关键区域，例如对应用程序至关重要的各个流。使用商业工具，可以生成自动脚本，提供更加详细的测试方法，从而实现更多的工作负载和性能测试。
构建匿名的工作负载会带来各种好处。
从行业硬件角度来看，这为新技术的开发提供了更好的指导。拥有在设计时间测试方法的数据可以产生更好的产品。
软件开发人员可以使用工作负载测试来更好地了解应用程序的特征。在许多情况下，程序的结构可以决定I / O活动，并且在开发过程中更好的知识可能会在现实世界中创建性能更好的程序。
IT专业人员和顾问可以利用他们对环境的更多了解，就新系统的构成和现有架构上的工作负载分配做出更明智的决策。特别是在涉及大规模部署的情况下，本地和远程存储的配置可以在长期解决方案的能力和成本方面产生显著差异。
结论Conclusion : 如何受益How to Benefit
使用工作负载I/O监视和分析等高级工具很可能可以改善任何用户的本地化结果。但是，许多工作负载的组合结果可以为制造商和软件开发人员提供输入以构建更好的产品。因此，每个人都需要采取行动对于行业的健康至关重要。
对于IT组织和解决方案提供商，为TestMyWorkload.com提供的简单工作负载测试可以帮助改进用于构建解决方案本身的知识库。此外，使用软件提供商的模拟可以更好地了解研发阶段的正确配置，确保实现更好的性能和成本目标。
软件开发人员有机会提供基准工作负载供IT和硬件提供商使用，他们还可以利用自己软件的其他变体来更好地确定实际情况。找到允许公司提前解决竞争条件并更轻松地测试新I/O硬件的极端情况的机会为公司带来了巨大的好处。
对于硬件制造商而言，有机会构建更广泛的测试，以更好地表征固态存储器和存储的需求。特别是，可以调整驱动程序开发以更好地响应实际系统需求而不是合成系统需求。
有关更多信息以及查看/贡献存储库和下载工具，请访问TestMyWorkload.com。
关于作者About the Authors
Eden Kim是Calypso Systems，Inc。的首席执行官，该公司是一家领先的测试和测量公司，专注于固态和持久性存储器性能测试。Eden是SNIA固态存储技术工作组的主席，该工作组编写了用于SSD的PTS 2.0.1和用于数据中心存储的RWSW PTS 1.0.7。Eden还是SNIA SSSI TechDev委员会主席和SSSI理事会成员。Kim先生撰写了各种白皮书，可以在SSSI知识页面上找到，网址是www.snia.org/forums/sssi/knowledge/whitepapers。
Jim Fister是The Decision Place的负责人，该公司专注于为市场推动新技术和业务战略。他在英特尔工作了26年，拥有超过30年的计算器行业经验。Jim目前担任SNIA的持久存储器和固态硬盘技术和应用程序支持总监。在俄勒冈州中部的小路上没有踢土块的时候，Jim还主持了一个非营利组织，专注于STEM和CTE青年的机会。
Objective 分析的Jim Handy在电子行业拥有超过35年的经验，其中包括20年作为领先的半导体和SSD行业分析师。他曾在英特尔，美国国家半导体和英飞凌等领先的半导体供货商工作。作为贸易展览的常客，Handy先生以其技术深度，准确的预测，广泛的行业存在和出版量而闻名。他撰写了数百份市场报告，贸易期刊文章和白皮书，并经常在电子贸易媒体和其他媒体上进行访谈和引用。他在www.TheMemoryGuy.com和www.TheSSDguy.com上发布了博客。
Coughlin Associates总裁Tom Coughlin是一位数字存储分析师兼业务和技术顾问。他在数据存储行业拥有超过37年的经验，曾在多家公司担任工程和管理职位。Coughlin Associates咨询，出版书籍，市场和技术报告（包括媒体和娱乐存储报告），并开展数字存储导向活动。他是forbes.com和M＆E组织网站的定期撰稿人。他是IEEE研究员，IEEE-USA总裁，并积极参与SNIA和SMPTE。有关Tom Coughlin及其出版物和活动的更多信息，请访问www.tomcoughlin.com。
资料来源 https://www.snia.org/sites/default/files/SSSI/Chinese%20Workload%20WP.pdf
注：本文只代表作者个人观点，与任何组织机构无关，如有错误和不足之处欢迎在留言中批评指正。进一步交流技术，邮箱：490834312#qq.com（改#为@）。如果您想在这个公众号上分享自己的技术干货，也欢迎联系我：）
尊重知识，转载时请保留全文。感谢您的阅读和支持！
