大数据系统测试——大数据系统解析（下）

各位好，我是 

@道普云

欢迎关注我的主页

希望这篇文章对想提高软件测试水平的你有所帮助。

---

学习和理解大数据系统每一个层次需要解决的技术问题和对应的一些技术需求是对大数据系统进行软件测试的一个基础，上篇文章里我们已经跟大家分享了数据收集层、数据存储层和资源管理与服务协调层这三个个面，本文就跟大家分享剩下的部分。

在计算引擎层，主要特点是：批处理、交互处理、实时处理、专业化。现在发展的方向就是专业化程度越来越高，越来越场景化，比如说像传统的批处理专业化场景，它的要求是一次性处理的数据量非常大，但是实时性可能要求不是那么高。

交互处理就是数据处理过程中可能需要与用户进行很多交互，在交互中用户输入一些内容，大数据后台进行一些处理，相互之间是有不断的交互的，随时根据交互的内容进行数据的应的处理。

实时处理，像一些流处理、舆情处理，是要求必须实时监控实时处理的，这对性能的要求是比较高的。

所以说在计算引擎层，它需要解决的核心问题是高性能、可靠性和功能正确性。无论是对单次海量数据的处理还是对实时低延迟的处理都需要非常高的性能，包括交互处理，也要求交互是快速响应的。因为它是作为一个公共的服务层，它需要为上层的分析层进行服务，需要保障可靠性，另一方面需要保证功能的正确性。

在数据分析层是各种各样的数据分析模型专业化。举个典型的例子，在金融系统商业银行，每个商业银行的部门，无论是贷款的部门还是存款的部门或者国际业务部门，每一个部门在每一个业务上都会有一个专门的数据分析的模型，这种数据分析模型的专业化程度越来越高，与个性化的需求的结合程度也越来越高。根据数据模型分析专业化的要求，需要保障高性能，同时需要保证它的可靠性和功能正确性。

在数据可视化层需要保证数据展示灵活、可定制、美观。不同的用户对数据可视化的需求是不同的，不同的用户关注的点是不一样的。即便是在同一个单位，在不同的部门、不同的岗位、不同的级别，他所要求的数据展现也是不同的。

这时候需要保证整个数据的可视化是非常灵活的。它对质量的要求、对数据的应用性要求是非常高的。同时数据可视化展示的内容是非常丰富的，它需要保证高性能、可靠性、易用性和功能正确性。

自此，大数据系统解析就已经全部完成了，有需要或有想法的朋友可以私信我交流。