易观发布新一代IOTA架构去ETL化引大数据3.0时代

本篇文章1162字，读完约3分钟

大数据浪潮推动了科学技术的发展。从大数据1.0的商业智能/数据仓库时代到大数据2.0的网络/应用时代，物联网的大数据3.0时代已经到来。最近，易观国际发布了iota的整体技术架构，为企业分析和营销数字用户提供了一个新工具。

在早期的大数据平台中，采用lambda数据架构在流计算平台和批处理离线平台上计算采集的数据，主要解决实时数据处理和批处理离线处理的需求。Lambda架构稳定性高，成本可控，便于夜间进行峰移计算，在初期支持数据产业。但是，由于实时和批量计算结果不一致造成的数据口径问题，etl批量计算无法在计算窗口内完成，数据源变更后开发周期长，服务器存储量大，后期的lambda数据架构越来越不能满足快速扩展的数据处理需求。

典型的lambda架构

继lambda之后，kappa架构已经成为主流。核心思想是通过改进流量计算系统来解决总体数据处理问题，以便实时计算和批处理使用同一组代码，并且只有在必要时才会重新计算历史数据。与lambda相比，kappa结构可以统一实时和离线代码，便于维护，解决了数据口径不一致的问题。然而，它的缺点是显而易见的:流处理不能处理高吞吐量的历史数据，开发周期长，服务器成本浪费严重。

典型的卡帕建筑

在物联网浪潮下，智能手机、个人电脑和智能硬件设备的计算能力越来越强，业务需求要求数据实时响应需求。集中式和非实时数据处理的传统思想已不再适合当前的大数据分析需求。analysys提出了新一代大数据架构来解决上述问题。总的想法是建立一个标准的数据模型。边缘计算技术将数据生成、“etl移除”、计算和查询过程中的所有计算过程分散开来，并以统一的数据模型贯穿其中，从而提高整体预算效率，满足即时计算的需求。可以使用各种临时查询来查询底层数据:

总体技术结构

iota架构体现了analysys Analysys团队多年的努力，解决了传统技术中etl及相关开发的难点，提高了整体数据分析效率；即席即时查询功能使用户无需等待，直接查询前几秒钟发生的事件；边缘计算技术消除了中心端集中处理的限制，将计算过程分散到数据生成、存储和查询端，保证了客户端在传输数据时能够立即给出反馈。

iota架构的实现方法

为了验证iota架构，易观国际还独立设计并实现了“二次计算”引擎，该引擎目前支持在易观国际同时计算5.5亿台设备。此外，基于“二次计数”引擎，易观国际开发了“易观方舟”精细化操作产品，可独立部署在企业客户中进行数字用户分析和营销。

易观国际认为，在大数据3.0时代，lambda大数据架构不再能满足企业用户对日常大数据分析和精益运营的需求，无etl的大数据架构是未来。Lambda的大数据架构为大数据分析行业提供了创新思维和技术基础。基于此，易观国际将继续关注互联网公司的用户和产品运营

来源：央视线