November 19, 2021

文章标签

数据分析

算法

学术

https://www.microsoft.com/en-us/research/uploads/prod/2019/05/QuickInsights-camera-ready-final.pdf

本文是阅读微软 QuickInsight 论文的笔记（翻译），在此基础上， 会进行一些相关延伸。按照论文原文的行文思路组织本文的结构。

原文信息：

Rui Ding, Shi Han, Yong Xu, Haidong Zhang, and Dongmei Zhang. 2019. QuickInsights: Quick and Automatic Discovery of Insights from MultiDimensional Data. In Proceedings of ACM SIGMOD conference (SIGMOD’19), 15 pages. https://doi.org/10.1145/3299869.3314037

1. 概述

• 文中说的洞察（insight）是什么？

  把有意思的数据模式（interesting pattern）统一叫做洞察。pattern 可以指相关性（correlation）、趋势(trend)、异常（anomaly）等

• 传统的可视化、探索式的数据分析可以用来发现 interesting pattern

  • 手动选择数据及可视化形式（编程式 ggplot，图形接口 Tableau）
  • 尽管这种方法很灵活，但是想找到感兴趣（interesting）、有用（useful）的 pattern 往往需要在统计、数据可视化领域有专业的技能，并且不断的迭代分析困难且耗时。

• 为了加快数据的探索分析，可以将自动的 interesting pattern 推荐与可视化分析工具结合

  1. 推荐的这些 pattern，可能令用户灵光一闪 （hit an interesting zone of users），从而启发他们做出新的假设并进行更进一步的数据探索分析。
  2. 推荐的 pattern 也可能直接启发用户采取相应的行动

• Gartner 把自动模式检测（automated pattern detection）作为下一代 BI 分析平台的重要能力

• interesting pattern 自动探索的难点

  1. 对 interesting pattern 没有一个统一、一致的表述
     1. 复杂的数据分析场景中，不能局限于单个类型 pattern（相关性、趋势、异常等）
     2. 对 pattern 分类后，要有一个统一的表述方法
  2. 没有专门用于挖掘通用 interesting pattern 的框架
     1. 随着维度的增加，搜索空间指数级增长
     2. interesting pattern 蕴藏在未知的数据子集中

• QuickInsights 解决了上述的难题

  1. 把 interesting pattern 统一表述为 insights
  2. 提供了一个高效推到 insights 的系统挖掘框架

  具体来说

  • 针对一个多维数据集，insight 从某个视角反映了数据中特定主题的有趣内容（an insight reflects something interesting on a specific subject in the data from certain perspective）
  • 表述 insight 的 3 要素
    • 主题（subject ）
    • 视角（perspective）
    • 兴趣度（interestingness）

• QuickInsights 遇到的两个挑战

  • 质量挑战（Quality challenge）

    尽量避免容易推断的洞察（Easily Inferable Insights, EII）。由于 EII 肉见可见，仅能提供很少的信息，所以对用户来说不是那么有趣。因此需要高效检测并剔除无效低质量洞察。

  • 效率挑战（Efficiency challenge）

    1. 多维数据集中，随着维度增加，搜索空间指数级增长
    2. QuickInsights 在交互式数据探索分析中，必须保证响应的及时性：优先探索最有可能产出高质量洞察（insight）的数据子集
    3. 洞察（insight）的评估涉及数据库的大量聚合查询，可能进一步影响挖掘性能

• 如何应对挑战

  • 质量挑战

    EII 通常是因为数据集中内部维度依赖导致的。所以，对洞察主题（insight subjects）实施功能性依赖（functional dependency）检测，并通过高效的算法检测并排除功能性依赖导致的 EII

  • 效率挑战

    1. 在洞察评估任务中，通过“最佳优先”（best-first）策略对任务划分优先级

       在有限的时间窗口内，在真正评估各个洞察前，对预估任务的分数，分数高的任务运行的优先级更高

    2. 数据查询时智能批处理，合并数据请求，充分利用关联查询场景下的空间局部性，减少数据查询的次数

• 论文创新点

  • 提出多维数据集“洞察”概念：interesting pattern 的统一表述
  • 构建了高效的洞察挖掘框架。两个关键技术
    • 利用“最佳优先排序”的策略对洞察评估任务进行分级
    • 智能查询分组机制，减少数据查询的次数
  • 设计了洞察评估算法剔除 EIIs ，产出高质量的洞察结果
  • 评估验证了 QuickInsights 发现洞察力的有效性和效率

2. 对洞察建模（Insight Modeling）