博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
利用微查询和数据锐化进行大数据探索
阅读量:5813 次
发布时间:2019-06-18

本文共 1031 字,大约阅读时间需要 3 分钟。

微查询和数据锐化™

微查询和数据锐化是专利技术,它们协同工作以允许用户与大数据进行交互。Zoomdata查询引擎根据所请求的聚合值类型和预期查询运行时间等条件调用它们。微查询和数据锐化非常适合按日期分区并在具有多个处理核心的群集上运行的大数据。此功能是可选的,可以在数据源定义级别禁用。

Microqueries分批运行以跨数据库分区对数据进行采样。查询引擎提交一个完整的长时间运行查询,该查询与第一组微查询一起运行,进度指示器估计完整查询的进度。完整查询和微查询一直运行,直到完整查询运行完成或用户改变方向(用户改变方向的想法是重要的部分,留在我们身边以了解原因)。如果用户更改方向,则会取消长时间运行的查询和微查询,以节省处理和网络资源。

数据锐化分析累积样本数据,并通过websocket连接将估计结果流式传输到浏览器(或其他客户端)。数据锐化的估计值可能会向上或向下波动,直到报告最终查询。然而,随着数据的锐化,每组的相对值通常保持一致。例如,图表中最高的10%完成条形图几乎总是在100%完成时仍然是最高的条形图。即使在数据流传输到仪表板时,您也可以自信地探索数据。

Ad-Hoc Exploration与报告

您可以在观看数据加载时放大,过滤,重新分组,重新排列,更改甚至创建新的指标和属性 - 或采取任何其他操作。为什么要这么做?因为大量的数据探索和发现是关于识别不符合预期的异常值或数据。使用Zoomdata等可视化分析应用程序,您可以看到它。立即。使用我们的专利技术可以非常快速地形成数据,因此您无需等待令人难以忍受的长时间查询才能解决问题,正如他们所说的那样。

将动态,思维流探索与报告进行对比。报告是回顾性的,报告对他们来说是最终的,符合代表一天,四分之一,一年,人口,地理位置,产品线的快照以及报告中列出的某些期望和假设(提示:“像素-perfection“是关于报告,而不是数据探索。探索可以像数据允许的那样广泛和深入。

下推式处理Redux

还记得Zoomdata如何执行下推式处理吗?重要的是,当您进行需要再次访问数据源的更改时,Zoomdata会取消完整的长时间运行查询和微查询,以便为下一个查询序列释放它。但是,取消活动查询并非易事,许多JDBC和ODBC驱动程序都不支持它。在这些情况下,即使Zoomdata智能数据连接器主要使用JDBC和SQL,它也可以发出本机API调用来完成驱动程序不支持的任务,例如查询取消。它太酷了。

转载地址:http://ostbx.baihongyu.com/

你可能感兴趣的文章
git reset 三种用法总结
查看>>
hdfs笔记
查看>>
虚拟机新增加硬盘,不用重启读到新加的硬盘
查看>>
Java IO流详尽解析
查看>>
邮件服务系列之四基于虚拟用户的虚拟域的邮件系统(安装courier-authlib以及部分配置方法)...
查看>>
Linux VSFTP服务器
查看>>
DHCP中继数据包互联网周游记
查看>>
Squid 反向代理服务器配置
查看>>
Java I/O操作
查看>>
Tomcat性能调优
查看>>
项目管理心得
查看>>
Android自学--一篇文章基本掌握所有的常用View组件
查看>>
灰度图像和彩色图像
查看>>
通过vb.net 和NPOI实现对excel的读操作
查看>>
TCP segmentation offload
查看>>
java数据类型
查看>>
数据结构——串的朴素模式和KMP匹配算法
查看>>
FreeMarker-Built-ins for strings
查看>>
验证DataGridView控件的数据输入
查看>>
POJ1033
查看>>