-
大数据分析查询引擎Impala
所属栏目:[大数据] 日期:2021-03-06 热度:54
来自标点符的《大数据分析查询引擎Impala》 作者:标点符(钱魏 Way) 链接:http://www.biaodianfu.com/impala.html Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。 已有的Hive系统虽然也提[详细]
-
1.大道至简的数据处理工具(Power Query)
所属栏目:[大数据] 日期:2021-03-06 热度:113
? ?如果你不想学复杂的函数,如果不想学更难的VBA。但你想把数据处分分析工作做好。那么,来吧!这套课程将是你最好的选择。远离繁杂,回归简单与智能化。 ? ?先来看看power query 怎么做些什么。先来展示一下效果图。[详细]
-
9个最佳的大数据处理编程语言
所属栏目:[大数据] 日期:2021-03-06 热度:181
大数据的浪潮仍在继续。它渗透到了几乎所有的行业,信息像洪水一样地席卷企业,使得软件越发庞然大物,比如Excel看上去就变得越来越笨拙。数据处理不再无足轻重,并且对精密分析和强大又实时处理的需要变得前所未有的巨大。 那么,在巨大的数据集中进行筛选[详细]
-
logminer挖掘不同数据库的归档日志,使用redo log数据字典
所属栏目:[大数据] 日期:2021-03-06 热度:61
挖掘要求: 使用测试库挖掘生产库的归档日志,生产库未设置utl_file_dir参数,生产库不能重启,无法抽取出生产库的数据字典 挖掘方法: 将生产区数据库的数据字典抽取到redo log 中,将有数据字典的redo log一块加载入logminer,使用redo log中的数据字典进行[详细]
-
大数定律和中心极限定理的中文叙述
所属栏目:[大数据] 日期:2021-03-06 热度:156
大数定律和中心极限定理的中文叙述 一、大数定律 1.切比雪夫大数定律 叙述:{Xn}随机变量序列,满足①相互独立;②方差D(X)存在并且一致有上界; 那么{Xn}服从大数定律——随机变量的平均值依概率收敛到随机变量的期望,当n很大时; 体现了均值的稳定性。 2.[详细]
-
手慢无|StuQ邀你免费参加付费小班课大数据分析平台的首节预演
所属栏目:[大数据] 日期:2021-03-06 热度:93
是的,你没有看错。可以免费观看 StuQ 精品付费小班课预演啦,小编又给大家谋福利了。 什么是『付费小班课预演』 付费小班课: 直播辅导教学,1位领域专家与30位学员团结在一起,连续7周,只为一个共同目标,学会一个职业技能。全程使用StuQ视频直播和在线协[详细]
-
从搭台到唱戏,电商卷皮BI的实践演进和架构体系
所属栏目:[大数据] 日期:2021-03-05 热度:133
本文是6月16日大数据杂谈群分享的内容。 关注“大数据杂谈”公众号,点击“加群学习”,更多大牛一手技术分享等着你。 实习编辑:Melody 大家好,我是卷皮BI团队负责人柴楹,今天在这里给大家分享一下卷皮的BI和大数据的一些东西。 BI大数据是什么? 首先我[详细]
-
NB-MAFIA: 基于N-List 的最长频繁项集挖掘算法
所属栏目:[大数据] 日期:2021-03-05 热度:76
基于N-List,提出一个高效的最长频繁项集挖掘算法NB-MAFIA,发表在《北京大学学报》上,论文可从以下网址免费下载: http://xbna.pku.edu.cn/CN/abstract/abstract2916.shtml[详细]
-
saiku (branch 3.8-release)构建步骤
所属栏目:[大数据] 日期:2021-03-05 热度:81
近日整理了saiku(branch 3.8-release)的构建步骤,分享出来以供大家参考 红色的为原有被注释的 绿色的为添加的 蓝色地方比较重要,为我修改的地方,与上方红色对照下 前提是需要下载 mondrian- 4.3.0.1-SPARK的包放到自己的nexus中 源码地址: ? ?? https:[详细]
-
数据嗨客 | 第6期:不平衡数据处理
所属栏目:[大数据] 日期:2021-03-05 热度:74
http://mp.weixin.qq.com/s?__biz=MzAwMzIxMjIyMg==mid=2651005812idx=1sn=b9819f04cb2ee9af21f4011d34013824scene=0 写的挺好: 常用的分类算法一般假设不同类的比例是均衡的,现实生活中经常遇到不平衡的数据集,比如广告点击预测(点击转化率一般都很小)[详细]
-
第四期数据分析课程~
所属栏目:[大数据] 日期:2021-03-05 热度:129
第四期课程对比前三期课程我们做了如下的优化: 1. 增加一节新课:关于numpy在数据分析和机器学习中的应用 2. 讲解map与lambda函数 3. 优化机器学习课程内容,手把手教你推导数学公式 4. 修改第十节课程,增加实践操作环节 购买后请各位同学一定要在「阅读原[详细]
-
论如何打造高性能大数据分析平台
所属栏目:[大数据] 日期:2021-03-05 热度:117
本文将从技术无关的角度讨论一些提高性能的方法。下面我们将讨论一些能够应用在大数据分析系统不同阶段的技巧和准则(例如数据提取,数据清洗,处理,存储,以及介绍)。本文应作为一个通用准则,以确保最终的大数据分析平台能满足性能要求。 1. 大数据是什么?[详细]
-
HPE大数据商业白皮书 | 大数据分析给OEM软件开发商带来巨大发展
所属栏目:[大数据] 日期:2021-03-05 热度:87
我们都知道:大数据的崛起不可逆转;迎接这一趋势才能驾驭未来。 IDC最新的预测表明,大数据技术市场将以26.4%的年复合增长率增长,到2018年将达到415亿美元——大约相当于整体信息技术市场增长率的六倍。此外,IDC相信,到2020年,业务部门采购者会将数据分[详细]
-
Acdream 1420 High Speed Trains(大数 + 容斥原理)
所属栏目:[大数据] 日期:2021-03-05 热度:197
传送门 High Speed Trains Time Limit: 2000/1000MS (Java/Others) Memory Limit: 128000/64000KB (Java/Others) Submit Statistic Next Problem Problem Description The kingdom of Flatland has n cities. Recently the king of Flatland visited Japan a[详细]
-
【剑指offer】(扩展)大数相加
所属栏目:[大数据] 日期:2021-03-05 热度:81
问题: 实现一个加法,将两个大数相加,不使用BigInteger。 分析: 使用字符串或者数组,实现每位相加进位,要注意两个数对齐及最终进位的情况。 首先将两个字符串倒置,方便补0将位数对齐及逐位相加。并且使用StringBuffer方便字符串修改。 注意:字符实现[详细]
-
.net中大数处理的一些算法思想
所属栏目:[大数据] 日期:2021-03-05 热度:157
? 在 .NET 开发中,有时会因为处理一些边缘学科的知识内容,如统计,金融,天文等计算,是加密解密算法 都会涉及到大数的运算,就是.net中最大数值类型储存了都会溢出的数,我的一个想法是计算时用数值类型,储 存(暂时)和输出时是字符串 那么储存时就需要BOX[n] n个[详细]
-
Micro-targeting:大数据分析在政治领域的应用
所属栏目:[大数据] 日期:2021-03-05 热度:138
(图片来源网络,侵删) 美国总统大选已经进入了白热化阶段,各竞选团队为了给候选人拉票可谓绞尽脑汁,使出浑身解数。今天为大家介绍的这个“micro-targeting”,是数据分析在政治选举中的一个投影,政治家们通过各种途径构建自己的数据库,利用数据分析设[详细]
-
文本特征选择
所属栏目:[大数据] 日期:2021-03-05 热度:154
转载:http://www.cnblogs.com/fengfenggirl/p/text_feature_selection.html 在做文本挖掘,特别是有监督的学习时,常常需要从文本中提取特征,提取出对学习有价值的分类,而不是把所有的词都用上,因此一些词对分类的作用不大,比如“的、是、在、了”等停[详细]
-
我在海外学BI学到了什么? ——从国内外教育差异谈BI与数据分析理
所属栏目:[大数据] 日期:2021-03-05 热度:198
在海外学习BI与数据分析是怎样的体验?有学到放之四海而皆准的理论知识和国际合作经验吗?海归分析师回国创业在工作中会有什么过人之处?又有什么不同之处? 本次小编邀请永洪科技CRM副总裁,BI与数据分析专家谢玲女士,与大家一起谈谈国内外BI教育的差异,[详细]
-
数据处理---Spring Batch之基础
所属栏目:[大数据] 日期:2021-02-27 热度:103
? ? ? Spring框架提供了强大的底层结构,基于此,Spring出现了很多方面的应用。Spring Batch就是其一,它是一个轻量级的,完全面向Spring的批处理框架,可以应用于企业级大量的数据处理系统。Spring Batch以POJO和大家熟知的Spring框架为基础,使开发者更容[详细]
-
数据处理---Spring Batch之实践
所属栏目:[大数据] 日期:2021-02-27 热度:51
上面介绍了Spring Batch的基本概念和简单的demo项目,显然这些还是不够实际使用的。下面我们来更多的代码实践。 ? ? ? ? 在上面的基础项目上面,我们来更多的修改: ? ? ? ? 不用项目默认的hsql DB,用mysql,让ItemReader,ItemWriter 支持mysql; ? ? ? ? 支[详细]
-
Pentaho BI Server的启动过程详解(二)
所属栏目:[大数据] 日期:2021-02-27 热度:135
时隔好久现在接着上一篇来继续聊一下Pentaho BI Server的启动过程,今天主要讲的就一个类PentahoSystem。 软件版本 Pentaho BIServer 5.0.1-ce 关于PentahoSystem 在上一篇文章里已经介绍过在SolutionContextListener中当应用启动时分调用PentahoSystem的ini[详细]
-
【最强干货】关于文本挖掘的资料(文献,报告,策略,代码)
所属栏目:[大数据] 日期:2021-02-27 热度:53
查看之前文章请点击右上角 , 关注 并且 查看历史消息 所有文章全部分类和整理 , 让您更方便查找阅读。 请在 页面菜单里查找 。 今天没有策略研究推送。 有几篇文章还需再研究一下 好久没有给大家干货啦 今天给大家一些干货福利 文本挖掘方面的资料 文献,[详细]
-
暴力:大数加法
所属栏目:[大数据] 日期:2021-02-27 热度:89
Description The I-number of x is defined to be an integer y,which satisfied the the conditions below: 1. yx; 2. the sum of each digit of y(under base 10) is the multiple of 10; 3. among all integers that satisfy the two conditions above,y[详细]
-
数据处理---Spring Batch之进阶
所属栏目:[大数据] 日期:2021-02-27 热度:85
有了前面两篇的基础之后,我们一起来聊聊更高级的关于Spring Batch的话题。比如Job 配置;自定义各种Listener;控制步骤流程;自定义Reader,Processor,Writer;并行处理。这些东西在Spring Batch的使用中很多可能会需要的,当然还有更多的内容,最好找下文档[详细]