-
下一代大数据处理平台Apache Beam成为Apache顶级项目
所属栏目:[资源] 日期:2020-12-31 热度:183
副标题#e# Apache软件基金会在2017年01月10正式宣布Apache Beam从孵化项目毕业,成为Apache的顶级项目 Apache Beam(原名Google DataFlow)是Google在2016年2月份贡献给Apache基金会的Apache孵化项目,被认为是继MapReduce,GFS和BigQuery等之后,Google在大[详细]
-
26、Power Query-日期与时间数据处理实例(统计出某年各月各周的
所属栏目:[资源] 日期:2020-12-31 热度:137
本节重点:Power Query-日期与时间数据处理实例(统计出某年各月各周的借书人数) 需求如下: 上图所示,根据左侧的数据源,统计出2016年各月各周的借书人数(效果如右侧所示)。 分析:很明显,这个需求是对日期的一个操作,其实仅需要用到左侧的第一列即[详细]
-
宋慧庆|广告系统中的大数据处理
所属栏目:[资源] 日期:2020-12-31 热度:168
副标题#e# 宋慧庆,时趣互动 移动广告架构师 十余年互联网老司机,具有多年互联网广告系统研发经验,负责研发个性化动态创意系统,用户画像标签系统以及大数据治理;对编程语言有浓厚的兴趣。 什么是大数据? 从具备4V(Volume,Velocity,Variety,Value)[详细]
-
25、Power Query-日期与时间数据处理
所属栏目:[资源] 日期:2020-12-31 热度:89
本节知识点:Power Query-日期与时间数据处理 日期与时间数据处理功能位置(同样在“转换”和“添加列”菜单中都存在): 这里重点讲解一下某些知识点。 比如年限:意思是当前系统日期减去选中列的日期,结果以“天时分秒毫秒”方式显示。 月份下面的“一[详细]
-
大数求和问题(C++版本)
所属栏目:[资源] 日期:2020-12-31 热度:169
大数求和其实是个纯模拟,我们小学2年级老师就我们通过列竖式求加法,从个位开始加,进位+1,唯一需要值得注意的是我们求出来的结果要为有效值,即00001=1,0000=0 #include iostream#include stringusing namespace std;string nAB(string A,string B);str[详细]
-
[bigdata-024] 在centos 6.5上手工安装mongodb 3.2.5
所属栏目:[资源] 日期:2020-12-31 热度:93
1. 操作系统 centos 6.5 2. 删除旧版本 kill xxxx yum erase mongodb.x86_64 rm /etc/mongod.conf rm /init/mongo* rm /init.d/mongo* locate mongo 删除全部mongo的相关文件 updatedb -U / 3. 下载mongo http://downloads.mongodb.org/linux/mongodb-linu[详细]
-
大数幂运算
所属栏目:[资源] 日期:2020-12-31 热度:170
还是纯模拟,只可意会,不可言传,回到4年级,然后自己体会 #include stdio.h#include string.husing namespace std;#define MAX 40001int s[MAX];int nbit;void Init();void EXP(int nb,int ne);void vout(int x);int main(){ int base,exp; while(~scanf[详细]
-
414. Third Maximum Number
所属栏目:[资源] 日期:2020-12-31 热度:119
Given a non-empty array of integers,return the third maximum number in this array. If it does not exist,return the maximum number. The time complexity must be in O(n). Example 1: Input: [3,2,1]Output: 1 Explanation: The third maximum is[详细]
-
[bigdata-025] ubuntu 14.04 下用virtualbox安装ghost xp
所属栏目:[资源] 日期:2020-12-31 热度:67
市面上的各种ghost的iso很多。这里只说关键点 1.? 用xp ghost镜像启动,选择dos 2. 在dos执行 pq,进行分区 ??? 2.1 首先,选择建立一个“主要分割磁区”,这一点千万不要错,设置为C盘。文件格式根据xp ghost 指定的格式来,现在一般是ntfs。大概,4g就行[详细]
-
[bigdata-026] 大数据principle No.1 “只有干净数据才能进入存
所属栏目:[资源] 日期:2020-12-31 热度:193
这个原则是极其重要。 1. 大数据eco,唯一的优点是处理海量数据,但是工具一般都不完善,藏着各种坑。不像传统数据库和传统功能,完备精致。 2. 最佳的使用方式就是:数据是干净清洁完美的,用大数据工具处理,性能很爽。 3. 但是,如果你试图用大数据eco[详细]
-
[bigdata-026] 大数据principle No.1~No.4
所属栏目:[资源] 日期:2020-12-31 热度:76
Principle No.1 只有干净的数据才能进入存储。 这个原则是极其重要。 1. 大数据eco,唯一的优点是处理海量数据,但是工具一般都不完善,藏着各种坑。不像传统数据库和传统功能,完备精致。 2. 最佳的使用方式就是:数据是干净清洁完美的,用大数据工具处理[详细]
-
大数据处理算法一:BitMap算法
所属栏目:[资源] 日期:2020-12-31 热度:67
腾讯面试题:给20亿个不重复的unsigned int的整数,没排过序的,然后再给一个数,如何快速判断这个数是否在那40亿个数当中并且所耗内存尽可能的少? ?解析:bitmap算法就好办多了 ?所谓bitmap,就是用每一位来存放某种状态,适用于大规模数据,但数据状态又[详细]
-
大数据处理算法二:Bloom Filter算法
所属栏目:[资源] 日期:2020-12-31 热度:59
百度面试题:给定a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,让你找出a、b文件共同的url? Bloom?Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合,但是并不严格[详细]
-
数据意识崛起,从企业应用看BI软件的未来发展
所属栏目:[资源] 日期:2020-12-31 热度:62
前阵子,和一群企业CIO聊天,希望从甲方角度看看对BI产品的看法。在问及一些成熟企业为何不上BI项目时,大家纷纷表示目前还处于观望状态。 提及BI,大家都觉得有些飘忽,和大数据一样,听着高大上,能真正实现落地的并没有多少,性价比甚至不如一个报表工[详细]
-
ArcGIS Desktop 无法录入数据处理一例
所属栏目:[资源] 日期:2020-12-27 热度:98
最近,搭建了一个DB2的测试环境,装完系统后,发现有一个美国带的样例数据无法导入,详细环境如下: 桌面:Desktop 10.3.1 DB2: V97 FP8 X64 For NT 从错误信息上得不到任何的提示,继续做测试 导入数据的时候出了空间字段,属性字段全部删除,可以导入进去[详细]
-
《Speed-BI云平台-基于Excel数据源的技巧应用:区域销售收入分析
所属栏目:[资源] 日期:2020-12-26 热度:199
对于刚接触speed-BI的朋友们,一些看似很简单很琐碎的动作,当没有小窍门和智能化的操作就会使得工作量变大,时间耗起来真要命。本次课就将围绕speed-BI常用的功能进行串讲,还有特别的小技巧一并教授,成为speed-BI的技巧王! ? 课程应用: 本次课程以销[详细]
-
[bigdata-042]从头搭建 spring+mvc+boot+tomcat
所属栏目:[资源] 日期:2020-12-26 热度:163
副标题#e# 1. 需求 1.1 在spring.io下载一个spring mvc的demo,能运行成功。 1.2 按照自己的理解,重写这个例子,并做适当修改,运行成功。 1.3 将这个例子打包成war包,放到tomcat运行成功。 2. 在spring.ip下载spring mvc并运行 2.1 spring的例子在 http:[详细]
-
[bigdata-043] tomcat的一些资料和文档试用( 未整理)
所属栏目:[资源] 日期:2020-12-26 热度:60
1. tomcat的官网在这里 http://tomcat.apache.org/whichversion.html 2. tomcat的版本跟jdk相关。jdk1.8已经广泛使用,选择tomcat 9优先。 3. 下载tomcat 9 3.1 首先要阅读文档 https://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-9/v9.0.0.M17/R[详细]
-
[bigdata-044] CDH的官方文档部分翻译(未整理且未完成)
所属栏目:[资源] 日期:2020-12-26 热度:71
1. cloudera官网 http://www.cloudera.com/ 2. cloudera文档 http://www.cloudera.com/documentation.html 3. 文档分为三个部分 ? 3.1 cloudera enterprise: cdh,cloudera manger,search,impala,spark。 ? 3.2 cloudera director: 安装指南,配置,以及使[详细]
-
慧眼云:基于云计算和大数据分析的主动防御实践
所属栏目:[资源] 日期:2020-12-26 热度:55
http://www.csdn.net/article/1970-01-01/2825623 不论IT如何变迁,网络安全始终是不过时的话题。但不同环境的网络安全有不同的内涵,当前全产业转型“互联网+”,云计算、大数据和移动互联网技术的普及应用,极大地改变了IT架构,网络边界越来越模糊,同[详细]
-
[bigdata-045] redis故障处理 #34;Can#39;t save in backg
所属栏目:[资源] 日期:2020-12-26 热度:63
发现官网出错了。经过检查,发现连接不到redis。检查redis的log,发现错误 Can't save in background: fork: Cannot allocate memory 搜索相关资料,这里说的比较详细 http://www.cnblogs.com/qq78292959/p/3994341.html http://blog.csdn.net/zqz_zqz/art[详细]
-
[bigdata-046] eclipse+spring开发web然后部署到tomcat
所属栏目:[资源] 日期:2020-12-26 热度:126
1. 用eclipse开发spring,需要使用相关的ide 2. spring官网的ide https://spring.io/tools/eclipse 3. spring的tool suite https://spring.io/tools/sts 这个是专用开发spring的。 选择 https://spring.io/tools/sts/all 这里的linux64版本。 4. 在eclipse[详细]
-
新飞电器的BI建设案例
所属栏目:[资源] 日期:2020-12-26 热度:64
副标题#e# 一、河南新飞电器简介 河南新飞电器在制造行业内属于领先地位,其信息化程度较高,面对系统多且杂乱的情况,一个集中展示数据的平台就显得尤为重要。使用BI就是为了在一个相对统一的平台展示需要查看的数据,供决策层进行分析查看,从而做出更加[详细]
-
大数据分析与处理
所属栏目:[资源] 日期:2020-12-26 热度:188
? ? 一、大数据分析与处理 1.文件批处理 ??????以MapReduce、Hive为典型代表,批处理模式解决了传统的数据仓库无法处理海量数据的难题。通过批处理计算引擎,使得海量数据分析成为可能。没有批处理引擎的诞生,也就没有今天风风火火的大数据。 ??????数据[详细]
-
Gartner发布2017年商业智能(BI)魔力象限报告――云商业智能工
所属栏目:[资源] 日期:2020-12-26 热度:90
对我来说,等待Gartner发布最新一期的Gartner商业智能魔力象限报告,看看有哪些最新的意外总是一件令人兴奋的事情。 今年的魔力象限报告包括几个意外,并且对这个市场的现状以及未来发展方向发表了几点想法。 2017年的魔力象限看起来像这样: Gartner还没[详细]

浙公网安备 33038102330478号