博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop综合大作业
阅读量:4931 次
发布时间:2019-06-11

本文共 384 字,大约阅读时间需要 1 分钟。

---恢复内容开始---

1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。

在虚拟机上网下载一个著名的《教父》的英文小说,下载到本地。

 

首先要启动dfs:

 在hdfs上创建文件夹:

查看hdfs上的所有文件:

把下载的文件上传到hdfs:

启动hive:

创建表:

把hdsf上的文件内容添加进去表里:

创建一个新的表存放词频统计:

 

 查找表的前十条记录:

 

2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。

首先在本地把统计好的词频转化成csv格式

把文件上传到虚拟机

启动hive

创建表

存放到表

查看前十

 

 

 分析:说明大家喜欢的小说类型一般主题都是言情,男女之类的小说

转载于:https://www.cnblogs.com/a305810827/p/9090849.html

你可能感兴趣的文章
020-安装centos6.5后的生命历程
查看>>
面试介绍项目经验(转)
查看>>
创建并设置ASP.NET的会话状态服务器(SQL State Server)
查看>>
<metro>Google的验证
查看>>
SQL中NUMERIC和DECIMAL的区别
查看>>
安卓课程设计:微课表
查看>>
Oracle 表的分组操作
查看>>
C#+TaskScheduler(定时任务)实现定时自动下载
查看>>
Lightoj 1007 - Mathematically Hard
查看>>
在OS X上的Intllij Idea中配置GlassFish
查看>>
用查表法快速转换yv12到RGB【转】
查看>>
使用公钥登录SSL
查看>>
实验四 shell 编程(2)
查看>>
Sublime Text 3 搭建 React.js 开发环境
查看>>
hdu 1290_献给杭电五十周年校庆的礼物
查看>>
Nginx 入门
查看>>
openCR-用ROS代码点亮LED的方法
查看>>
豆瓣电影api
查看>>
BufferedInputStream和FileInputStream的区别
查看>>
二阶段之六
查看>>