为了账号安全,请及时绑定邮箱和手机立即绑定

用spark分析北京积分落户数据,按用户年龄、生肖、星座分析

#导入积分落户人员名单数据
sqlContext = SQLContext(sc)
df = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('jifenluohu.csv')
#print(df)
df.createOrReplaceTempView("jflh")
#df.show()
#按年龄分组
spark.sql("select age,count(*) as num from jflh group by age order by num desc").show(30)
spark.sql("select age,count(*) as num from jflh group by age order by age asc").show(30)
#按生肖分组统计
spark.sql("select zoo,count(*) as num from jflh group by zoo order by num desc").show()
#按星座分组统计
spark.sql("select star,count(*) as num from jflh group by star order by num desc").show()
#按姓分组统计
spark.sql("select substring(name,0,1) as xing,count(*) as num from jflh group by xing order by num desc").show(60)
 
 
+---+---+
|age|num|
+---+---+
| 42|813|
| 41|799|
| 40|773|
| 43|757|
| 44|586|
| 39|507|
| 45|507|
| 46|378|
| 38|302|
| 47|238|
| 37|162|
| 36|109|
| 35| 39|
| 34| 13|
| 49|  9|
| 54|  5|
| 48|  4|
| 51|  4|
| 33|  3|
| 52|  3|
| 53|  2|
| 57|  1|
| 50|  1|
| 55|  1|
| 58|  1|
| 59|  1|
| 60|  1|
+---+---+
 
+---+---+
|age|num|
+---+---+
| 33|  3|
| 34| 13|
| 35| 39|
| 36|109|
| 37|162|
| 38|302|
| 39|507|
| 40|773|
| 41|799|
| 42|813|
| 43|757|
| 44|586|
| 45|507|
| 46|378|
| 47|238|
| 48|  4|
| 49|  9|
| 50|  1|
| 51|  4|
| 52|  3|
| 53|  2|
| 54|  5|
| 55|  1|
| 57|  1|
| 58|  1|
| 59|  1|
| 60|  1|
+---+---+
 
+---+---+
|zoo|num|
+---+---+
|  龙|818|
|  蛇|801|
|  马|776|
|  兔|758|
|  虎|586|
|  牛|511|
|  羊|511|
|  鼠|392|
|  猴|303|
|  猪|278|
|  鸡|171|
|  狗|114|
+---+---+
+----+---+
|star|num|
+----+---+
|  天蝎|636|
|  天秤|581|
|  处女|547|
|  狮子|530|
|  射手|512|
|  水瓶|491|
|  巨蟹|480|
|  摩羯|467|
|  金牛|463|
|  双鱼|452|
|  白羊|443|
|  双子|417|
+----+---+
 
+----+---+
|xing|num|
+----+---+
|   张|541|
|   王|531|
|   李|462|
|   刘|376|
|   陈|205|
|   杨|193|
|   赵|166|
|   孙|132|
|   郭| 95|
|   徐| 95|
|   马| 89|
|   周| 83|
|   吴| 82|
|   黄| 76|
|   高| 75|
|   朱| 61|
|   胡| 60|
|   宋| 59|
|   于| 58|
|   郑| 54|
|   董| 52|
|   许| 44|
|   任| 42|
|   韩| 42|
|   姜| 41|
|   冯| 41|
|   田| 39|
|   杜| 38|
|   崔| 37|
|   梁| 36|
|   曹| 35|
|   罗| 35|
|   魏| 33|
|   谢| 33|
|   何| 32|
|   付| 32|
|   吕| 32|
|   薛| 31|
|   金| 31|
|   谭| 30|
|   林| 29|
|   闫| 29|
|   蔡| 28|
|   苏| 27|
|   肖| 27|
|   沈| 26|
|   蒋| 26|
|   唐| 26|
|   孟| 26|
|   石| 25|
|   彭| 25|
|   叶| 25|
|   袁| 24|
|   尹| 24|
|   贾| 24|
|   邓| 24|
|   丁| 22|
|   范| 22|
|   汪| 22|
|   常| 21|
+----+---+
only showing top 60 rows

点击查看更多内容
1人点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消