企业官网建设流程全解析

域名备案 填写网站信息吗,微信发布wordpress,wordpress建站简单吗,怎么自己做微网站文章目录 1 课题背景2 数据爬取2.1 爬虫简介2.2 房价爬取 3 数据可视化分析3.1 ECharts3.2 相关可视化图表 #x1f9ff; 选题指导, 项目分享#xff1a;见文末 1 课题背景 房地产是促进我国经济持续增长的基础性、主导性产业。如何了解一个城市的房价的区域分布#xff0…文章目录1 课题背景2 数据爬取2.1 爬虫简介2.2 房价爬取3 数据可视化分析3.1 ECharts3.2 相关可视化图表选题指导, 项目分享见文末1 课题背景房地产是促进我国经济持续增长的基础性、主导性产业。如何了解一个城市的房价的区域分布或者不同的城市房价的区域差异。如何获取一个城市不同板块的房价数据本项目利用Python实现某一城市房价相关信息的爬取并对爬取的原始数据进行数据清洗存储到数据库中利用pyechart库等工具进行可视化展示。2 数据爬取2.1 爬虫简介网络爬虫是一种按照一定的规则自动地抓取万维网信息的程序或者脚本。爬虫对某一站点访问如果可以访问就下载其中的网页内容并且通过爬虫解析模块解析得到的网页链接把这些链接作为之后的抓取目标并且在整个过程中完全不依赖用户自动运行。若不能访问则根据爬虫预先设定的策略进行下一个 URL的访问。在整个过程中爬虫会自动进行异步处理数据请求返回网页的抓取数据。在整个的爬虫运行之前用户都可以自定义的添加代理伪 装 请求头以便更好地获取网页数据。爬虫流程图如下实例代码# get方法实例importrequests#先导入爬虫的库不然调用不了爬虫的函数responserequests.get(http://httpbin.org/get)#get方法print(response.status_code)#状态码print(response.text)2.2 房价爬取累计爬取链家深圳二手房源信息累计18906条爬取各个行政区房源信息数据保存为DataFrame相关代码frombs4importBeautifulSoupimportpandasaspdfromtqdmimporttqdmimportmathimportrequestsimportlxmlimportreimporttime area_dic{罗湖区:luohuqu,福田区:futianqu,南山区:nanshanqu,盐田区:yantianqu,宝安区:baoanqu,龙岗区:longgangqu,龙华区:longhuaqu,坪山区:pingshanqu}# 加个header以示尊敬headers{User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36,Referer:https://sz.lianjia.com/ershoufang/}# 新建一个会话sessrequests.session()sess.get(https://sz.lianjia.com/ershoufang/,headersheaders)# url示例https://sz.lianjia.com/ershoufang/luohuqu/pg2/urlhttps://sz.lianjia.com/ershoufang/{}/pg{}/# 当正则表达式匹配失败时返回默认值errifdefre_match(re_pattern,string,errifNone):try:returnre.findall(re_pattern,string)[0].strip()exceptIndexError:returnerrif# 新建一个DataFrame存储信息datapd.DataFrame()forkey_,value_inarea_dic.items():# 获取该行政区下房源记录数start_urlhttps://sz.lianjia.com/ershoufang/{}/.format(value_)htmlsess.get(start_url).text house_numre.findall(共找到span (.*?) /span套.*二手房,html)[0].strip()print({}: 二手房源共计「{}」套.format(key_,house_num))time.sleep(1)# 页面限制 每个行政区只能获取最多100页共计3000条房源信息total_pageint(math.ceil(min(3000,int(house_num))/30.0))foriintqdm(range(total_page),desckey_):htmlsess.get(url.format(value_,i1)).text soupBeautifulSoup(html,lxml)info_collectsoup.find_all(class_info clear)forinfoininfo_collect:info_dic{}# 行政区info_dic[area]key_# 房源的标题info_dic[title]re_match(target_blank(.*?)/a!--,str(info))# 小区名info_dic[community]re_match(xiaoqu.*?target_blank(.*?)/a,str(info))# 位置info_dic[position]re_match(a href.*?target_blank(.*?)/a.*?classaddress,str(info))# 税相关如房本满5年info_dic[tax]re_match(classtaxfree(.*?)/span,str(info))# 总价info_dic[total_price]float(re_match(classtotalPricespan(.*?)/span万,str(info)))# 单价info_dic[unit_price]float(re_match(data-price(.*?),str(info)))# 匹配房源标签信息通过|切割# 包括面积朝向装修等信息iconsre.findall(classhouseIcon/span(.*?)/div,str(info))[0].strip().split(|)info_dic[hourseType]icons[0].strip()info_dic[hourseSize]float(icons[1].replace(平米,))info_dic[direction]icons[2].strip()info_dic[fitment]icons[3].strip()# 存入DataFrameifdata.empty:datapd.DataFrame(info_dic,index[0])else:datadata.append(info_dic,ignore_indexTrue)爬取过程3 数据可视化分析3.1 EChartsEChartsEnterprise Charts是百度开源的数据可视化工具底层依赖轻量级Canvas库ZRender。兼容了几乎全部常用浏览器的特点使它可广泛用于PC客户端和手机客户端。ECharts能辅助开发者整合用户数据创新性的完成个性化设置可视化图表。支持折线图区域图、柱状图条状图、散点图气泡图、K线图、饼图环形图等通过导入 js 库在 Java Web 项目上运行。python安装pip install pyecharts3.2 相关可视化图表房源面积-总价散点图scatter(Scatter(init_optsopts.InitOpts(themedark)).add_xaxis(data[hourseSize]).add_yaxis(房价,data[total_price]).set_series_opts(label_optsopts.LabelOpts(is_showFalse),markpoint_optsopts.MarkPointOpts(data[opts.MarkPointItem(type_max,name最大值),])).set_global_opts(legend_optsopts.LegendOpts(is_showFalse),title_optsopts.TitleOpts(title深圳二手房 总价-面积 散点图),xaxis_optsopts.AxisOpts(name面积,# 设置坐标轴为数值类型type_value,# 不显示分割线splitline_optsopts.SplitLineOpts(is_showFalse)),yaxis_optsopts.AxisOpts(name总价,name_locationmiddle,# 设置坐标轴为数值类型type_value,# 默认为False表示起始为0is_scaleTrue,splitline_optsopts.SplitLineOpts(is_showFalse),),visualmap_optsopts.VisualMapOpts(is_showTrue,type_color,min_100,max_1000)))scatter.render_notebook()各行政区均价tempdata.groupby([area])[unit_price].mean().reset_index()data_pair[(row[area],round(row[unit_price]/10000,1))for_,rowintemp.iterrows()]map_(Map(init_optsopts.InitOpts(themedark)).add(二手房均价,data_pair,深圳,is_roamFalse).set_series_opts(label_optsopts.LabelOpts(is_showTrue)).set_global_opts(title_optsopts.TitleOpts(title深圳各行政区二手房均价),legend_optsopts.LegendOpts(is_showFalse),tooltip_optsopts.TooltipOpts(formatter{b}:{c}万元),visualmap_optsopts.VisualMapOpts(min_3,max_10)))map_.render_notebook()均价最高的10个地段tempdata.groupby([position])[unit_price].mean().reset_index()data_pairsorted([(row[position],round(row[unit_price]/10000,1))for_,rowintemp.iterrows()],keylambdax:x[1],reverseTrue)[:10]bar(Bar(init_optsopts.InitOpts(themedark)).add_xaxis([x[0]forxindata_pair]).add_yaxis(二手房均价,[x[1]forxindata_pair]).set_series_opts(label_optsopts.LabelOpts(is_showTrue,font_styleitalic),itemstyle_optsopts.ItemStyleOpts(colorJsCode(new echarts.graphic.LinearGradient(0, 1, 0, 0, [{ offset: 0, color: rgb(0,206,209) }, { offset: 1, color: rgb(218,165,32) }])))).set_global_opts(title_optsopts.TitleOpts(title深圳二手房均价TOP 10地段),legend_optsopts.LegendOpts(is_showFalse),tooltip_optsopts.TooltipOpts(formatter{b}:{c}万元)))bar.render_notebook()户型分布tempdata.groupby([hourseType])[area].count().reset_index()data_pairsorted([(row[hourseType],row[area])for_,rowintemp.iterrows()],keylambdax:x[1],reverseTrue)[:10]pie(Pie(init_optsopts.InitOpts(themedark)).add(,data_pair,radius[30%,75%],rosetyperadius).set_global_opts(title_optsopts.TitleOpts(title深圳二手房 户型分布),legend_optsopts.LegendOpts(is_showFalse),).set_series_opts(label_optsopts.LabelOpts(formatter{b}: {d}%)))pie.render_notebook()词云图word_list[]stop_words[花园,业主,出售]stringstr(.join([iforiindata[title]ifisinstance(i,str)]))wordspsg.cut(string)forxinwords:iflen(x.word)1:passelifx.flagin(m,x):passelifx.wordinstop_words:passelse:word_list.append(x.word)data_paircollections.Counter(word_list).most_common(100)wc(WordCloud().add(,data_pair,word_size_range[20,100],shapetriangle).set_global_opts(title_optsopts.TitleOpts(title房源描述词云图)))wc.render_notebook() 项目分享:大家可自取用于参考学习获取方式见文末!