企业官网建设流程全解析

网站开发导航栏,网页设计实训报告模板图片,网站建设管理中se是什么意思,用个人的信息备案网站吗SEO新手必看#xff1a;7天搞懂Google蜘蛛抓取原理#xff08;附避坑指南#xff09;SEO新手必看#xff1a;7天搞懂Google蜘蛛抓取原理#xff08;附避坑指南#xff09;Google蜘蛛到底在你网站上干了啥#xff1f;爬虫这玩意儿其实没那么神秘Google蜘蛛怎么发现你的网…SEO新手必看7天搞懂Google蜘蛛抓取原理附避坑指南SEO新手必看7天搞懂Google蜘蛛抓取原理附避坑指南Google蜘蛛到底在你网站上干了啥爬虫这玩意儿其实没那么神秘Google蜘蛛怎么发现你的网页它真的会“读”你整个页面吗robots.txt你以为你在拦它其实它早绕过去了渲染 vs 抓取SPA网站的噩梦结构化数据是加分项不是救命稻草常见翻车现场JS加载内容抓不到、404满天飞、重复内容泛滥遇到抓取异常先别慌打开Search Console看看让蜘蛛爱上你网站的骚操作你以为优化完就完了蜘蛛也在进化最后提醒一句别跟算法谈恋爱SEO新手必看7天搞懂Google蜘蛛抓取原理附避坑指南友情提示本文全程碎碎念代码比字多建议收藏后慢慢啃。看完还不会那……再来一遍Google蜘蛛到底在你网站上干了啥别再瞎猜了它不是来喝茶的先说句掏心窝子的我第一次把网站上线凌晨三点刷新Search Console看见“已抓取 0 页”当场心态炸裂以为Google把我站拉黑了。结果第二天醒来发现是robots.txt里顺手写了个Disallow: /活生生把自己关进小黑屋——那感觉就像穿着新球鞋踩狗屎酸爽得无法呼吸。Google蜘蛛官方叫Googlebot其实就是一个用C写的“莫得感情”的下载器每天到处蹭吃蹭喝看见URL就丢进待办队列crawl frontier能抓就抓不能抓就记小本本回头再来。它才不管你UI多炫酷、banner多精致它只认两件事这页面我能下载吗这页面里有啥我能看懂的文本/链接所以别再幻想蜘蛛会“完整体验”你的SPA动画它连你花2000块买的swiper插件都懒得滑一下真的。爬虫这玩意儿其实没那么神秘说白了就是个“勤快又死板”的访客要理解蜘蛛先给它画个画像24h在线不拿工资自带狗粮只支持HTTP/HTTPSWebSocket它直接当空气支持HTML、部分JS、CSS但只拿来做渲染参考不拿来排名不会填表单、不会点按钮、不会扫码登录内存有限超过几兆的HTML直接截断后面内容当它不存在代码层面它就是一个超级简化版浏览器把网络层、HTML解析器、调度器、去重模块拼在一起跑在Google几十万台服务器上。下面给你看一段“玩具级”爬虫的Python骨架让你瞬间祛魅# toy_crawler.pyimportrequests,re,timefromurllib.parseimporturljoin,urlparse seedhttps://example.comseenset()todo[seed]HEADERS{User-Agent:Googlebot/2.1 (http://www.google.com/bot.html)}defis_html(resp):returntext/htmlinresp.headers.get(content-type,)whiletodo:urltodo.pop(0)ifurlinseen:continuetry:resprequests.get(url,headersHEADERS,timeout10)exceptExceptionase:print(抓取失败,url,e)continueseen.add(url)ifnotis_html(resp):continuehtmlresp.text# 暴力提取链接linksre.findall(rhref[\](.*?)[\],html,re.IGNORECASE)forrawinlinks:fullurljoin(url,raw)ifurlparse(full).netlocurlparse(seed).netloc:todo.append(full)# 假装做SEO把title打印出来titlere.search(rtitle[^]*(.*?),html,re.IGNORECASE)print(已抓取 |,title.group(1)iftitleelse无标题,|,url)time.sleep(1)# 礼貌爬别锤爆服务器跑起来后你会发现嘿这不就是Googlebot的幼儿园版本嘛真实生产环境只是再给它加上分布式队列、去重BloomFilter、礼貌调度、反垃圾、JS渲染、HTTP/2、缓存、压缩、DNS预取、机器学习优先级……此处省略一万字Google蜘蛛怎么发现你的网页sitemap、外链、内部跳转——三条命脉sitemap.xml最老实的方式相当于把菜单双手奉上。标准姿势?xml version1.0 encodingUTF-8?urlsetxmlnshttp://www.sitemaps.org/schemas/sitemap/0.9urllochttps://juejin.cn/post/7260343623455674405/loclastmod2023-08-21/lastmod/url!-- 下面省略一万条 --/urlset提交后Search Console会告诉你“已发现 1245 条网址”但别高兴太早这只是“发现”不等于“抓取”更不等于“索引”。外链别人站上的a href你的页面就像给蜘蛛递小纸条大哥这儿有新鲜货所以新站上线最快捷的“被看见”办法就是去高质量论坛/博客/目录扔链接——当然要遵守对方规矩别硬塞否则被人工举报就凉了。内部跳转蜘蛛进首页后如果内部死链一堆它爬两层就迷路直接放弃。保持每个页面至少有一个静态a可点是底线要求。很多小伙伴用React Router写单页结果上线全是#/哈希路由蜘蛛直接当锚点忽略哭都没地儿哭。它真的会“读”你整个页面吗别做梦了它只关心它想看的部分Googlebot的“阅读”顺序大致如下① 下载HTML → ② 提取a标签 → ③ 看title、meta namedescription、h1→ ④ 把正文分块tokenize→ ⑤ 把链接丢回队列 → ⑥ 看有没有结构化数据 → ⑦ 收工下班看到没它连你精心写的第7屏文案都懒得滑下去。为了让关键信息不被截断记住“三在前”原则核心关键词放title前50字符主题句放h1正文前200字出现主关键词一次另外别用JS懒加载重要内容。Google虽然有两波抓取HTML一波、渲染一波但第二波的配额少得多且滞后数天甚至数周。下面给你演示一个“作死”案例!-- 反面教材重要内容全靠JS吐 --dividapp/divscriptdocument.getElementById(app).innerHTMLh1全网最低价的iPhone15/h1p只要4999买不了吃亏/p;/script蜘蛛第一波来抓看到的就是个空div内心OS这啥破站浪费我电费。正确姿势!-- 正面教材直出补充 --h1全网最低价的iPhone15/h1p只要4999买不了吃亏/pdividapp/div先把饭盛好再慢慢上菜蜘蛛吃得开心你也省心。robots.txt你以为你在拦它其实它早绕过去了但写错一行真能让你网站“人间蒸发”robots.txt本质是“君子协议”只有遵守规则的蜘蛛才会看。国内某些流氓爬虫连文件都懒得下载直接硬刚。但Googlebot是“好学生”你让它别进它真不进。于是很多新手手一抖User-agent: * Disallow: /直接全站屏蔽第二天搜索里就找不到自己了那叫一个酸爽。更隐蔽的翻车是大小写写错User-agent: Googlebot Disallow: /search想拦的是/search?keyword这类结果页但Googlebot看的是大小写敏感的/Search结果没拦住照样收录SEO同事以为你偷懒锅从天上来。推荐最小可用模板拿去抄User-agent: * Allow: / Disallow: /api/ Disallow: /admin/ Disallow: /private/ Sitemap: https://yourdomain.com/sitemap.xml上线前用Search Console的robots.txt测试工具点一下能救命。渲染 vs 抓取SPA网站的噩梦Vue/React项目上线前不测这个等于裸奔Googlebot的“渲染”流程先抓原始HTML纯静态把需要渲染的URL丢进队列Render Queue用基于Chrome的无头渲染服务跑一遍等JS执行完再拿最终DOM分析听起来很美好但配额有限且超时仅5秒。你的SPA如果打包体积10 M、接口拖3秒基本宣判死刑。实测工具安排Search Console → URL检查 → 测试实际抓取Chrome DevTools → 右键“查看网页源代码”看第一波→ 再右键“检查”看渲染后开源利器rendertron、Puppeteer prerender插件下面给你一份“零配置”预渲染脚本基于Puppeteer适合小站// prerender.jsconstpuppeteerrequire(puppeteer);constfsrequire(fs);constpathrequire(path);consturls[/,/about,/product];constHOSThttp://localhost:3000;constOUTDIRdist/prerender;(async(){constbrowserawaitpuppeteer.launch();for(constuofurls){constpageawaitbrowser.newPage();awaitpage.goto(HOSTu,{waitUntil:networkidle2});consthtmlawaitpage.content();constfilepath.join(OUTDIR,(u/?index:u).html);fs.mkdirSync(path.dirname(file),{recursive:true});fs.writeFileSync(file,html);console.log(预渲染完成:,file);}awaitbrowser.close();})();跑完后把生成的静态HTML塞到Nginx蜘蛛来了一看嘿有料直接放行。Next.js、Nuxt这些“全家桶”已经内置了generate或ssr别傻乎乎地npm run build完直接扔静态文件记得开fallback: blocking让首次访问走SSR后续再走客户端性能与SEO两开花。结构化数据是加分项不是救命稻草别堆一堆Schema以为就能上首页很多运营小伙伴听了几节培训回来就在页面狂塞JSON-LDscripttypeapplication/ldjson{context:https://schema.org,type:WebSite,name:我的大宝贝商城,potentialAction:{type:SearchAction,target:https://aa.com/search?q{search_term_string},query-input:required namesearch_term_string}}/script然后问为啥还没排名老兄结构化数据只是“说明书”告诉蜘蛛“我是商品、我是文章、我有评分”但它不解决“内容烂、外链0、加载慢”这些核心问题。正确姿势先保证TDK、速度、移动端合格再按需加Schema商品Product、文章Article、面包屑BreadcrumbList、FAQ用Rich Results Test校验确保无红线另外别作假把“5分好评999”刷进Schema被举报后站点直接降权哭都来不及。常见翻车现场JS加载内容抓不到、404满天飞、重复内容泛滥这些坑我替你踩过了血泪经验JS吐主体上文说了5秒渲染超时直接抓瞎。解决SSR/预渲染/静态生成三选一。接口返回404也200前端为了好看把404页面套在布局里接口返200蜘蛛以为页面存在结果全站重复“软404”。正确做法路由不匹配直接返404状态码Nginx示例location / { try_files $uri $uri/ fallback; } location fallback { return 404; }带参数重复/product?id1与/product?id1fromwx内容一毛一样蜘蛛却当两个URL权重分散。加canonicallinkrelcanonicalhrefhttps://aa.com/product?id1分页死循环某些“加载更多”没做边界蜘蛛跟到?page9999还在出内容浪费抓取配额。解决给末页返404或加rel“next”/prev提示结束。遇到抓取异常先别慌打开Search Console看看90%的问题日志里早就写了答案Search Console → 设置 → 抓取统计报告能看到“主机状态”“ robots 禁止数”“5xx 比例”。如果5xx突增先查服务器是不是把Google IP当攻击封了CDN回源超时数据库慢查询把CPU打满Google官方IP段66.249.64.0/19 66.249.96.0/20Nginx加白名单geo $google { default 0; 66.249.64.0/19 1; 66.249.96.0/20 1; } if ($google) { set $limit_rate 0; }另外把抓取日志拉到本地用简单的Shell一行统计awk$9400 {print $7}access.log|sort|uniq-c|sort-nr|head一眼就能看到哪些URL天天返500/404对症下药用不了五分钟。让蜘蛛爱上你网站的骚操作比如预渲染、关键内容放前面、减少重定向跳转预渲染上面Puppeteer脚本已给不再啰嗦。关键内容前置商品详情页把“价格、库存、标题”老老实实放HTML别等JS算完再吐。蜘蛛一看信息全五星好评。减少重定向链老域名跳新域名再来一次HTTPS跳一次再带www跳一次三层301蜘蛛直接不耐烦。把跳转合并成一次保留权重还省抓取配额。Early Hints支持HTTP/2的服务器可以发103 Early Hints提前告诉蜘蛛样式走/main.cssJS走/app.js让它并行去抓提升渲染速度。Nginx 1.25已支持add_header Link /main.css; relpreload; asstyle always;妙用304内容没变就别让蜘蛛重新下载省带宽。ETag Last-Modfied整上// Node示例constetag123456;constlastModifiedWed, 21 Aug 2023 08:00:00 GMT;if(req.headers[if-none-match]etag||req.headers[if-modified-since]lastModified){res.status(304).end();return;}res.setHeader(ETag,etag);res.setHeader(Last-Modified,lastModified);你以为优化完就完了蜘蛛也在进化去年还能用的技巧今年可能直接被无视2021年Google推出“Page Experience”更新把CLS、LCP、FID现在变INP正式算进排名。于是大伙疯狂压缩图片、上前端框架最新版结果2023年又把“Helpful Content”权重拉高自动生成文章站集体翻车。一句话别钻漏洞踏实做内容。蜘蛛越来越像“产品经理”不仅看技术指标还看用户行为点进你的页面两秒就跳回搜索结果那说明内容不匹配下次不给你排名。所以把抓取、索引、排名想成谈恋爱三部曲抓取让TA愿意见你技术合格索引让TA记得你内容有价值排名让TA把你置顶体验口碑外链技术只是门票内容才是长情。最后提醒一句别跟算法谈恋爱它今天宠你明天就能把你打入冷宫见过太多站靠灰帽一口气冲到首页老板喜提特斯拉结果一次核心更新流量膝盖斩团队原地解散。SEO的真谛不是“骗过”算法而是“理解”算法背后的目的让用户最快找到最靠谱的信息。把技术基础打牢把内容写成人话把用户体验做成“丝滑”蜘蛛自然天天来打卡流量也会像前任的微信消息一样——甩都甩不掉。好了碎碎念到此为止代码也塞得够多了。去喝杯奶茶然后打开编辑器把你那破站好好拾掇拾掇别让蜘蛛再来空手而归。祝你七天之后Search Console里一片绿油油的“已索引”老板看了笑出猪叫给你加工资欢迎来到我的博客很高兴能够在这里和您见面希望您在这里可以感受到一份轻松愉快的氛围不仅可以获得有趣的内容和知识也可以畅所欲言、分享您的想法和见解。推荐DTcode7的博客首页。一个做过前端开发的产品经理经历过睿智产品的折磨导致脱发之后励志要翻身农奴把歌唱一边打入敌人内部一边持续提升自己为我们广大开发同胞谋福祉坚决抵制睿智产品折磨我们码农兄弟专栏系列点击解锁学习路线(点击解锁知识定位《微信小程序相关博客》持续更新中~结合微信官方原生框架、uniapp等小程序框架记录请求、封装、tabbar、UI组件的学习记录和使用技巧等《AIGC相关博客》持续更新中~AIGC、AI生产力工具的介绍例如stable diffusion这种的AI绘画工具安装、使用、技巧等总结《HTML网站开发相关》《前端基础入门三大核心之html相关博客》前端基础入门三大核心之html板块的内容入坑前端或者辅助学习的必看知识《前端基础入门三大核心之JS相关博客》前端JS是JavaScript语言在网页开发中的应用负责实现交互效果和动态内容。它与HTML和CSS并称前端三剑客共同构建用户界面。通过操作DOM元素、响应事件、发起网络请求等JS使页面能够响应用户行为实现数据动态展示和页面流畅跳转是现代Web开发的核心《前端基础入门三大核心之CSS相关博客》介绍前端开发中遇到的CSS疑问和各种奇妙的CSS语法同时收集精美的CSS效果代码用来丰富你的web网页《canvas绘图相关博客》Canvas是HTML5中用于绘制图形的元素通过JavaScript及其提供的绘图API开发者可以在网页上绘制出各种复杂的图形、动画和图像效果。Canvas提供了高度的灵活性和控制力使得前端绘图技术更加丰富和多样化《Vue实战相关博客》持续更新中~详细总结了常用UI库elementUI的使用技巧以及Vue的学习之旅《python相关博客》持续更新中~Python简洁易学的编程语言强大到足以应对各种应用场景是编程新手的理想选择也是专业人士的得力工具《sql数据库相关博客》持续更新中~SQL数据库高效管理数据的利器学会SQL轻松驾驭结构化数据解锁数据分析与挖掘的无限可能《算法系列相关博客》持续更新中~算法与数据结构学习总结通过JS来编写处理复杂有趣的算法问题提升你的技术思维《IT信息技术相关博客》持续更新中~作为信息化人员所需要掌握的底层技术涉及软件开发、网络建设、系统维护等领域的知识《信息化人员基础技能知识相关博客》无论你是开发、产品、实施、经理只要是从事信息化相关行业的人员都应该掌握这些信息化的基础知识可以不精通但是一定要了解避免日常工作中贻笑大方《信息化技能面试宝典相关博客》涉及信息化相关工作基础知识和面试技巧提升自我能力与面试通过率扩展知识面《前端开发习惯与小技巧相关博客》持续更新中~罗列常用的开发工具使用技巧,如 Vscode快捷键操作、Git、CMD、游览器控制台等《photoshop相关博客》持续更新中~基础的PS学习记录含括PPI与DPI、物理像素dp、逻辑像素dip、矢量图和位图以及帧动画等的学习总结日常开发办公生产【实用工具】分享相关博客》持续更新中~分享介绍各种开发中、工作中、个人生产以及学习上的工具丰富阅历给大家提供处理事情的更多角度学习了解更多的便利工具如Fiddler抓包、办公快捷键、虚拟机VMware等工具吾辈才疏学浅摹写之作恐有瑕疵。望诸君海涵赐教。望轻喷嘤嘤嘤非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。愿斯文对汝有所裨益纵其简陋未及渊博亦足以略尽绵薄之力。倘若尚存阙漏敬请不吝斧正俾便精进