1、给网站添加一个sitemap.xml文件,这是蜘蛛抓取网站内容的最常用方法;
2、按照网站的结构,尽量将网站的页面放置到目录深层次的位置,这样蜘蛛抓取时会更方便;
3、确保网站的良好连接,尽量减少因网站外链失效而影响抓取;
4、加强对网站内容的更新,及时增加新的内容或修改已有内容;
5、在网站页面上合理添加关键词,关键词的准确性和数量都会影响蜘蛛的抓取;
6、在网站入口及其他位置添加友好的链接,可以向其他网站和社交网站提供链接,以增加网站的权重;
7、及时通知搜索引擎爬虫,让其知道网站的更新,以加快索引的进度。