楼(lóu )上说(shuō )的很(hěn )多,我补充一下(xià ),正(zhèng )确(què )的应该叫网络蜘蛛,又称(chēng )爬虫(chóng ),本质是搜索引(yǐn )擎派出(chū )的一个执(zhí )行(háng )抓取(qǔ )任(rèn )务的(de )程序蜘蛛池的本(běn )质是大量(liàng )的(de )网站(zhàn )互(hù )相链接,每个站单(dān )独产生大(dà )量的内容吸(xī )引蜘蛛来爬,几(jǐ )千(qiān )个(gè )网站互链时,可以想象蜘(zhī )蛛的链(liàn )接(jiē )
Copyright © 2008-2018