搜索引擎蜘蛛模拟器
本人打算使用浏览器来模拟各大蜘蛛来看爬行我的网站的结果,而蜘蛛与普通用户访问最大的区别就在于http的request的header的
HTTP_AGENT_USER
的不同,详细关于这部分的信息,请参看我的另外一篇博文:
服务器端如何判断访问来自用户还是搜索引擎的蜘蛛
而我发现Firefox, Chrome, Safari都没办法让你更改这个值,你也就没法模拟,因此我打算自己写一个出来,供大家使用,写完后我会共享出来。如果大家有需要的,留言给我,发给你。
代码部分已经完成,可以使用,为了方便使用,我现在添加界面部分。
版权所有,禁止转载. 如需转载,请先征得博主的同意,并且表明文章出处,否则按侵权处理.