帝国论坛 → 帝国网站管理系统交流区 → 采集使用交流 → 如何防止采集对方站点 被屏蔽IP(WC一定要来说两句） 【本版专题贴子】  
主题：如何防止采集对方站点 被屏蔽IP(WC一定要来说两句） [加入收藏夹]   

cnid
用户头衔：探花

精华贴   ：0
发贴数   ：2746
经验值   ：9977
注册时间：2007-01-10
信息 搜索 好友 发送悄悄话 【精益求精－帝国网站管理系统7.5正式版开源发布】   [第 1 楼]
如何防止采集对方站点 被屏蔽IP(WC一定要来说两句）
前两天 采集一个站点 结果被对方的反采集 给屏蔽IP了
幸亏我有一个备用站点 IP 不同
为了珍惜这最后一次机会 我们分析一下原因 以免再次被屏蔽IP

各位高人的意见是 对方采用的是  

"如果一个IP一分钟内访问的频率过多，判断为采集,自动封闭"


我的想法是采集是因为短时间内太快 那么我把时间拉长 采集频率降低 也就是慢采集咯，是不是可以避免被屏蔽？  


那么以下这些项目 该怎么给数值比较保险？

每组列表采集个数： 每组采集 ？ 个列表页(防止采集超时)  
每组信息采集个数： 每组采集 ？ 个信息页(防止采集超时)
每组入库数： 每组入 ？  条记录(防止入库超时)  
每组采集时间间隔 ？ 秒 (0为连续采集)

[该贴被修改 2 次，最后修改时间 2008-05-08 22:33:38 ]


2008-05-08 22:25:24 已设置保密 顶部 回复 引用 报告 编辑 删除

imagine
用户头衔：进士

精华贴   ：1
发贴数   ：1520
经验值   ：3700
注册时间：2007-07-27
信息 搜索 好友 发送悄悄话 【免费开源－EBMA系统：更安全的MYSQL管理和备份系统】   [第 2 楼]

换ip吧 打一枪换一个地方


高速低价靠谱美国空间 每月1元
2008-05-09 06:26:11 已设置保密 顶部 回复 引用 报告 编辑 删除

cnid
用户头衔：探花

精华贴   ：0
发贴数   ：2746
经验值   ：9977
注册时间：2007-01-10
信息 搜索 好友 发送悄悄话 【精益求精－帝国网站管理系统7.5正式版开源发布】   [第 3 楼]

原帖由 imagine 于 2008-05-09 06:26:11 发表
换ip吧 打一枪换一个地方


就怕采集了一点点 就给封IP了    
所以要慢慢的来采



2008-05-09 09:26:46 已设置保密 顶部 回复 引用 报告 编辑 删除

ruixing
用户头衔：书生

精华贴   ：0
发贴数   ：99
经验值   ：255
注册时间：2008-04-01
信息 搜索 好友 发送悄悄话 【免费开源－EBMA系统：更安全的MYSQL管理和备份系统】   [第 4 楼]

唉，怎么这么多广告啊


瑞星2008
2008-05-09 21:25:08 已设置保密 顶部 回复 引用 报告 编辑 删除

qq-fantizi
用户头衔：书生

精华贴   ：0
发贴数   ：59
经验值   ：118
注册时间：2008-03-29
信息 搜索 好友 发送悄悄话 【精益求精－帝国网站管理系统7.5正式版开源发布】   [第 5 楼]

站长站就是人多


qq繁体字
2008-05-10 08:48:01 已设置保密 顶部 回复 引用 报告 编辑 删除

快速回复
内容

表情
使用EBB代码 使用smile代码 显示签名 自动分析url 自动分析img
     【进入高级模式】   (按 Ctrl+Enter 直接提交)
    顶部  加入收藏夹
关于帝国 | 广告服务 | 联系我们 | 法律声明 | 隐私条款 | 许可协议
Powered by： EBB Version 2.2.1