帝国论坛帝国网站管理系统交流区采集使用交流遇到个超级牛逼的防采集网站!!! 【本版专题贴子】  
主题:遇到个超级牛逼的防采集网站!!! [加入收藏夹]   

w1010b
用户头衔:书生

精华贴   :0
发贴数   :10
经验值   :50
注册时间:2012-03-12
信息 搜索 好友 发送悄悄话 精益求精-帝国网站管理系统7.5正式版开源发布】   [第 1 楼]
遇到个超级牛逼的防采集网站!!!
最近仿了个站,然后去采集另外一个站上的数据,只要规则上一填该网站地址,预览的时候直接崩溃,网站直接挂掉(云主机上的站),要等几分钟才恢复过来。

自己在本机上又是可以采集的,虽然采集到的都是防盗链图片,但是预览也能看到采到网址列表。

这问题让我百事不得其解,是我的虚拟主机地址被列入黑名单了吗?那也该提示“采集页面打不开”啊,为什么直接连网站都挂掉,填其他地址采集都没问题,只要一填含有该域名的地址就出问题,崩掉。
各位大神是否遇到过这种情况,是什么样的设置会让采集者一下崩掉呢?

帝国cms+ngnix+centos环境




2018-05-11 12:03:03 已设置保密 顶部 回复 引用 报告 编辑 删除

w1010b
用户头衔:书生

精华贴   :0
发贴数   :10
经验值   :50
注册时间:2012-03-12
信息 搜索 好友 发送悄悄话 免费开源-EBMA系统:更安全的MYSQL管理和备份系统】   [第 2 楼]

若有大神愿意研究这种情况可以私聊,我提供管理后台地址




2018-05-11 12:04:02 已设置保密 顶部 回复 引用 报告 编辑 删除

ecattle
用户头衔:秀才

精华贴   :0
发贴数   :41
经验值   :346
注册时间:2007-12-29
信息 搜索 好友 发送悄悄话 精益求精-帝国网站管理系统7.5正式版开源发布】   [第 3 楼]

直接开火车吧。



帝国模板、数据采集、数据发布、百度链接自动提交、火车头免登录新闻发布模块、火车头免登录下载发布模块QQ2382391516
2018-05-11 18:27:31 已设置保密 顶部 回复 引用 报告 编辑 删除

yechenluo
用户头衔:书生

精华贴   :0
发贴数   :54
经验值   :297
注册时间:2017-05-31
信息 搜索 好友 发送悄悄话 免费开源-EBMA系统:更安全的MYSQL管理和备份系统】   [第 4 楼]

有可能是采集页面中加入什么屏蔽该域名的js代码,比如判断当前页面url地址是否含有某域名,没有直接咔嚓




2018-10-25 17:02:35 已设置保密 顶部 回复 引用 报告 编辑 删除

saintjordi
用户头衔:书生

精华贴   :0
发贴数   :111
经验值   :229
注册时间:2012-11-02
信息 搜索 好友 发送悄悄话 精益求精-帝国网站管理系统7.5正式版开源发布】   [第 5 楼]

没遇到过这种奇怪的情况。



体育装备-www.verodillan.com
2019-09-15 20:07:05 已设置保密 顶部 回复 引用 报告 编辑 删除

快速回复
内容

表情
使用EBB代码 使用smile代码 显示签名 自动分析url 自动分析img
     【进入高级模式】   (按 Ctrl+Enter 直接提交)
    顶部  加入收藏夹
关于帝国 | 广告服务 | 联系我们 | 法律声明 | 隐私条款 | 许可协议
Powered by: EBB Version 2.2.1