帝国论坛 → 帝国网站管理系统交流区 → 采集使用交流 → 遇到个超级牛逼的防采集网站!!! 【本版专题贴子】

主题：遇到个超级牛逼的防采集网站!!! [加入收藏夹]

w1010b 用户头衔：书生 精华贴   ：0 发贴数   ：10 经验值   ：50 注册时间：2012-03-12	信息 搜索 好友 发送悄悄话 【精益求精－帝国网站管理系统7.5正式版开源发布】   [第 1 楼]
	遇到个超级牛逼的防采集网站!!! 最近仿了个站，然后去采集另外一个站上的数据，只要规则上一填该网站地址，预览的时候直接崩溃，网站直接挂掉（云主机上的站），要等几分钟才恢复过来。 自己在本机上又是可以采集的，虽然采集到的都是防盗链图片，但是预览也能看到采到网址列表。 这问题让我百事不得其解，是我的虚拟主机地址被列入黑名单了吗？那也该提示“采集页面打不开”啊，为什么直接连网站都挂掉，填其他地址采集都没问题，只要一填含有该域名的地址就出问题，崩掉。 各位大神是否遇到过这种情况，是什么样的设置会让采集者一下崩掉呢？ 帝国cms+ngnix+centos环境
	2018-05-11 12:03:03 已设置保密 顶部 回复 引用 报告 编辑 删除

w1010b 用户头衔：书生 精华贴   ：0 发贴数   ：10 经验值   ：50 注册时间：2012-03-12	信息 搜索 好友 发送悄悄话 【免费开源－EBMA系统：更安全的MYSQL管理和备份系统】   [第 2 楼]
	若有大神愿意研究这种情况可以私聊，我提供管理后台地址
	2018-05-11 12:04:02 已设置保密 顶部 回复 引用 报告 编辑 删除

ecattle 用户头衔：秀才 精华贴   ：0 发贴数   ：41 经验值   ：346 注册时间：2007-12-29	信息 搜索 好友 发送悄悄话 【精益求精－帝国网站管理系统7.5正式版开源发布】   [第 3 楼]
	直接开火车吧。 帝国模板、数据采集、数据发布、百度链接自动提交、火车头免登录新闻发布模块、火车头免登录下载发布模块QQ2382391516
	2018-05-11 18:27:31 已设置保密 顶部 回复 引用 报告 编辑 删除

yechenluo 用户头衔：书生 精华贴   ：0 发贴数   ：54 经验值   ：297 注册时间：2017-05-31	信息 搜索 好友 发送悄悄话 【免费开源－EBMA系统：更安全的MYSQL管理和备份系统】   [第 4 楼]
	有可能是采集页面中加入什么屏蔽该域名的js代码，比如判断当前页面url地址是否含有某域名，没有直接咔嚓
	2018-10-25 17:02:35 已设置保密 顶部 回复 引用 报告 编辑 删除

saintjordi 用户头衔：书生 精华贴   ：0 发贴数   ：111 经验值   ：229 注册时间：2012-11-02	信息 搜索 好友 发送悄悄话 【精益求精－帝国网站管理系统7.5正式版开源发布】   [第 5 楼]
	没遇到过这种奇怪的情况。 体育装备-www.verodillan.com
	2019-09-15 20:07:05 已设置保密 顶部 回复 引用 报告 编辑 删除

快速回复
内容 表情	使用EBB代码 使用smile代码 显示签名 自动分析url 自动分析img
	【进入高级模式】   (按 Ctrl+Enter 直接提交)

顶部  加入收藏夹

关于帝国 | 广告服务 | 联系我们 | 法律声明 | 隐私条款 | 许可协议

Powered by： EBB Version 2.2.1