帝国论坛 → 帝国网站管理系统交流区 → 采集使用交流 → 怎么才能防止重复采集,入库？ 【本版专题贴子】  
 1/2     1 2 ›› ›|
主题：怎么才能防止重复采集,入库？ [加入收藏夹]   

dijiada
用户头衔：书生

精华贴   ：0
发贴数   ：68
经验值   ：249
注册时间：2007-03-13
信息 搜索 好友 发送悄悄话 【精益求精－帝国网站管理系统7.5正式版开源发布】   [第 1 楼]
怎么才能防止重复采集,入库？
怎么才能防止重复采集,入库？
过滤相似： 不采集标题相似超过  字的信息[与入库信息比较](如不限制请填"0")
  不采集标题完全相同的信息(与入库信息比较)  
   好像没有多大用处


www.kahome.net
www.lureyou.com
2007-08-23 19:09:56 已设置保密 顶部 回复 引用 报告 编辑 删除

wm_chief
用户头衔：管理员

精华贴   ：21
发贴数   ：48941
经验值   ：114161
注册时间：2002-10-30
信息 搜索 好友 发送悄悄话 【免费开源－EBMA系统：更安全的MYSQL管理和备份系统】   [第 2 楼]

同一链接是不重复采集的


[零基础入门教程] [模板制作教程] [采集使用教程]
2007-08-23 20:23:36 已设置保密 顶部 回复 引用 报告 编辑 删除

lfcyk
用户头衔：进士

精华贴   ：0
发贴数   ：912
经验值   ：3431
注册时间：2007-07-31
信息 搜索 好友 发送悄悄话 【精益求精－帝国网站管理系统7.5正式版开源发布】   [第 3 楼]

没看到有同一链接不重复采集,在哪里设?

同一标题相同的是有看到


www.qqfz.cc
2007-09-09 15:20:08 已设置保密 顶部 回复 引用 报告 编辑 删除

znxncom
用户头衔：书生

精华贴   ：0
发贴数   ：20
经验值   ：34
注册时间：2007-07-25
信息 搜索 好友 发送悄悄话 【免费开源－EBMA系统：更安全的MYSQL管理和备份系统】   [第 4 楼]

谢谢回复 .


中国迅网,四线主机.ASP+PHP+ASP.NET+ACCESS+MSSQL+MYSQL.
申请空间: http://WWW.ZNXN.COM
在线支付,立即开通,不用等待,全自助式管理,可绑定子目录,免费装网站程序,论坛,博客,CMS,商店程序.
2007-09-09 17:33:32 已设置保密 顶部 回复 引用 报告 编辑 删除

5starsgeneral
用户头衔：嘉宾

精华贴   ：1
发贴数   ：1528
经验值   ：2864
注册时间：2007-06-26
信息 搜索 好友 发送悄悄话 【精益求精－帝国网站管理系统7.5正式版开源发布】   [第 5 楼]

本来就不重复采集的


HTTP://WWW.TMD19.COM
 博客交换链接，EMAIL：xiaodong2009@qq.com
2007-09-15 13:14:22 已设置保密 顶部 回复 引用 报告 编辑 删除

dijiada
用户头衔：书生

精华贴   ：0
发贴数   ：68
经验值   ：249
注册时间：2007-03-13
信息 搜索 好友 发送悄悄话 【免费开源－EBMA系统：更安全的MYSQL管理和备份系统】   [第 6 楼]

原帖由 wm_chief 于 2007-08-23 20:23:36 发表
同一链接是不重复采集的

好像重复了哦，


www.kahome.net
www.lureyou.com
2007-09-16 19:27:41 已设置保密 顶部 回复 引用 报告 编辑 删除

lzymbz
用户头衔：书生

精华贴   ：0
发贴数   ：15
经验值   ：183
注册时间：2009-03-01
信息 搜索 好友 发送悄悄话 【精益求精－帝国网站管理系统7.5正式版开源发布】   [第 7 楼]

会重复的
我采到半截  超时了   然后就有重复的了


我要遨游 http://www.51aou.com
2009-04-04 12:56:33 已设置保密 顶部 回复 引用 报告 编辑 删除

yimome
用户头衔：举人

精华贴   ：0
发贴数   ：233
经验值   ：1110
注册时间：2009-01-08
信息 搜索 好友 发送悄悄话 【免费开源－EBMA系统：更安全的MYSQL管理和备份系统】   [第 8 楼]

了解


帝国cms之家 www.phome123.cn
2009-04-15 21:59:10 已设置保密 顶部 回复 引用 报告 编辑 删除

weixiaobao
用户头衔：书生

精华贴   ：0
发贴数   ：8
经验值   ：26
注册时间：2009-06-01
信息 搜索 好友 发送悄悄话 【精益求精－帝国网站管理系统7.5正式版开源发布】   [第 9 楼]

我的好像也重复了，一共不到4000条记录，中途采集停止了两三次，现在采集的ID到9000多了，看样子像是重复了啊  怎么办呢



2009-06-02 18:08:01 已设置保密 顶部 回复 引用 报告 编辑 删除

eagleer
用户头衔：举人

精华贴   ：0
发贴数   ：345
经验值   ：1126
注册时间：2008-04-23
信息 搜索 好友 发送悄悄话 【免费开源－EBMA系统：更安全的MYSQL管理和备份系统】   [第 10 楼]

我是入库经常变空白，再入一次，那就重复了


www.cyzhe.com
毛绒玩具
十万个为什么
2009-07-10 09:59:56 已设置保密 顶部 回复 引用 报告 编辑 删除
 1/2     1 2 ›› ›|

快速回复
内容

表情
使用EBB代码 使用smile代码 显示签名 自动分析url 自动分析img
     【进入高级模式】   (按 Ctrl+Enter 直接提交)
    顶部  加入收藏夹
关于帝国 | 广告服务 | 联系我们 | 法律声明 | 隐私条款 | 许可协议
Powered by： EBB Version 2.2.1