帝国论坛 → 帝国网站管理系统交流区 → 采集使用交流 → WC大哥、版主、高手，请问，如何实现本地快速入库。（采集审核） 【本版专题贴子】  
主题：WC大哥、版主、高手，请问，如何实现本地快速入库。（采集审核） [加入收藏夹]   

qjw405
用户头衔：书生

精华贴   ：0
发贴数   ：9
经验值   ：47
注册时间：2009-04-13
信息 搜索 好友 发送悄悄话 【精益求精－帝国网站管理系统7.5正式版开源发布】   [第 1 楼]
WC大哥、版主、高手，请问，如何实现本地快速入库。（采集审核）
说明一下：我把某个站全站采集了。
第一：5万条数据之前，入库还算能正常。入库后的数据都是正确的。

第二：采集的目标站，网站结构是一样的，所以，之后采集的数据是没有问题的。

第三：采集的数据全部放在新闻系统里。

第四：还有15万条已经采集的数据没有入库。

第五：在本地机器上安装了帝国cms。（也就是可以运用任何工具或者软件）

那么问题来了：

如何实现之后的15万条数据快速的入库（ps：因为按照原来的方法每次10条入库，经常超时，就算不超时，平均每分钟入库16.66条）

那么我的15万条数据需要150小时，也就是3天14小时24分钟。这样的时间太久了，而且要人员守候在计算机前（因为会超时）

当然，也有可能入库10万条时，每分钟入库的更加少。那样时间久更加久了。

那么下面探讨一下一个问题：

请问有其他的方法能实现快速审核入库吗？（临时库到新闻库）

1.用phpmyadmin，是否可以实现？

2.用sql语句能否实现？

3.用其他的方法能否实现？

4.先转移主表数据，然后再清空数据库，然后再入库（这样入库不会超时），然后再用phpmyadmin加入之前转移的数据能否实现？
这个入库超时的问题，很多ZZ都遇到过，特别是对于大数据的用户。

希望WC，或者版主，其它的高手能解决这个问题。
请给出正解，谢谢！跪求！

请不要回复无法做到或者修改超时时间or慢慢来，因为就算不超时，它本身也需要好几天才能完成的事情。

ps：有其他疑问请回帖。无法言语表达清楚的，请联系qjw405#126.com(#换@)

[该贴被修改 4 次，最后修改时间 2009-04-30 20:34:25 ]


2009-04-30 02:14:24 已设置保密 顶部 回复 引用 报告 编辑 删除

qjw405
用户头衔：书生

精华贴   ：0
发贴数   ：9
经验值   ：47
注册时间：2009-04-13
信息 搜索 好友 发送悄悄话 【免费开源－EBMA系统：更安全的MYSQL管理和备份系统】   [第 2 楼]

看得人很多，就是没有人理会呢，采集完了，审核入库。
主要有3步工作比较占用资源，
第一是：通过关键字，寻找10条相关信息。
第二是，内容的简介（截取内容的前N个字符）
第三是，栏目目录名称的写入。

不知道有什么办法能提高审核入库的效率。特别是大数据用户。



2009-04-30 20:32:50 已设置保密 顶部 回复 引用 报告 编辑 删除

qjw405
用户头衔：书生

精华贴   ：0
发贴数   ：9
经验值   ：47
注册时间：2009-04-13
信息 搜索 好友 发送悄悄话 【精益求精－帝国网站管理系统7.5正式版开源发布】   [第 3 楼]

看得人那么多，就是没有人回复，也没有人顶一下这个问题呢



2009-05-01 21:10:55 已设置保密 顶部 回复 引用 报告 编辑 删除

qjw405
用户头衔：书生

精华贴   ：0
发贴数   ：9
经验值   ：47
注册时间：2009-04-13
信息 搜索 好友 发送悄悄话 【免费开源－EBMA系统：更安全的MYSQL管理和备份系统】   [第 4 楼]

看来真的没有人回答.



2009-05-03 21:31:38 已设置保密 顶部 回复 引用 报告 编辑 删除

w2f4
用户头衔：书生

精华贴   ：0
发贴数   ：67
经验值   ：258
注册时间：2006-10-09
信息 搜索 好友 发送悄悄话 【精益求精－帝国网站管理系统7.5正式版开源发布】   [第 5 楼]

用4.7的时候,我曾经一次入库一百多万条条数据没问题,我用的是NAVICAT这工具,很好用



2009-05-03 21:52:17 已设置保密 顶部 回复 引用 报告 编辑 删除

ainiaselang
用户头衔：书生

精华贴   ：0
发贴数   ：13
经验值   ：38
注册时间：2008-11-06
信息 搜索 好友 发送悄悄话 【免费开源－EBMA系统：更安全的MYSQL管理和备份系统】   [第 6 楼]

我帮你顶吧



2010-03-10 10:19:01 已设置保密 顶部 回复 引用 报告 编辑 删除

chenabc110
用户头衔：书生

精华贴   ：0
发贴数   ：29
经验值   ：107
注册时间：2010-03-08
信息 搜索 好友 发送悄悄话 【精益求精－帝国网站管理系统7.5正式版开源发布】   [第 7 楼]

我也顶哈。说不定这种问题我以后也会遇到！



2010-03-12 14:50:31 已设置保密 顶部 回复 引用 报告 编辑 删除

snk
用户头衔：举人

精华贴   ：0
发贴数   ：140
经验值   ：640
注册时间：2011-01-14
信息 搜索 好友 发送悄悄话 【免费开源－EBMA系统：更安全的MYSQL管理和备份系统】   [第 8 楼]

本机采集后在入库 应该是很快的啊！

除非你的附件 比较大，因为 因为入库时才会从被采集站下载保存附件！而且无论你的网速多快，附件也是 逐个下载保存并 入库 附件名的！三天时间不算长啊！想一想 15万条数据，三天就搞定，已经是很不错的了！



2011-12-30 21:35:33 已设置保密 顶部 回复 引用 报告 编辑 删除

snk
用户头衔：举人

精华贴   ：0
发贴数   ：140
经验值   ：640
注册时间：2011-01-14
信息 搜索 好友 发送悄悄话 【精益求精－帝国网站管理系统7.5正式版开源发布】   [第 9 楼]

也可能是你15万条数据都用一个数据表，所以会慢



2011-12-30 21:38:59 已设置保密 顶部 回复 引用 报告 编辑 删除

snk
用户头衔：举人

精华贴   ：0
发贴数   ：140
经验值   ：640
注册时间：2011-01-14
信息 搜索 好友 发送悄悄话 【免费开源－EBMA系统：更安全的MYSQL管理和备份系统】   [第 10 楼]

一个频道 建一个数据表多好啊，开始麻烦，但 长远考虑是有很多好处的！



2011-12-30 21:39:53 已设置保密 顶部 回复 引用 报告 编辑 删除

快速回复
内容

表情
使用EBB代码 使用smile代码 显示签名 自动分析url 自动分析img
     【进入高级模式】   (按 Ctrl+Enter 直接提交)
    顶部  加入收藏夹
关于帝国 | 广告服务 | 联系我们 | 法律声明 | 隐私条款 | 许可协议
Powered by： EBB Version 2.2.1