中国DOS联盟论坛

中国DOS联盟

-- 联合DOS 推动DOS 发展DOS --

联盟域名:www.cn-dos.net  论坛域名:www.cn-dos.net/forum
DOS,代表着自由开放与发展,我们努力起来,学习FreeDOS和Linux的自由开放与GNU精神,共同创造和发展美好的自由与GNU GPL世界吧!

游客:  注册 | 登录 | 命令行 | 会员 | 搜索 | 上传 | 帮助 »
作者:
标题: 讨论:用批处理抓取hao123网址 上一主题 | 下一主题
sunenze
初级用户





积分 47
发帖 20
注册 2007-8-14
状态 离线
『楼 主』:  讨论:用批处理抓取hao123网址

网上有大把的ASP,以及一些小软件,但却不能实现对整个HAO123网页网址的自动提取,自动分类功能!


如果用批处理来抓取hao123整个站点的网址链接,分析整首页面面左侧栏目,然后根据左侧栏目来检索每一个子页面链接,而后提取每个子页面的网址,生成形式可是MDB数据,或者EXLCEL电子表格形式!


大家一起来进行讨论,看有没有好的解决思路!讨论并求此与此相关的源码



IT一点通:http://www.sunenze.com
企业直达:http:www.directok.cn
网赚全球:http://rboot.cn
2008-12-16 00:09
查看资料  发送邮件  访问主页  发短消息 网志   编辑帖子  回复  引用回复
everest79
金牌会员

一叶枝头,万树皆春



积分 2564
发帖 1127
注册 2006-12-25
状态 离线
『第 2 楼』:  

有见过这么一个
'&cls&(if "%~1"=="" (echo Usage:&echo        links [URL])else cscript/nologo /e:vbs "%~f0" "%~1")&goto:eof




GetLink WSH.Arguments(0)

Sub GetLink(sURL)
        With CreateObject("InternetExplorer.Application")
                .Navigate sURL
                Do While (.Busy Or .ReadyState <> 4)
                        WSH.Sleep 100
                Loop
                For Each sLink In .Document.Links
                        WSH.Echo sLink
                Next
                .Quit
        End With
End Sub




49206C6F766520796F752067757973 54656C3A3133383238343036373837
2008-12-16 00:33
查看资料  发短消息 网志   编辑帖子  回复  引用回复
xjhma84
新手上路





积分 8
发帖 5
注册 2008-11-27
状态 离线
『第 3 楼』:  

是个方法~~~~

2008-12-16 09:28
查看资料  发短消息 网志   编辑帖子  回复  引用回复
dato
高级用户




积分 916
发帖 377
注册 2004-3-8
状态 离线
『第 4 楼』:  

用topfisher
http://www.topfisher.com/



http://dato.ys168.com
google search bot
http://dato.minidns.net/
2008-12-16 09:41
查看资料  发送邮件  发短消息 网志   编辑帖子  回复  引用回复
sunenze
初级用户





积分 47
发帖 20
注册 2007-8-14
状态 离线
『第 5 楼』:  

4楼给的这个网址,下载之后运行直接蓝屏死机,系统无法启动。



IT一点通:http://www.sunenze.com
企业直达:http:www.directok.cn
网赚全球:http://rboot.cn
2008-12-16 10:31
查看资料  发送邮件  访问主页  发短消息 网志   编辑帖子  回复  引用回复
dato
高级用户




积分 916
发帖 377
注册 2004-3-8
状态 离线
『第 6 楼』:  

晕没这么夸张吧,topfisher是目前用过的最好的数据采集软件,由于它采用脚本方式编写任务,所以可以完成一些很复杂的采集任务.但可能还有点点问题,在对付验证码方面.其它的基本都是GUI界面,很多东西都被限制在作者写好的框架所以有时候感觉不如它实用.



http://dato.ys168.com
google search bot
http://dato.minidns.net/
2008-12-16 16:37
查看资料  发送邮件  发短消息 网志   编辑帖子  回复  引用回复
sunenze
初级用户





积分 47
发帖 20
注册 2007-8-14
状态 离线
『第 7 楼』:  

确实是的,我双击直接蓝屏死机。



IT一点通:http://www.sunenze.com
企业直达:http:www.directok.cn
网赚全球:http://rboot.cn
2008-12-17 10:11
查看资料  发送邮件  访问主页  发短消息 网志   编辑帖子  回复  引用回复

请注意:您目前尚未注册或登录,请您注册登录以使用论坛的各项功能,例如发表和回复帖子等。


可打印版本 | 推荐给朋友 | 订阅主题 | 收藏主题



论坛跳转: