首页 ┆ 网站地图 ┆ 在线留言 ┆ 游戏资讯 ┆ 资源下载 ┆ 端午节祝福 ┆ 迅雷在线影视
设为首页
加入收藏
联系我们
高级搜索
您当前的位置: 主页>ASP专区>ASP教学>Asp开发的可以用来做采集与分析html代码的类
Asp开发的可以用来做采集与分析html代码的类
来源: 发布时间:2008-06-25 发布人: 浏览: 人次   字体: [ ]  

     '================================================
     '函数名:FormatContentUrl
     '作 用:格式化URL
     '参 数:Str   ----原字符串
     '     url   ----网站URL
     '     ChildUrl   ----子目录URL
     '返回值:格式化取后的字符串
     '================================================
     Public Function FormatContentUrl(ByVal str, ByVal URL)
           Dim s_Content
           Dim re
           Dim ContentFile, ContentFileUrl
           Dim strTempUrl,strFileUrl
          
           s_Content = str
           On Error Resume Next
           Set re = New RegExp
           re.IgnoreCase = True
           re.Global = True
           re.Pattern = "((src=|href=)((\S)+[.]{1}(" & sAllowExtName & ")))"
           Set ContentFile = re.Execute(s_Content)
           Dim sContentUrl(), n, i, bRepeat
           n = 0

           For Each ContentFileUrl In ContentFile
                 strFileUrl = Replace(Replace(Replace(Replace(ContentFileUrl.Value, "src=", "", 1, -1, 1), "href=", "", 1, -1, 1), "'", ""), Chr(34), "")
                 If n = 0 Then
                       n = n + 1
                       ReDim sContentUrl(n)
                       sContentUrl(n) = strFileUrl
                 Else
                       bRepeat = False
                       For i = 1 To UBound(sContentUrl)
                             If UCase(strFileUrl) = UCase(sContentUrl(i)) Then
                                   bRepeat = True
                                   Exit For
                             End If
                       Next
                       If bRepeat = False Then
                             n = n + 1
                             ReDim Preserve sContentUrl(n)
                             sContentUrl(n) = strFileUrl
                       End If
                 End If
           Next
           If n = 0 Then
                 FormatContentUrl = s_Content
                 Exit Function
           End If
           For i = 1 To n
                 strTempUrl = sContentUrl(i)
                 If LCase(Left(strTempUrl, 4)) <> "http" Then
                       s_Content = Replace(s_Content, strTempUrl, FormatRemoteUrl(URL, strTempUrl), 1, -1, 1)
                 End If
           Next
           Set re = Nothing
           PictureExist = True
           FormatContentUrl = s_Content
           Exit Function
     End Function
     '================================================
     '函数名:SaveRemoteFile
     '作 用:保存远程的文件到本地
     '参 数:s_LocalFileName ------ 本地文件名
     '     s_RemoteFileUrl ------ 远程文件URL
     '返回值:True ----成功
     '     False ----失败
     '================================================
     Public Function SaveRemoteFile(ByVal s_LocalFileName, ByVal s_RemoteFileUrl)

           Dim GetRemoteData
           Dim bError
           bError = False
           SaveRemoteFile = False
           'On Error Resume Next
          
           Dim Retrieval
           Set Retrieval = CreateObject("MSXML2.XMLHTTP")
          
           With Retrieval
                 .Open "GET", s_RemoteFileUrl, False, "", ""
                 .setRequestHeader "Referer", s_RemoteFileUrl
                 .send
                 If .readyState <> 4 Then Exit Function
                 If .Status > 300 Then Exit Function
                 GetRemoteData = .responseBody
           End With
           Set Retrieval = Nothing
          
           If LenB(GetRemoteData) < 100 Then Exit Function
           If MaxFileSize > 0 Then
                 If LenB(GetRemoteData) > MaxFileSize Then Exit Function
           End If
          
           Dim Ads
           Set Ads = Server.CreateObject("ADODB.Stream")
           With Ads
                 .Type = 1
                 .Open
                 .Write GetRemoteData
                 .SaveToFile ChkMapPath(s_LocalFileName), 2
                 .Cancel
                 .Close
           End With
           Set Ads = Nothing
           If Err.Number = 0 And bError = False Then
                 SaveRemoteFile = True
           Else
                 SaveRemoteFile = False
                 Err.Clear
           End If
     End Function


共7页: 上一页 [1] [2] [3] 4 [5] [6] [7] 下一页
相 关 文 章   发布商链接
·ASP语言采用动网数据库制作显示IP图...
·如何在IIS中执行Python脚本的配置实...
·如何利用ASP把图片上传到数据库讲解...
·asp实现把文件存进access数据库并提...
·vbscript保留日期格式中的月份和日期...
·ASP脚本基础
·Asp实现人民币大小写转换代码
·ASP页面将数据库中检索数据生成到本...
·asp实现文件转移、压缩并直接存进数...
·ASP 实现压缩与解压代码
 §最新评论:(评论内容只代表网友观点,与本站立场无关!)
网名: 验证码:  【所有评论】【↑返回顶部
评 分: 12 345
评论内容:(不能超过500字,请自觉遵守互联网相关政策法规。[按 Ctrl+Enter 可直接提交]
注意:请勿在本站发布政治话题、色情及违反法律的内容。
IT知道网 声明:刊登此文章是为了传递更多信息,文章内容仅供参考,转载请注明出处。
推 荐 文 章
·vbscript保留日期格式中的月...
·asp实现把文件存进access数据
·如何利用ASP把图片上传到数据
·如何在IIS中执行Python脚本的
·ASP语言采用动网数据库制作显
·Asp技术实现数据导入进度状态
·asp防采集常用的六种方法
·asp动态生成RSS完整版代码
·ASP版+Ajax实现验证码通用模...
·asp中文数字验证码实现的代码
·VBS脚本调用系统的关机对话框
·ASP上传图片到数据库的代码
·ASP 实现压缩与解压代码
·asp实现文件转移、压缩并直接
·ASP页面将数据库中检索数据生
热 门 文 章
·VBS脚本调用系统的关机对话框...
·ASP版+Ajax实现验证码通用模...
·如何利用ASP把图片上传到数据...
·asp中文数字验证码实现的代码
·asp动态生成RSS完整版代码
·ASP上传图片到数据库的代码
·ASP页面将数据库中检索数据生...
·Asp实现人民币大小写转换代码
·asp实现文件转移、压缩并直接...
·ASP语言采用动网数据库制作显...
·asp实现把文件存进access数据...
·ASP脚本基础
·ASP 实现压缩与解压代码
·如何在IIS中执行Python脚本的...
·asp防采集常用的六种方法
网站首页 - 关于本站 - 加入收藏 - 网站地图 - 友情连接 - 在线留言 - 联系我们 - 返回顶部
Copyright © 2007 IT知道网.[冀ICP备07026896号]. All Rights Reserved .