飞道的博客

c#爬虫与Regex类(字符串匹配)

308人阅读  评论(0)

c#封装了现有的实行爬虫的WebClient类:
一般代码写法:
WebClient webClient = new WebClient();//定义一个WebClient对象
webClient.Encoding = Encoding.UTF-8;
string url = “xx”;//爬取的网页地址
wecClient.DownloadString(url);//调用DownloadString()方法爬取,爬取结果为字符串
也可以采用WebClient对象的其他不同方法获取不同的爬取结果:

2.Regex类

Regex类的静态方法IsMatch()的第一个参数为被匹配的字符串,第二个参数为正则表达式,若被匹配的字符串满足正则表达式(前一个字符串包含后一个字符串,或满足以指定元素开头与结尾的正则表达式规则)该方法的返回值为true,否则为false。

爬虫实例:
例如:爬取下列字符串的网页:

网站源代码:



注意这里输出了爬取结果。

爬取的字符串html的值为网页源代码。

Regex对象的Matches()方法返回html中所有符合正则表达式规则的字串,即标签中属性href值。
Trim()方法删除字符串头部及尾部出现的空格。
实验结果生成的文件:


转载:https://blog.csdn.net/qq_51476492/article/details/116173339
查看评论
* 以上用户言论只代表其个人观点,不代表本网站的观点或立场