如何用java爬取数据

 时间:2024-10-11 21:39:07

1、首先确定我们的RSS源信息,可以搜索得到,每一个都可以直接在浏览器输入,并获得一个xml文件。

如何用java爬取数据

2、接下里,讲下getURLConnection猾诮沓靥()方法,通过的URL对象构建链接,然后通过HttpURLConnection 对象打开链接(注意代码中的伪造成浏览器),并在连接成功后(getResponseCode==200)获取java 字节输入流InputStream。

如何用java爬取数据

3、获取到的就是前面看到的一个个链接的文件xml报文,不过我们得到的是流,不是xml文件,但是javax包提供了许多方法来解析,包括inputStream。关键代码就是DocumentBuilder documentBuilder = builderFactory.newDocumentBuilder();stb = new StringBuilder();org.w3c.dom.Document doc = documentBuilder.parse(ins);其余部分就是根据你的xml报文结构,去循环遍历并获取你所需爬取的信息了。

如何用java爬取数据

4、最后看下运行效果吧。前面是文章标题 后面紧跟的就是文章的URL

如何用java爬取数据
  • topsolid【安装及注册1】
  • 吃什么抗氧化
  • proe新手入门基础:[7]画圆弧
  • 如何下载E都市三维地图(2.5D三维渲染图)
  • 东坡豆腐的做法
  • 热门搜索
    swf文件用什么打开 外围是什么意思 嚣张的意思 艾叶作用 仲裁是什么意思 望洋兴叹的意思 随心所欲的意思 ost是什么意思 破天荒的意思 不修边幅的意思