网站首页 > 开源技术正文

Spring boot + Jsoup 搭建，解析系统接口只需1分钟

wxchong 2024-12-29 06:32:20 开源技术 63 ℃ 0 评论

前几天有个小姐姐想看《天使陷落》的大片问有没有资源的渠道。本着不给广大程序小老哥的脸，想也没想的就答应给小姐姐找资源。但是凄惨的是把以前经常用的网站烦了个遍都没有。

这点小问题肯定难不到勤奋的小老弟，一通谷歌、百度、dogedoge终于找了可靠资源。

既然现在资源这么匮乏，网站都找到了何不试试抓包看看接口。说干就干，按照一贯的操作流程，打开Chrome->开发者工具->NextWork->All

经过一顿猛操作终于于发现接口，其实就是通过调用https://xxx/jx.php?do=h5&id=视频唯一标识来获取到原视频播放地址。

到这一步的时候，已经是觉得都成了，可是打开Postman跑接口一看，人都傻了。

根本就没有返回视频播放源的地址，当然对于爬虫分析都得有耐心，像这种通过Postman跑出来的数据和浏览器控制台抓的数据不一样，大几率就是header参数缺失的问题，知道问题出在哪里问题就迎刃而解。然后一个一个参数的copy过来果不其然少了一个referer参数。

接口参数抓到了就开始拿到我们需要的video路径。我们请求接口的参数返回的是html代码块。

<!DOCTYPE html>
<html>
 <head>
 <meta charset="UTF-8">
 <meta name="viewport" content="width=device-width, initial-scale=1.0, user-scalable=no">
 <meta name="referrer" content="never">
 <title>电影盒子</title>
 <link rel="stylesheet" href="https://cdn.bootcss.com/dplayer/1.22.2/DPlayer.min.css">
 <style type="text/css">
body, html, .dplayer {
 padding: 0;
 margin: 0;
 width: 100%;
 height: 100%;
 background-color:#000;
 }
a {
 text-decoration: none;
 }
</style>
 </head>
 <body>
 <div id="player" class="dplayer"></div>
 <script src="https://cdn.bootcss.com/flv.js/1.4.2/flv.min.js"></script>
 <script src="https://cdn.bootcss.com/dplayer/1.22.2/DPlayer.min.js"></script>
 <script type="text/javascript">
 var isiPad = navigator.userAgent.match(/iPad|iPhone|Android|Linux|iPod/i) != null;
 if(isiPad){
 document.getElementById('player').innerHTML = '
 <video src="http://sh-download.weiyun.com/ftn_handler/d77c3b67df5795dcbdd3a69d3cf3503753d6559d01114d3904e741eb27d266c9/%E7%83%88%E7%81%AB%E8%8B%B1%E9%9B%842019.mp4" controls="controls" preload="preload" poster="http://jx.178du.com/Dplayer/loading.gif" width="100%" height="100%" x-webkit-airplay="allow"></video>';
 }else {
 var pic = "";
 var dplayer = new DPlayer({
 element: document.getElementById("player"),
 autoplay: true,
 hotkey: true,
 preload: 'auto',
 video: {
 url: 'http://sh-download.weiyun.com/ftn_handler/d77c3b67df5795dcbdd3a69d3cf3503753d6559d01114d3904e741eb27d266c9/%E7%83%88%E7%81%AB%E8%8B%B1%E9%9B%842019.mp4',
 pic: 'http://jx.178du.com/Dplayer/loading.png'
 }
 });
 }
 </script>
 <script>
var _hmt = _hmt || [];
(function() {
 var hm = document.createElement("script");
 hm.src = "https://hm.baidu.com/hm.js?71034aa175241a731523ac24bdd3406d";
 var s = document.getElementsByTagName("script")[0];
 s.parentNode.insertBefore(hm, s);
})();
</script>
 </body>
</html>

这个时候我们可以通过正则从下面代码块里，拿到video标签里面的src值。

<video src="http://sh-download.weiyun.com/ftn_handler/d77c3b67df5795dcbdd3a69d3cf3503753d6559d01114d3904e741eb27d266c9/%E7%83%88%E7%81%AB%E8%8B%B1%E9%9B%842019.mp4" controls="controls" preload="preload" poster="http://jx.178du.com/Dplayer/loading.gif" width="100%" height="100%" x-webkit-airplay="allow"></video>

说干就干，打开强大的IEDA，新建Spring boot项目。在Maven配置pom.xml加入Jsoup解析插件。

<dependency>
 <groupId>org.jsoup</groupId>
 <artifactId>jsoup</artifactId>
 <version>1.8.1</version>
</dependency>

先通过Jsoup调用之前抓取到的接口解析得到Html。

/**
 * https://www.fenggoudy.com
 *
 * @Param null
 * @Author:tianminghai
 * @Date:5:28 PM 2019/11/15
 */
 public static String getVideoUrlForFengGou(String apiUrl,String refeurl)throws Exception{

 // 参数详情 https://www.fenggoudy.com 采集
 apiUrl = "https://jx33.178du.com/jx.php?do=h5&id=7aa7f493692edb4a.mp4";
 refeurl = "https://www.fenggoudy.com";

 Document html = null;

 try {
 html = Jsoup.connect(apiUrl).header("referer",refeurl).get();


 } catch (IOException e) {
 throw e;
 }

 String videoUrl = getHtmlVideoStr(html.outerHtml()).get("src");

 System.out.print("------原始数据："+getHtmlVideoStr(html.outerHtml()));

 if (videoUrl.contains("download.weiyun.com")){
 return videoUrl;
 }else {
 throw new Exception("数据解析问题");
 }

 }

具体通过正则表达式解析网页得到video中的src值方法。

/**
 *得到html中的 video src
 *
 * @Param null
 * @Author:tianminghai
 * @Date:5:25 PM 2019/11/15
 */
 public static Map<String, String> getHtmlVideoStr(String htmlStr) {

 Map<String, String> pics = new HashMap<String, String>();
 String regEx_video="<video.*src\\s*=\\s*(.*?)[^>]*?>";
 Pattern p = Pattern.compile(regEx_video,Pattern.CASE_INSENSITIVE);
 Matcher m = p.matcher(htmlStr);
 String video="";
 Map<String, String> maps = new HashMap<String, String>();
 while (m.find()) {
 video=m.group();
 Matcher mPoster = Pattern.compile("poster\\s*=\\s*\"?(.*?)(\"|>|\\s+)").matcher(video);
 Matcher mSrc = Pattern.compile("src\\s*=\\s*\"?(.*?)(\"|>|\\s+)").matcher(video);
 String poster ="";
 String src="";
 while (mPoster.find()){
 poster=mPoster.group(1);
 }

 while (mSrc.find()){
 src=mSrc.group(1);
 }
 maps.put("poster", poster);
 maps.put("src", src);
 maps.put("srcs", src);
 }

 return maps;

 }

这个时候一切都准备就绪就差把数据通过接口来实现了，新建一个Controller。

@RestController
public class VideoController {

 @RequestMapping(value = "/video")
 public ResultModel test(){

 
 ResultModel resultModel = new ResultModel();

 resultModel.setMsg("成功");

 try {
 resultModel.setCode(JsonConfigModel.SUSSESS);

 JSONObject obj = new JSONObject();

 obj.put("url",VideoUtils.getVideoUrlForFengGou("",""));

 resultModel.setObj(obj);

 } catch (Exception e) {
 resultModel.setCode(JsonConfigModel.ERROR_VIDEO);
 }
 

 return resultModel;
 }
}

小程序访问接口看看到底能不能观看视频。新建一个小程序项目，添加一个视频播放组件。Vide.WXML;

<cu-custom bgColor="bg-main" isBack="{{true}}">
 <view slot="backText">返回</view>
 <view slot="content">列表</view>
 </cu-custom>


<view class="section tc">
 <video id="myVideo" src="{{voideUrl}}" enable-danmu danmu-btn controls>
 </video>
</view>

Video.js

var http = require('../../utils/httputils.js');

Page({
 data: {
 voideUrl:''
 
 },

 onLoad: function (options) {

 var that = this;

 console.log("-------")
 var prams = {
 username: "1111",
 password: "123456"
 }
 http.getRequest("http://192.168.0.103:8081/video", prams,
 function (res) {
 console.log("----aa---"+res.obj.url)
 that.setData({
 voideUrl:res.obj.url,
 })
 },
 function (err) {

 })
 
 },

 onReady() {
 
 }

 
});

万事具备，来给我动作整齐划一的走起！

那么问题来了，今天下午小姐姐约我去吃饭，老哥们能否指点招？

上一篇： Scrapy-Redis分布式爬虫框架详解-邮乐网
下一篇： CSS 定位详解 css定位技术

网站首页 > 开源技术正文

Spring boot + Jsoup 搭建，解析系统接口只需1分钟

猜你喜欢

本文暂时没有评论，来添加一个吧(●'◡'●)

取消回复欢迎你发表评论:

网站首页 > 开源技术 正文

Spring boot + Jsoup 搭建，解析系统接口只需1分钟

猜你喜欢

本文暂时没有评论，来添加一个吧(●'◡'●)

取消回复欢迎 你 发表评论:

网站首页 > 开源技术正文

取消回复欢迎你发表评论: