最新
版块
发主题
搜索
我的

采集重复以及删除图片问题

qq3463883 8月前 3871



如图   新增 更新 规则每个都测试了   依旧重复采集  相同的资源站点击一次就重复一次


还有  重复的资源在删除一个后   另一个图片就失效了 图片也被删除了  

但在资源里面查看图片地址  两个相同的资源本地图片地址显示不一样!但删除一个 另一个图片就消失了!


还望大佬看看是什么问题

最新回复 (10)
  • 海洋 8月前
    0 引用 2
    测试无法复现该问题。
    尝试修复下数据库。
  • qq3463883 8月前
    0 引用 3
    海洋 测试无法复现该问题。 尝试修复下数据库。
    我用的是宝塔面板的 计划任务   总共添加了5个   都是不同时间段采集  
  • qq3463883 8月前
    0 引用 4
    海洋 测试无法复现该问题。 尝试修复下数据库。
    我刚测试了下   好像就是任务的问题  后台点击采集不会重复!
  • hui122 8月前
    0 引用 5

    是的,这个问题确实是存在的。但是好像只有个别会这样。我用的是量子云接口,不知道是不是接口的问题。







    我在他们官网搜索了一下,也只有一部





    在宝塔面板添加了四个任务,但是个人感觉和这个关系不是很大








    我把代码贴出来,一起研究一下。

    ```md

    一.宝塔url定时任务

    1.首页

    http://域名/admin/admin_makehtml2.php?action=index&by=video&password=你的cookie


    2.生成当天更新内容页链接:

    http://域名/admin/admin_makehtml2.php?action=daysview&password=你的cookie


    二.宝塔shell定时任务

    1.生成列表页

    #!/bin/bash

    PASSWORD="你的cookie"

    BASE_URL="http://域名/admin/admin_makehtml2.php?action=allchannel&password=$PASSWORD"

    # 假设你有5个栏目,index 从0到4

    for i in {0..4}

    do

        curl -s "${BASE_URL}&index=${i}" > /dev/null

        sleep 3

    done


    2.资源采集

    #!/bin/bash

    ########################################################

    # 程序名称: 海洋CMS自动采集脚本

    # 版本信息:seacmsbot/ v2.0

    # 发布链接: https://www.seacms.com/

    # 使用方法:直接复制代码到宝塔计划任务shell脚本内容里添加每小时任务使用

    # 更新时间:2019.9.26

    ##########################################################

    #①请修改下面的网站域名及管理目录

    web_site="http://域名/admin/admin_reslib2.php"

       

    #②请修改下面项内容为"admin_reslib2.php"里设置的访问密码(默认为系统设置的cookie密码)

    web_pwd="你的cookie"

       

    #③下面项内容为资源站每日采集链接地址列表,请自行修改,每行一条,可添加多个,前后需添加引号。

    #每日采集链接获取方法:选择"后台-采集-资源库列表",复制资源站右边的"采集每天"的链接地址,去掉?前面的内容。

    web_api=(

         

          '?ac=day&rid=1&url=https://cj.lziapi.com/api.php/seacms/vod/at/xml/'

          '?ac=day&rid=2&url=https://cj.lziapi.com/api.php/providedown/vod/at/xml/'

       

    )

    #模拟用户浏览器ua,请勿随意修改,以免被目标防火墙拦截!

    web_ua="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36;"

       

    #采集单页

    function get_content() {

      echo  "正在采集第$page页..."

      #echo  " get_content: --->url:--->$1"

      cResult=$(curl  --connect-timeout 10 -m 20  -k -s   -L -A "$web_ua"  "$1" )

      echo $cResult | grep -q "采集"

      #echo  -e  "$1\n$cResult"

     if [ "$?" = "0" ]; then

         next_content "$cResult"

    else

        echo  -e "采集失败,请检查设置!\n失败链接-->$1\n返回信息-->$cResult\n采集结束,共0页"

    fi

    }

    #采集下页

    function next_content() {

        #统计数据

         Result=$(echo "$1" | tr "

    " "\n")

         a=$(echo "$Result" | grep -c  "采集成功")

         b=$(echo "$Result" | grep -c  "更新数据")

         c=$(echo "$Result" | grep -c  "无需更新")

         d=$(echo "$Result" | grep -c  "跳过")

         echo "采集成功-->已更$c部,新增$a部,更新$b部,跳过$d部"

         let add+=$a

         let update+=$b

         let none+=$c

         let jmp+=$d

        #检测并采集下页

         next_url=${1##*location.href=\'}

         next_url=${next_url%%\'*}

          #echo $next_url

          if [ "${next_url:0:1}" = "?" ]

              then

              let page++

              get_content "$web_site$next_url"

        else

             echo "采集结束,共$page页"

           fi  

    }

    #脚本入口

    echo "海洋CMS自动采集脚本开始执行 版本:v1.2"

    starttime=$(date +%s)

    update=0  #更新

    add=0     #新增

    none=0  #无变化

    jmp=0  # 跳过

    for url in ${web_api[@]};

    do  

    if [[ ! -z $url ]]

         then

               web_param="$web_site$url&password=$web_pwd"

               page=1

               echo "开始采集:$url"

               get_content $web_param

      fi

    done

    endtime=$(date +%s)

    echo "============================"

    echo "入库-->$add部"

    echo "更新-->$update部"

    echo "跳过-->$jmp部(未绑定分类或链接错误)"

    echo "今日-->$[none+add+update]部"

    echo "============================"

    echo  "全部采集结束,耗时$[endtime - starttime]秒"

    ```


  • 海洋 8月前
    0 引用 6
    按照你提供的方法,依然没有复现这个问题。
    可以测试下使用:后台 -  采集 - 定时任务挂机版 这个工具采集试试
    测试下是否会重复 
  • hui122 8月前
    0 引用 7

    原来是在后台----系统----采集工具设置----新增判断规则----勾选演员识别

    导致的,取消掉就可以了。



    这个是原装的


  • qq3463883 8月前
    0 引用 8
    我是后台修复了下数据库好了!分类我没识别  我采集了好几个资源站  多给资源站某些影片分类不一样也会造成重复!
  • qq3463883 8月前
    0 引用 9
    hui122 原来是在后台----系统----采集工具设置----新增判断规则----勾选演员识别导致的,取消掉就可以了。这个是原装的
    哥们 我看你采集了LZ的下载  为啥我采集提示地址无变化!采集不了!
  • hui122 8月前
    0 引用 10
    qq3463883 哥们 我看你采集了LZ的下载 为啥我采集提示地址无变化!采集不了!

    分类有绑定吗?


  • qq3463883 8月前
    0 引用 11
    hui122 分类有绑定吗?
    绑定了 
返回