python爬虫脚本 ,uni-金沙1005

从业c#开发多年，现在也经常用到python 做网络爬虫 ，用uni-app做手机前端。攒了一点经验。供其他多语言开发程序员借鉴吧。

     python做爬虫和其他的方式做爬虫最大的区别应该在于. python 可以将浏览器内核寄宿到程序里。例如ie内核。火狐内核。google内核。然后可以模拟人对浏览器的操作。不是简单的发起http请求然后解析页面就结束。而是可以在页面上进行多次点击操作。程序还能一直监听发生变化后的页面元素。

from selenium import webdriver
from lxml import etree
from selenium.webdriver.common.by import by
from selenium.webdriver.common.keys import keys

webdriver 是python 将浏览器寄宿到程序的框架。并且可以模拟用户的操作。也提供基本的html解析方式

selenium 是更深一层 操作浏览器和 解析html元素的框架。有时候 同一段代码 webdriver 解析不出来 selenium 就是能解析出来。可能底层优化的更好吧 

etree 会将html 解析成对象。获取里面的属性。
三者结合使用或许效果更好。

   options = webdriver.firefoxoptions()
         fp = webdriver.firefoxprofile()
         #    fp.set_preference("browser.download.dir",common.getsection("downfile"))  
         fp.set_preference("browser.download.folderlist",2)  
         fp.set_preference("browser.download.manager.showwhenstarting",false)
         fp.set_preference("browser.helperapps.neverask.savetodisk","application/zip,application/octet-stream")
         driver = webdriver.firefox(firefox_profile=fp,options=options)

browser.download.dir 指的是下载路径

browser.download.manager.showwhenstarting 指的是下载是否弹出询问框

browser.helperapps.neverask.savetodisk 指的是下载的文件类型 ，如果爬页面还要获取网页下载的zip，或者jpg。这里都要用逗号加上文件的类型。

  driver.get("http://www.stbchina.cn/item.html#?itemid=" itemcode.strip())
           

driver.get 写入你要爬取的地址
如果顺利的话，你可以看到程序启动了火狐浏览器并跳到了对应的网址上
不想看到浏览器的话，插入一下代码

  options.add_argument("--headless")

浏览器会被隐藏

element = webdriverwait(driver, 10).until(
ec.presence_of_element_located((by.id, "you-id"))
)

time.sleep(int(3))

html = etree.html(driver.page_source) 

listimg=html.xpath("//*[contains(@class,"formwork_img")]/img")

itme.attrib["src"]

script=driver.find_element_by_xpath("//a[contains(text(),"发票下载")]").get_attribute("onclick")

  driver.execute_script("$("#sqrqq").val("" strtime "")")
                                       driver.execute_script("$("#sqrqz").val("" endtime "")")
                             
                                       driver.execute_script("searchxzqq()")

就像大家用js操作前端一样。比发送点击事件更加靠谱。因为经常点击事件没有响应。

uni-app 最近使用场景有涉及到复选框做购物车，但是我在金沙1005官网搜了一遍复选框的案例。我似乎看到官方回答，目前还不支持双向绑定，于是我自己做了一个

class="agreement_radio" @change="checkboxchange">

checkbox-group 可以作为顶级父节点，类似body, 绑定点击事件
  根节点包含循环的数据体。

  像这杨什么都可以包进去，它只是一个顶级父节点而已。每一个复选框包含一组数据。

  uni-app 目前的版本，哪怕你value 绑定了数据。checked 绑定了数据。在最后提交整个数组的时候，其实依旧不会改变绑定数组的checked.所以需要我们手动绑定。

   再每次选中和取消复选框的时候触发事件 checkboxchange ，e.detail.value 是选中的数组的value.被取消选中和没有选中的复选框是不会传递值的。而且不会改变绑定的数据。这多多少少有点不合适。在目前的版本。

所以当绑定数组和复选框改变事件的数据可以产生交集的时候。使用多重循环改变绑定数组的值。就可以双向绑定复选框和绑定数组了。

    //整个购物车单条数据的选中和取消选中
            checkboxchange: function(e) {
                // console.log(this.cart)
                var items = this.cart,
                    values = e.detail.value;
                for (let b = 0; b < this.cart.length; b  ) {
                    for (let c = 0; c < this.cart[b].length; c  ) {
                        let continuearr = values.filter(item => {
                            return item == this.cart[b][c].value;
                        })
                        if (continuearr.length > 0) {
                            this.cart[b][c].checked = true;
                        } else {
                            this.cart[b][c].checked = false;
                        }
                        //console.log("选中的值:"   continuearr)

                    }
                }
                //console.log( this.cart)

            }

目前net core 已经升级到了 net 5 。以后既不是framework 框架也不是net core框架。其实底层也有core的影子。
但是肯定不在通用老版的net工作流框架了
于是百般无奈下自己琢磨了一套工作流思想和底层结构

一套后台可配置工作流 

以及 app前台审批

核心还是数据库的四张表

[workflowtemplate]表如下，其实没什么用，只是为了在后台管理时可以区分每个工作流叫什么。

 guid 类似主键

 name 是这条工作流的名称 

 type 是工作流的类型，比如 1=审批工作流 ，2=招标工作流

  departmentid 是这个工作流挂在员工的部门id。这个部门的人员发起的审批工作流直接走此工作流的审批链

[workflowtemplatenode] 是此条工作流的审批链
 name表示这条审批链下此节点叫什么，
 templateid 绑定到 workflowtemplate的唯一表示主键下。
 userlist 存放此次审批节点的审批人集合。
 templatetype 审批节点的类型已经弃用了，当初定的是为1 需要此审批节点下全部人员通过，为0只要有一个人审批通过便算此审批节点通过。
 number 指的是此审批链下的第几个节点。为0是第一个审批节点，为1为2 以此类推。

 工作流审批链就到此为止了，接下来是用户发起场景以及关联工作流
 

   比如order 表是用户发起申领物品的主表，

   reson 是用户申领的事由 

  orderid 是此申领表的唯一主键

  user_sid 是用户唯一主键

  其他不相关的申领详情表就略过了。。。。

  当用户发起申请的时候，除了order用户申领表，还有工作流任务关联表

    这下用户发起的请求，关联的工作流以及审批链就串联起来了。

     userid 是谁发起的，

     orderid 关联那个申领单，

     nodeid已弃用，

     gudi是当前用户关联工作流唯一主键

     workid是关联的工作流

     接下来是每一级审批链每一个审批人的相关信息

       userid 是当前任务的审批人

       taskid 是用户关联工作流表 唯一主键，也就是上一张表的主键，

       desc 是备注，

       attachment 是附件，

       status 是审批状态，

       nodeid 是 用户关联工作流表 次级审批的节点唯一主键 。用于判断这个人审批哪一环节。以及状态信息。

      串联起来就是 先生成 workflowtemplate 工作流模块流程，

      然后workflowtemplatenode绑定此模块的次级审批人物

      接着 workflow_node 关联用户，申领信息，绑定工作流，

      最后 workflow_task 绑定 在哪个工作流，在工作流的那个节点。 每一级审批人员的审批信息。

      接口里关联用户，申领行为，发起审批。以及每一级审批的通过拒绝。以及扭转到下一级审批就不讲了，毕竟每个公司的业务不一致。这四张核心主表。就可以完成整个工作流的扭转。