python 自动翻译-金沙1005

目录

概述

一、读取word文档

二、读取pdf文档

        工作上的需要翻译的文档常用的事情，列举使用python自动翻译各种方法。

关键方法
提取文档内容
读取txt文档

txt文档的读取很简单，直接用python自带的open()方法就好，代码如下所示：

# 读取txt文档
def read_txt(path):
        ”’实现txt文档的读取，一次将内容全部取出”’
        content = ”
        with open(path) as f:
                content = f.read()
        return content
# 也可以用readline()读取每一行

一、读取word文档

读取word文档也比较简单，导入第三方库python-docx，安装指令为pip install python-docx，实例代码如下：

import docx    # 安装指令：pip install python-docx
def translate(self):
    '''翻译'''
    # 获取文档对象
    doc = docx.document(self.fullname)
    # 创建内存中的word文档对象
    new_doc = docx.document()
    # 遍历每一段文本
    for para in doc.paragraphs:
        # 翻译
        trans = baidu_translate(para.text)           
        # 写入新文件
        new_doc.add_paragraph(para.text)
        new_doc.add_paragraph(trans)
    # 保存到本地文件
    new_doc.save(self.new_fullpath)

为防止网络爬虫，请关注公众号回复”口令”

激活idea 激活clion

datagrip dataspell

dotcover dotmemory

dottrace goland

phpstorm pycharm

resharper reshac

rider rubymine

webstorm 全家桶

解锁下载

二、读取pdf文档

读取pdf文档同样需要安装第三方库，主要有pypdf2和pdfminer，这两个库我都有去了解，算是各有特点吧。

pypdf2使用相对简单，但只支持英文，对中文支持不太友好；相反pdfminer使用相对而言要复杂点，仅仅是相对而言，其支持多种语言，图表、图片等，功能较强大。这两种方式我在代码中均有实现，其实例代码如下：
pypdf2

# 安装指令：pip install pypdf2
from pypdf2.pdf import pdffilereader
def translate(self):
    '''读取pdf内容，并翻译，写入txt文件'''
    f = open(self.fullpath,'rb')
    pdf = pdffilereader(f)
    for i in range(0,pdf.getnumpages()):
        extractedtext = pdf.getpage(i).extracttext()
        content = extractedtext.split('\n')  
        content = self.removeblankfromlist(content)  
        # 拼接之后的文本，如果单词间歇超过一个空格的，认为是需要换行处理的
        content_list = self.enter_symbol(content)
        for line in content_list:
            trans = baidu_translate(line)
            self.write(line   '\n')
            self.write(trans)
    f.close()
    logger().write(self.filename   '翻译完成，新文档：'   self.new_fullpath)

pdfminer

# 安装指令：pip install pdfminer3k
from pdfminer.pdfparser import pdfparser,pdfdocument
from pdfminer.pdfinterp import pdfresourcemanager,pdfpageinterpreter
from pdfminer.layout import laparams,lttextboxhorizontal
from pdfminer.converter import pdfpageaggregator
from pdfminer.pdfinterp import pdftextextractionnotallowed
def translate(self):
    '''读取pdf内容，并翻译，写入txt文件'''
    # 以二进制读模式打开本地pdf文件
    fp = open(self.fullpath,'rb')
    # 用文件对象来创建一个pdf文档分析器
    praser_pdf = pdfparser(fp)
    # 创建一个pdf文档
    doc_pdf = pdfdocument()
    # 连接分析器与文档对象
    praser_pdf.set_document(doc_pdf)
    doc_pdf.set_parser(praser_pdf)
    # 提供初始化密码doc.initialize("123456")，如果没有密码 就创建一个空的字符串
    doc_pdf.initialize()
    # 检查文档是否提供txt转换，不提供就无法翻译文档
    if not doc_pdf.is_extractable:
        logger().write(self.filename   '未能提取有效的文本，停止翻译。')
        return
    else:
        # 创建pdf资源管理器来共享资源
        rsrcmgr = pdfresourcemanager()
        # 创建一个pdf参数分析器
        laparams = laparams()
        # 创建聚合器
        device = pdfpageaggregator(rsrcmgr,laparams=laparams)
        # 创建一个pdf页面解释器对象
        interpreter = pdfpageinterpreter(rsrcmgr,device)
        # 循环遍历列表，每次处理一页的内容
        for page in doc_pdf.get_pages():
            # 使用页面解释器来读取
            interpreter.process_page(page)
            # 使用聚合器获取内容
            layout = device.get_result()
            # 这里layout是一个ltpage对象 里面存放着 这个page解析出的各种对象 一般包括lttextbox, ltfigure, ltimage, lttextboxhorizontal 等等 想要获取文本就获得对象的text属性，
            for out in layout:
                # 判断是否含有get_text()方法，图片之类的就没有
                if isinstance(out,lttextboxhorizontal):
                    content = out.get_text()
                    trans = baidu_translate(content)
                    self.write(content)
                    self.write(trans)
        logger().write(self.filename   '翻译完成，新文档：'   self.new_fullpath)

调用翻译接口

利用python网络爬虫可以很轻松的实现数据爬取，这里就是利用这种“手段”实现翻译功能，对此，还是要感谢这些接口提供商，感谢cctv、铁岭tv。

百度翻译

百度翻译有反爬机制，电脑端的爬虫会被干掉，所幸手机端可以使用，代码如下所示：

import urllib.request  
import urllib.parse  
import json 
# 百度翻译方法
def baidu_translate(content,type=1):
    '''实现百度翻译'''
    baidu_url = 'http://fanyi.baidu.com/basetrans'
    data = {}
    data['from'] = 'en'
    data['to'] = 'zh'
    data['query'] = content
    data['transtype'] = 'translang'
    data['simple_means_flag'] = '3'
    data['sign'] = '94582.365127'
    data['token'] = 'ec980ef090b173ebdff2eea5ffd9a778'
    data = urllib.parse.urlencode(data).encode('utf-8')
    headers = {"user-agent":"mozilla/5.0 (linux; android 5.1.1; nexus 6 build/lyz28e) applewebkit/537.36 (khtml, like gecko) chrome/63.0.3239.84 mobile safari/537.36"}
    baidu_re = urllib.request.request(baidu_url, data, headers)
    baidu_response = urllib.request.urlopen(baidu_re)
    baidu_html = baidu_response.read().decode('utf-8')
    target2 = json.loads(baidu_html)
    trans = target2['trans']
    ret = ''
    for i in range(len(trans)):
        ret  = trans[i]['dst']   '\n'
    return ret

谷歌翻译

首先需要一个类实现js码的生成

import execjs  
  
class py4js():  
      
    def __init__(self):  
        self.ctx = execjs.compile(""" 
        function tl(a) { 
        var k = ""; 
        var b = 406644; 
        var b1 = 3293161072; 
         
        var jd = "."; 
        var $b = " -a^ 6"; 
        var zb = " -3^ b -f"; 
     
        for (var e = [], f = 0, g = 0; g < a.length; g  ) { 
            var m = a.charcodeat(g); 
            128 > m ? e[f  ] = m : (2048 > m ? e[f  ] = m >> 6 | 192 : (55296 == (m & 64512) && g   1 < a.length && 56320 == (a.charcodeat(g   1) & 64512) ? (m = 65536   ((m & 1023) << 10)   (a.charcodeat(  g) & 1023), 
            e[f  ] = m >> 18 | 240, 
            e[f  ] = m >> 12 & 63 | 128) : e[f  ] = m >> 12 | 224, 
            e[f  ] = m >> 6 & 63 | 128), 
            e[f  ] = m & 63 | 128) 
        } 
        a = b; 
        for (f = 0; f < e.length; f  ) a  = e[f], 
        a = rl(a, $b); 
        a = rl(a, zb); 
        a ^= b1 || 0; 
        0 > a && (a = (a & 2147483647)   2147483648); 
        a %= 1e6; 
        return a.tostring()   jd   (a ^ b) 
    }; 
     
    function rl(a, b) { 
        var t = "a"; 
        var yb = " "; 
        for (var c = 0; c < b.length - 2; c  = 3) { 
            var d = b.charat(c   2), 
            d = d >= t ? d.charcodeat(0) - 87 : number(d), 
            d = b.charat(c   1) == yb ? a >>> d: a << d; 
            a = b.charat(c) == yb ? a   d & 4294967295 : a ^ d 
        } 
        return a 
    } 
    """)  
          
    def gettk(self,text):  
        return self.ctx.call("tl",text)  

调用方法如下所示：

from py4js import *
# 谷歌翻译方法
def google_translate(content):
    '''实现谷歌的翻译'''
    js = py4js()
    tk = js.gettk(content)
    if len(content) > 4891:      
        print("翻译的长度超过限制！！！")      
        return    
  
    param = {'tk': tk, 'q': content}  
  
    result = requests.get("""http://translate.google.cn/translate_a/single?client=t&sl=en 
        &tl=zh-cn&hl=zh-cn&dt=at&dt=bd&dt=ex&dt=ld&dt=md&dt=qca&dt=rw&dt=rm&dt=ss 
        &dt=t&ie=utf-8&oe=utf-8&clearbtn=1&otf=1&pc=1&srcrom=0&ssel=0&tsel=0&kc=2""", params=param)  
  
    #返回的结果为json，解析为一个嵌套列表  
    trans = result.json()[0]
    ret = ''
    for i in range(len(trans)):
        line = trans[i][0]
        if line != none:
            ret  = trans[i][0]
    return ret

有道翻译

有道翻译的代码实现如下所示：

import urllib.request  
import urllib.parse  
import json 
# 有道翻译方法
def youdao_translate(content):
    '''实现有道翻译的接口'''
    youdao_url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
    data = {}
    
    data['i']= content
    data['from'] = 'auto'
    data['to'] = 'auto'
    data['smartresult'] = 'dict'
    data['client'] = 'fanyideskweb'
    data['salt'] = '1525141473246'
    data['sign'] = '47ee728a4465ef98ac06510bf67f3023'
    data['doctype'] = 'json'
    data['version'] = '2.1'
    data['keyfrom'] = 'fanyi.web'
    data['action'] = 'fy_by_clickbuttion'
    data['typoresult'] = 'false'
    data = urllib.parse.urlencode(data).encode('utf-8')
    youdao_response = urllib.request.urlopen(youdao_url, data)
    youdao_html = youdao_response.read().decode('utf-8')
    target = json.loads(youdao_html)
    trans = target['translateresult']
    ret = ''
    for i in range(len(trans)):
        line = ''
        for j in range(len(trans[i])):
            line = trans[i][j]['tgt']
        ret  = line   '\n'
    return ret

写入文档
写txt文档

txt文档的写比较简单，代码如下所示：

# 写txt文档
def write_txt(path,content):
    '''实现txt文档的写方法'''
    with open(path,'a ') as f:
        f.write(content)

写word文档

word文档的写就是用上面所属的python-docx库实现，在上面读取word文档小节中已有代码明细，非常之简单，这里就不在赘述。

写pdf文档

同上，写pdf文档，用pypdf和pdfminer均可实现，pypdf相对而言要简单写，因本脚本对翻译后的文档只实现了word和txt的写，方便对文档进行编辑处理，若需要生成pdf文档，有兴趣可自行研究。

好了，以上就是关键技术基本描述。