首页手记 Html转Markdown——...

Html转Markdown——Xpath解析

标签：

Html5 Python

在平常学习记录的过程中往往会遇到网页中的表格无法复制的情况，想要将表格转成自己想要的markdown等格式通过手打确实挺费劲的，所以动手做了一点解析转化,这里仅针对网页中规范的表格

要求

1. 仅针对表格
2. 表格规范，有表头
3. 仅支持能转化成markdown的表格类型，不支持嵌套表格

流程

网页中大部分表格的代码都是较规范的，会区分开来th和td，如果是不规范的代码，去改一下这里的部分流程一样是可以用的(说不定还会简单一些)，我们的操作流程大致就是导入html表格代码块，然后通过xpath解析代码，找到每部分(行、列)对应的内容，利用markdown规范拼凑出对应内容

1. 解析代码

这里利用xpath解析html，引入etree，解析每一块内容，在解析的同时我们将文本中的<code></code>剔除

def getData(table):
    tables = re.sub('</code>', '', re.sub('<code>', '', table))
    html = etree.HTML(tables)
    body = []
    head = html.xpath('//table/thead/tr')

2. 获取表头

#获取表头
list_title = [th.xpath('.//text()') for th in head]
title = [data.strip() for data in list_title[0] if data.strip() != ""]

3. 根据表头长度确定符号线

#根据表头长度确定符号线
line = ["----"] * len(title)

4. 获取表格内容并用嵌套的列表保存

#获取表格内容并用嵌套的列表保存
        tbody = html.xpath('//table/tbody/tr')
        for tr in tbody:
            body.append(listFormat(tr, len(title)))
        return title, line, body

5. 打印或写入文件

直接打印出来或者写入.md文件再复制使用都可以

def printData(table):
    title, line, body = getData(table)
    # 用"|"分隔获取到的数据并依次打印
    result = [" | ".join(data) for data in body]
    print("| " + "| ".join(title) + "|")
    print("| " + " | ".join(line) + "|")
    for data in result:
        print("| " + data + "|")


def writeData(table):
    title, line, body = getData(table)
    result = [" | ".join(data) for data in body]
    with open("table.md", 'w', encoding='utf-8') as f:
        f.write("| " + "| ".join(title) + "|" + "\n")
        f.write("| " + " | ".join(line) + "|" + "\n")
        for data in result:
            f.write("| " + data + "|" + "\n")

测试

table = '''
        <table>
<thead>
<tr>
<th>运算符</th>
<th>说明</th>
<th>举例</th>
</tr>
</thead>
<tbody>
<tr>
<td>+</td>
<td>加法</td>
<td><code>expr $x + $y</code> 结果为 30。</td>
</tr>
<tr>
<td>-</td>
<td>减法</td>
<td><code>expr $x - $y</code> 结果为 -10。</td>
</tr>
<tr>
<td>*</td>
<td>乘法</td>
<td><code>expr $x * $y</code> 结果为 200。</td>
</tr>
<tr>
<td>/</td>
<td>除法</td>
<td><code>expr $y / $x</code> 结果为 2。</td>
</tr>
<tr>
<td>%</td>
<td>取余</td>
<td><code>expr $y % $x</code> 结果为 0。</td>
</tr>
<tr>
<td>=</td>
<td>赋值</td>
<td><code>x=$y</code> 将把变量 y 的值赋给 x。</td>
</tr>
<tr>
<td>==</td>
<td>相等。用于比较两个数字，相同则返回 true。</td>
<td><code>[ $x == $y ]</code> 返回 false。</td>
</tr>
<tr>
<td>!=</td>
<td>不相等。用于比较两个数字，不相同则返回 true。</td>
<td><code>[ $x != $y ]</code> 返回 true。</td>
</tr>
</tbody>
</table>
    '''

'''

printData(table)

#writeData(table)