HTML转文本 是做什么的?
使用此技能的场景:当你有HTML内容(如抓取的页面、新闻通讯正文、订阅源条目)时,希望获得干净、可读的纯文本,而又不想引入beautifulsoup4或lxml。一个简洁的HTMLParser子类会移除<script>/<style>,将块级元素转换为换行符,并折叠空白字符——这正是将内容发送给LLM(减少token数)或放入搜索索引之前所需的格式。
何时调用
- 用户说:“从这个HTML中提取文本”、“清理这个抓取的页面”、“在总结前去除标签”、“将这个邮件HTML转换为文本”。
- HTML即将输入给模型或摘要生成,而标记只是噪音。
何时不应调用
- 需要保留结构(表格、链接作为Markdown)——请使用真正的HTML到Markdown转换器。
- 页面由JavaScript渲染——先用无头浏览器获取内容,再进行转换。
具体示例
用户输入:
将这篇文章的HTML转换为纯文本,以便我用更少的token总结它。
输出:
# 将 assets/htmltext.py 复制到你的项目中,然后:
from htmltext import html_to_text
text = html_to_text(article_html)
summary = call_llm(f"总结以下内容:\n{text}")
<script> 和 <style> 代码块被完全丢弃,块级标签变成换行符,多余的空格和空行被折叠,因此输出读起来像散文。
应用模式
- 子类化
html.parser.HTMLParser并设置convert_charrefs=True,这样HTML实体会自动解码。 - 维护一个跳过深度计数器,用于
script/style/head,使其文本永远不会泄漏到输出中。 - 在块级标签周围添加换行符,然后折叠行内空白和多个空行。
- 保持纯函数(字符串输入,字符串输出),便于单元测试。
参考:assets/htmltext.py。
来源
源自作者自己的抓取和摘要流水线。v1.0.0。 另请参阅:[[rss-feed-reader]]、[[gemini-cost-tracker]]、[[pipeline-orchestrator]]。
→ 使用 Trawlkit 构建完整的可运行机器人。