HTML a Texto
Usa esta habilidad cuando tengas HTML – una página scrapeada, el cuerpo de un boletín, el contenido de una entrada de feed – y quieras texto plano limpio y legible sin agregar beautifulsoup4 ni lxml. Una subclase pequeña de HTMLParser elimina <script>/<style>, convierte elementos de bloque en nuevas líneas y colapsa espacios en blanco, que es exactamente la forma que necesitas antes de enviar el contenido a un LLM (menos tokens) o a un índice de búsqueda.
Cuándo invocarlo
- El usuario dice: "saca el texto de este HTML", "limpia esta página scrapeada", "elimina etiquetas antes de resumir", "convierte este HTML de correo a texto".
- El HTML está a punto de ser alimentado a un modelo o a un resumen y el marcado es solo ruido.
Cuándo NO invocarlo
- Necesitas mantener la estructura (tablas, enlaces como Markdown) – usa un convertidor real de HTML a Markdown.
- La página es renderizada por JavaScript – primero obténla con un navegador sin interfaz gráfica, luego conviértela.
Ejemplo concreto
Entrada del usuario:
Convierte este HTML de artículo en texto plano para poder resumirlo con menos tokens.
Salida:
# Copia assets/htmltext.py en tu proyecto, luego:
from htmltext import html_to_text
text = html_to_text(article_html)
summary = call_llm(f"Resume:\n{text}")
Los bloques <script> y <style> se eliminan por completo, las etiquetas de bloque se convierten en saltos de línea y las secuencias de espacios/líneas en blanco se colapsan, de modo que la salida se lee como prosa.
Patrón a aplicar
- Crea una subclase de
html.parser.HTMLParserconconvert_charrefs=Truepara que las entidades se decodifiquen automáticamente. - Lleva un seguimiento de la profundidad de omisión para
script/style/headpara que su texto nunca se filtre en la salida. - Emite nuevas líneas alrededor de etiquetas de bloque, luego colapsa espacios en blanco dentro de la línea y múltiples líneas en blanco.
- Mantenlo puro (string de entrada, string de salida) para que sea trivial de probar unitariamente.
Referencia: assets/htmltext.py.
Fuente
Destilado de los pipelines de scraping y resumen del autor. v1.0.0. Ver también: [[rss-feed-reader]], [[gemini-cost-tracker]], [[pipeline-orchestrator]].
→ Construye el bot ejecutable completo con Trawlkit.