HTML을 텍스트로 변환
HTML(스크래핑한 페이지, 뉴스레터 본문, 피드 항목 콘텐츠 등)이 있고 beautifulsoup4나 lxml을 추가하지 않고 깨끗하고 읽기 쉬운 일반 텍스트를 얻고 싶을 때 이 스킬을 사용하세요. 작은 HTMLParser 서브클래스가 <script>/<style>을 제거하고, 블록 요소를 줄바꿈으로 변환하며, 공백을 압축합니다. 이는 콘텐츠를 LLM에 보내기 전(토큰 수 감소)이나 검색 인덱스에 넣기 전에 딱 맞는 형태입니다.
호출 시점
- 사용자가 "이 HTML에서 텍스트를 추출해줘", "이 스크래핑한 페이지를 정리해줘", "요약하기 전에 태그를 제거해줘", "이 이메일 HTML을 텍스트로 변환해줘"라고 말할 때.
- HTML이 모델이나 요약본에 입력되려고 하는데 마크업이 잡음일 때.
호출하지 말아야 할 때
- 구조(표, 링크를 마크다운으로)를 유지해야 하는 경우 - 실제 HTML-to-Markdown 변환기를 사용하세요.
- 페이지가 JavaScript로 렌더링되는 경우 - 먼저 헤드리스 브라우저로 가져온 다음 변환하세요.
구체적인 예시
사용자 입력:
이 기사 HTML을 일반 텍스트로 변환해서 더 적은 토큰으로 요약할 수 있게 해줘.
출력:
# assets/htmltext.py를 프로젝트에 복사한 후:
from htmltext import html_to_text
text = html_to_text(article_html)
summary = call_llm(f"Summarize:\n{text}")
<script>와 <style> 블록은 완전히 제거되고, 블록 태그는 줄바꿈이 되며, 연속된 공백/빈 줄은 압축되어 출력이 산문처럼 읽힙니다.
적용할 패턴
convert_charrefs=True로html.parser.HTMLParser를 서브클래싱하여 엔티티가 자동으로 디코딩되도록 합니다.script/style/head에 대한 건너뛰기 깊이를 추적하여 해당 텍스트가 출력에 절대 누출되지 않도록 합니다.- 블록 태그 주위에 줄바꿈을 추가한 다음, 줄 내 공백과 여러 빈 줄을 압축합니다.
- 순수하게 (문자열 입력, 문자열 출력) 유지하여 단위 테스트가 간단합니다.
참조: assets/htmltext.py.
출처
저자의 스크래핑 및 다이제스트 파이프라인에서 추출되었습니다. v1.0.0. 참고: [[rss-feed-reader]], [[gemini-cost-tracker]], [[pipeline-orchestrator]].
→ Trawlkit으로 완전한 실행 가능 봇을 구축하세요.