Communitygithub.com

OpenLAIR/dr-claw

OpenAI의 범용 음성 인식 모델입니다. 99개 언어를 지원하며, 텍스트 변환, 영어 번역 및 언어 식별 기능을 제공합니다. tiny(39M 파라미터)부터 large(1550M 파라미터)까지 6가지 모델 크기가 있습니다. 음성-텍스트 변환, 팟캐스트 녹취, 다국어 오디오 처리 등에 사용됩니다. 강력하고 다국어를 지원하는 ASR에 최적입니다.

dr-claw란 무엇인가요?

이 스킬은 OpenAI의 Whisper 모델을 활용한 강력한 다국어 음성 인식(ASR) 시스템입니다. 99개 언어를 지원하며, 음성을 텍스트로 변환하거나 영어로 번역할 수 있습니다. tiny, base, small, medium, large, turbo의 6가지 모델 크기를 제공하여 하드웨어 제약과 정확도 요구 사항에 맞게 선택할 수 있습니다. turbo 모델은 빠른 속도와 우수한 품질로 권장되며, base 모델은 프로토타이핑에 적합합니다. GPU 가속을 지원하여 10~20배 빠른 처리 속도를 제공하며, faster-whisper 라이브러리와 함께 실시간 스트리밍 전사에도 사용할 수 있습니다. Python API와 명령줄 인터페이스를 모두 지원하며, SRT, VTT, JSON 등 다양한 출력 형식을 제공합니다. 스킬 마크다운에는 설치 방법, 기본 전사 코드, 모델 크기별 성능 비교, 다양한 전사 옵션(언어 지정, 태스크 선택, 초기 프롬프트, 타임스탬프, 온도 폴백), 배치 처리, 실시간 전사, GPU 가속, 다른 도구(LangChain 등)와의 통합 방법, 모범 사례 및 성능 벤치마크가 포함되어 있습니다.

지원 대상~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/OpenLAIR/dr-claw/tree/HEAD/skills/multimodal/whisper

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

Whisper - 강력한 음성 인식

OpenAI의 다국어 음성 인식 모델입니다.

Whisper를 사용하는 경우

다음과 같은 경우에 사용하세요:

  • 음성을 텍스트로 변환(99개 언어)
  • 팟캐스트/비디오 전사
  • 회의록 자동화
  • 영어로 번역
  • 잡음이 있는 오디오 전사
  • 다국어 오디오 처리

성능 지표:

  • 72,900개 이상의 GitHub 스타
  • 99개 언어 지원
  • 680,000시간의 오디오로 학습
  • MIT 라이선스

대안을 사용해야 하는 경우:

  • AssemblyAI: 관리형 API, 화자 분리
  • Deepgram: 실시간 스트리밍 ASR
  • Google Speech-to-Text: 클라우드 기반

빠른 시작

설치

# Python 3.8-3.11 필요
pip install -U openai-whisper

# ffmpeg 필요
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg

기본 전사

import whisper

# 모델 로드
model = whisper.load_model("base")

# 전사
result = model.transcribe("audio.mp3")

# 텍스트 출력
print(result["text"])

# 세그먼트 접근
for segment in result["segments"]:
    print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")

모델 크기

# 사용 가능한 모델
models = ["tiny", "base", "small", "medium", "large", "turbo"]

# 특정 모델 로드
model = whisper.load_model("turbo")  # 가장 빠르고 품질 우수
모델파라미터영어 전용다국어속도VRAM
tiny39M✓✓~32x~1 GB
base74M✓✓~16x~1 GB
small244M✓✓~6x~2 GB
medium769M✓✓~2x~5 GB
large1550M✗✓1x~10 GB
turbo809M✗✓~8x~6 GB

권장 사항: turbo는 최고의 속도/품질, base는 프로토타이핑에 적합

전사 옵션

언어 지정

# 언어 자동 감지
result = model.transcribe("audio.mp3")

# 언어 지정 (더 빠름)
result = model.transcribe("audio.mp3", language="en")

# 지원 언어: en, es, fr, de, it, pt, ru, ja, ko, zh 등 89개 추가

태스크 선택

# 전사 (기본값)
result = model.transcribe("audio.mp3", task="transcribe")

# 영어로 번역
result = model.transcribe("spanish.mp3", task="translate")
# 입력: 스페인어 오디오 → 출력: 영어 텍스트

초기 프롬프트

# 컨텍스트로 정확도 향상
result = model.transcribe(
    "audio.mp3",
    initial_prompt="This is a technical podcast about machine learning and AI."
)

# 다음에 도움이 됨:
# - 기술 용어
# - 고유 명사
# - 도메인 특화 어휘

타임스탬프

# 단어 수준 타임스탬프
result = model.transcribe("audio.mp3", word_timestamps=True)

for segment in result["segments"]:
    for word in segment["words"]:
        print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")

온도 폴백

# 신뢰도가 낮으면 다른 온도로 재시도
result = model.transcribe(
    "audio.mp3",
    temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)

명령줄 사용법

# 기본 전사
whisper audio.mp3

# 모델 지정
whisper audio.mp3 --model turbo

# 출력 형식
whisper audio.mp3 --output_format txt     # 일반 텍스트
whisper audio.mp3 --output_format srt     # 자막
whisper audio.mp3 --output_format vtt     # WebVTT
whisper audio.mp3 --output_format json    # 타임스탬프가 포함된 JSON

# 언어
whisper audio.mp3 --language Spanish

# 번역
whisper spanish.mp3 --task translate

배치 처리

import os

audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]

for audio_file in audio_files:
    print(f"{audio_file} 전사 중...")
    result = model.transcribe(audio_file)

    # 파일로 저장
    output_file = audio_file.replace(".mp3", ".txt")
    with open(output_file, "w") as f:
        f.write(result["text"])

실시간 전사

# 스트리밍 오디오의 경우 faster-whisper 사용
# pip install faster-whisper

from faster_whisper import WhisperModel

model = WhisperModel("base", device="cuda", compute_type="float16")

# 스트리밍 전사
segments, info = model.transcribe("audio.mp3", beam_size=5)

for segment in segments:
    print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")

GPU 가속

import whisper

# GPU 사용 가능 시 자동 사용
model = whisper.load_model("turbo")

# CPU 강제 사용
model = whisper.load_model("turbo", device="cpu")

# GPU 강제 사용
model = whisper.load_model("turbo", device="cuda")

# GPU에서 10~20배 빠름

다른 도구와의 통합

자막 생성

# SRT 자막 생성
whisper video.mp4 --output_format srt --language English

# 출력: video.srt

LangChain과 함께 사용

from langchain.document_loaders import WhisperTranscriptionLoader

loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()

# RAG에서 전사 사용
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())

비디오에서 오디오 추출

# ffmpeg를 사용하여 오디오 추출
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav

# 그런 다음 전사
whisper audio.wav

모범 사례

  1. turbo 모델 사용 - 영어에 최적의 속도/품질
  2. 언어 지정 - 자동 감지보다 빠름
  3. 초기 프롬프트 추가 - 기술 용어 개선
  4. GPU 사용 - 10~20배 빠름
  5. 배치 처리 - 더 효율적
  6. WAV로 변환 - 호환성 향상
  7. 긴 오디오 분할 - 30분 미만 청크
  8. 언어 지원 확인 - 언어별 품질 상이
  9. faster-whisper 사용 - openai-whisper보다 4배 빠름
  10. VRAM 모니터링 - 하드웨어에 맞게 모델 크기 조정

성능

모델실시간 계수 (CPU)실시간 계수 (GPU)
tiny~0.32~0.01
base~0.16~0.01
turbo~0.08~0.01
large~1.0~0.05

실시간 계수: 0.1 = 실제 시간보다 10배 빠름

언어 지원

주요 지원 언어:

  • 영어 (en)
  • 스페인어 (es)
  • 프랑스어 (fr)
  • 독일어 (de)
  • 이탈리아어 (it)
  • 포르투갈어 (pt)
  • 러시아어 (ru)
  • 일본어 (ja)
  • 한국어 (ko)
  • 중국어 (zh)

전체 목록: 총 99개 언어

제한 사항

  1. 환각 현상 - 텍스트를 반복하거나 생성할 수 있음
  2. 긴 형식 정확도 - 30분 이상 오디오에서 성능 저하
  3. 화자 식별 - 화자 분리 기능 없음
  4. 억양 - 품질이 다양함
  5. 배경 잡음 - 정확도에 영향을 줄 수 있음
  6. 실시간 지연 시간 - 라이브 자막에 적합하지 않음

리소스

관련 스킬