instructor-embedding은(는) 무엇을 하나요?
컨텍스트에 특화된 텍스트 임베딩을 계산하여 검색 에이전트가 특정 도메인의 텍스트 작업에 의미론적 인식을 갖추도록 합니다.
설치
pip install sentence-transformers
사용법
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("hkunlp/instructor-xl")
sentences = [
"인공지능이 의료 분야에서 혁신을 일으키고 있습니다.",
"자연어 처리 기술이 점점 발전하고 있습니다."
]
embeddings = model.encode(sentences)
print(embeddings.shape)
작동 방식
Instructor Embedding은 instruction 매개변수를 지원하여 임베딩의 맥락을 지정할 수 있습니다.
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("hkunlp/instructor-xl")
sentence = "의료 분야에서의 인공지능"
instruction = "의료 분야 관련 논문을 검색하기 위한 질문을 표현합니다"
embedding = model.encode(sentence, instruction=instruction)
지원 모델
| 모델 | 크기 | 설명 |
|---|---|---|
hkunlp/instructor-base | 110M | 경량 모델 |
hkunlp/instructor-large | 330M | 중간 크기 모델 |
hkunlp/instructor-xl | 1.5B | 최대 성능 모델 |
참고 자료
참고: 이 스킬은
sentence-transformers라이브러리와 함께hkunlp/instructor-*모델을 사용합니다. 최적의 성능을 위해pip install --upgrade sentence-transformers를 실행하십시오.