트랜스포머 모델이란?

정의

먼저 텍스트가 토큰이라는 작은 조각으로 나뉘며, 토큰은 대개 단어 전체나 단어의 일부입니다. 핵심 단계는 어텐션이라고 합니다. 각 토큰에 대해 모델은 텍스트의 다른 토큰들과 얼마나 강하게 관련되는지 가늠하며, 이를 통해 "그것" 같은 단어가 무엇을 가리키는지 알아냅니다. 마지막으로 가능한 모든 다음 토큰에 점수를 매기고, 가능성 높은 것 중 하나를 골라 덧붙인 뒤, 이를 반복합니다.

이 일을 하기 전에 모델은 먼저 학습을 거칩니다. 매우 많은 양의 텍스트를 보면서 예측이 나아질 때까지 수없이 스스로를 조정합니다. 그래서 매끄럽고 자연스러운 글을 쓰며, 이것이 가장 큰 약점의 원인이기도 합니다. 모델은 그럴듯한 텍스트를 만들어낼 뿐 검증된 사실을 찾아보지 않으므로, 거짓을 참과 똑같이 차분한 어조로 말할 수 있습니다. Claude와 OpenAI의 ChatGPT 같은 도구가 이런 방식으로 만들어집니다.

기업에 중요한 이유

• 유창함이 정확함은 아닙니다. 잘 쓰인 결과물도 틀릴 수 있으므로 사실, 수치, 인용문은 확인해야 합니다.
• 귀사의 데이터: 호스팅 모델을 쓰면 텍스트가 처리를 위해 제공업체에 전송되므로, 무엇을 공유해도 되는지 정하십시오.
• 비용: 사용량은 보통 토큰 단위로 측정되므로 입력과 출력이 길수록 비용이 더 듭니다.
• 사람의 검토: 고객이나 기록에 전달되는 모든 것은 아는 사람이 읽어야 합니다.

저희 업무에서는 이렇게 나타납니다

저희 AI 및 자동화 업무에서는 작업마다 모델을 선택하고, 중요한 결과물에는 사람이 개입하도록 하며, 어떤 데이터를 보내도 되는지 고객이 정하도록 돕습니다. 스스로 행동하는 도구에 대해 더 알고 싶다면 에이전틱 AI를 읽어 보십시오.

자세히 보기

• 위키백과의 트랜스포머 항목설계에 대한 기술적 개괄로, 더 깊이 알고 싶은 독자에게 유용합니다.
• 위키백과의 대규모 언어 모델 항목이런 모델이 어떻게 만들어지고 쓰이는지 중립적으로 개괄하며, 시작점으로 유용합니다.