오늘 미국 서부(오리건) AWS 리전에서 Amazon Bedrock의 Anthropic Claude 3 Haiku 모델용 미세 조정 기능을 정식 출시한다는 소식을 알려드립니다. Amazon Bedrock은 Claude 모델을 미세 조정할 수 있는 기능을 제공하는 유일한 완전관리형 서비스입니다. 이제 자체 작업별 훈련 데이터세트로 Claude 3 Haiku 모델을 미세 조정하고 사용자 지정하여 모델 정확도, 품질, 일관성을 향상시켜 생성형 AI를 비즈니스에 맞게 추가로 조정할 수 있습니다.
미세 조정은 최적의 결과를 얻기 위해 가중치를 업데이트하고 학습률 및 배치 크기와 같은 하이퍼파라미터를 조정하여 사전 훈련된 대규모 언어 모델(LLM)을 특정 작업에 맞게 사용자 지정하는 기법입니다.
Anthropic의 Claude 3 Haiku 모델은 Claude 3 모델 제품군 중 가장 빠르고 컴팩트한 모델입니다. Claude 3 Haiku를 미세 조정하면 비즈니스에 상당한 이점이 있습니다.
사용자 지정 – 회사 및 도메인 지식을 인코딩하여 일반 모델에 비해 비즈니스에 중요한 영역에서 탁월한 성능을 발휘하는 모델을 사용자 지정할 수 있습니다.
특화된 성능 – 더 높은 품질의 결과를 생성하고 회사의 독점 정보, 브랜드, 제품 등을 반영하는 고유한 사용자 경험을 창출할 수 있습니다.
작업별 최적화 – 분류, 사용자 지정 API와의 상호 작용 또는 산업별 데이터 해석과 같은 도메인별 작업의 성능을 개선할 수 있습니다.
데이터 보안 – 안전한 AWS 환경에서 안심하고 미세 조정할 수 있습니다. Amazon Bedrock은 사용자만 액세스할 수 있는 기본 파운데이션 모델의 별도 사본을 만들고 이 비공개 모델 사본을 훈련시킵니다.
이제 도메인별로 레이블이 지정된 데이터를 제공하여 Amazon Bedrock에서 Claude 3 Haiku 모델을 미세 조정함으로써 특정 비즈니스 사용 사례에 맞게 성능을 최적화할 수 있습니다.
AWS는 2024년 초 AWS 생성형 AI 혁신 센터의 전문가 팀과 함께 고객을 참여시켜 Anthropic의 Claude 모델을 독점 데이터 소스로 미세 조정하는 데 도움을 주기 시작했습니다. 이제 Amazon Bedrock 콘솔에서 Amazon Bedrock의 Anthropic Claude 3 Haiku 모델을 직접 미세 조정할 수 있다는 사실을 알려드리게 되어 기쁩니다.
Amazon Bedrock에서 Anthropic의 Claude 3 Haiku 모델 미세 조정 시작하기
Amazon Bedrock에서 Claude 3 Haiku 모델을 손쉽게 미세 조정하는 방법을 보여 드리겠습니다. 미세 조정 워크플로에 대해 자세히 알아보려면 AWS 기계 학습 블로그 게시물인 Amazon Bedrock에서 Anthropic의 Claude 3 Haiku를 미세 조정하여 모델 정확도 및 품질 향상을 참조하세요.
Amazon Bedrock 콘솔에서 간단한 미세 조정 작업을 생성하려면 탐색 창의 파운데이션 모델 섹션으로 이동하여 사용자 지정 모델을 선택합니다. 모델 섹션에서 모델 사용자 지정 버튼을 선택한 다음 미세 조정 작업 생성을 선택합니다.
다음으로 자체 데이터로 사용자 지정하려는 모델을 선택하고, 결과 모델에 이름을 지정하고, 선택적으로 모델 세부 정보 섹션에서 모델에 연결할 암호화 키와 태그를 추가합니다. 작업 이름을 입력하고 필요에 따라 작업 구성 섹션에서 작업에 대한 태그를 추가할 수 있습니다.
입력 데이터 섹션에서 훈련 데이터세트 파일의 Amazon S3 위치와 해당하는 경우 검증 데이터세트 파일을 선택할 수 있습니다.
각 데이터세트는 싱글턴 또는 멀티턴 메시징 형식을 사용하는 여러 JSON 줄이 포함된 JSON Lines(JSONL) 파일을 사용하여 생성할 수 있습니다. 각 JSON 줄은 시스템 및 메시지, 메시지 객체 배열을 포함하는 샘플입니다.
Amazon Bedrock의 Anthropic Claude 3.5 Sonnet 모델에 대한 최신 정보를 준비했습니다. 자세히 알아보려면 Amazon Bedrock 설명서의 데이터세트 준비를 참조하세요.
{“system”: “You are an helpful assistant.”,”messages”:[{“role”: “user”, “content”: “What’s the latest models to support Amazon Bedrock”},{“role”: “assistant”, “content”: “Amazon Bedrock is a fully managed service that support Anthropic’s Claude 3 Sonnet, Haiku, and Opus models and the latest Claud 3.5 Sonnet model.”}]}
{“system”: “You are an helpful assistant.”,”messages”:[{“role”: “user”, “content”: “How long context window of Claude 3.5?”},{“role”: “assistant”, “content”: “Anthropic’s Claude 3 models have a 200,000 token context window enabling you to relay a large volume of information to Claude. This translates to roughly 150,000 words, or over 500 pages of material.”}]}
{“system”: “You are an helpful assistant.”,”messages”:[{“role”: “user”, “content”: “Is Claude 3.5 available in Bedrock?”},{“role”: “assistant”, “content”: “Anthropic’s most intelligent and advanced model, Claude 3.5 Sonnet, demonstrates exceptional capabilities across a diverse range of tasks and evaluations while also outperforming Claude 3 Opus.”}]}
하이퍼파라미터 섹션에서 에포크, 배치 크기, 학습률 승수와 같이 훈련에 사용할 하이퍼파라미터의 값을 입력합니다. 검증 데이터세트를 포함했다면 과적합을 방지하고 검증 손실이 개선되지 않을 때 훈련 과정을 중지하는 데 사용되는 기법인 조기 중지를 활성화할 수 있습니다. 조기 중지 임계값 및 인내 값을 설정할 수 있습니다.
또한 출력 데이터 섹션에서 Amazon Bedrock이 작업 출력을 저장해야 하는 출력 위치를 선택할 수 있습니다. 서비스 액세스 섹션에서 적절한 권한이 있는 AWS Identity and Access Management(IAM) 사용자 지정 서비스 역할을 선택합니다. 자세히 알아보려면 Amazon Bedrock 설명서의 모델 사용자 지정을 위한 서비스 역할 생성을 참조하세요.
마지막으로 미세 조정 작업 생성을 선택하고 미세 조정 작업이 시작될 때까지 기다립니다.
사용자 지정 모델 섹션의 작업 탭에서 진행 상황을 추적하거나 중지할 수 있습니다.
모델 사용자 지정 작업이 완료된 후, 작업을 제출할 때 지정한 출력 Amazon Simple Storage Service(Amazon S3) 폴더에서 파일을 확인하여 훈련 프로세스의 결과를 분석하거나 모델에 대한 세부 정보를 볼 수 있습니다.
사용자 지정 모델을 사용하기 전에 Amazon Bedrock의 프로비저닝된 처리량을 구매한 다음, 그 결과 프로비저닝된 모델을 추론에 사용해야 합니다. 프로비저닝된 처리량을 구매하면 약정 기간을 선택하고 모델 유닛 수를 선택하고 시간당, 일별, 월별 추정 비용을 확인할 수 있습니다. Claude 3 Haiku 모델의 사용자 지정 모델 요금에 대해 자세히 알아보려면 Amazon Bedrock 요금을 참조하세요.
이제 콘솔 플레이그라운드에서 사용자 지정 모델을 테스트할 수 있습니다. 사용자 지정 모델을 선택하고 Anthropic의 Claude 3.5 Sonnet 모델을 Amazon Bedrock에서 사용할 수 있는지 묻습니다.
다음과 같은 답변을 받았습니다.
Yes. You can use Anthropic’s most intelligent and advanced model, Claude 3.5 Sonnet in the Amazon Bedrock. You can demonstrate exceptional capabilities across a diverse range of tasks and evaluations while also outperforming Claude 3 Opus.
AWS API, AWS SDK 또는 AWS Command Line Interface(AWS CLI)를 사용하여 이 작업을 완료할 수 있습니다. AWS CLI 사용에 대해 자세히 알아보려면 AWS 설명서의 모델 사용자 지정을 위한 코드 샘플을 참조하세요.
Jupyter Notebook을 사용하는 경우 GitHub 리포지토리를 방문하여 사용자 지정 모델에 대한 실습 가이드를 따르세요. 프로덕션 수준의 작업을 구축하려면 AWS 기계 학습 블로그에서 Terraform을 사용하여 프로비저닝된 처리량을 갖춘 Amazon Bedrock의 사용자 지정 모델 생성 및 배포 간소화를 읽어보는 것이 좋습니다.
데이터세트 및 파라미터
Claude 3 Haiku를 미세 조정할 때 가장 먼저 해야 할 일은 데이터세트를 살펴보는 것입니다. Haiku 훈련과 관련된 데이터세트에는 두 가지가 있는데, 바로 훈련 데이터세트와 검증 데이터세트입니다. 훈련에 성공하기 위해 따라야 하는 특정 파라미터가 다음 표에 요약되어 있습니다.
훈련 데이터
검증 데이터
파일 형식
JSONL
파일 크기
10GB 이하
1GB 이하
줄 수
32~10,000줄
32~1,000줄
훈련 + 검증 합계: 10,000줄 이하
토큰 제한
항목당 토큰 32,000개 미만
예약 키워드
프롬프트에 “nHuman:” 또는 “nAssistant:”가 표시되지 않도록 해야 함
데이터세트를 준비할 때는 소규모의 고품질 데이터세트로 시작하여 조정 결과를 기반으로 반복하세요. Claude 3 Opus 또는 Claude 3.5 Sonnet과 같은 Anthropic의 대규모 모델을 사용하여 훈련 데이터를 세분화하고 개선할 수 있습니다. 또한 이를 사용하여 Claude 3 Haiku 모델을 미세 조정하기 위한 훈련 데이터를 생성할 수 있습니다. 이는 대규모 모델이 이미 대상 작업에서 잘 수행되고 있는 경우 매우 효과적일 수 있습니다.
적절한 하이퍼파라미터 선택 및 데이터세트 준비에 대한 자세한 내용은 AWS 기계 학습 블로그 게시물, Amazon Bedrock에서 Anthropic의 Claude 3 Haiku를 미세 조정하기 위한 모범 사례 및 강의를 참조하세요.
데모 동영상
Amazon Bedrock에서 Anthropic의 Claude 3 Haiku 모델 미세 조정을 시작하는 데 도움이 되는 단계별 설명을 보려면 이 심층 분석 데모 동영상을 확인하세요.
정식 출시
이제 미국 서부(오리건) AWS 리전에서 Amazon Bedrock의 Anthropic Claude 3 Haiku 모델 미세 조정을 정식 버전으로 이용할 수 있습니다. 향후 업데이트 여부는 전체 리전 목록을 확인하세요. 자세한 내용은 Amazon Bedrock 설명서의 사용자 지정 모델을 참조하세요.
지금 바로 Amazon Bedrock 콘솔에서 Claude 3 Haiku 모델 미세 조정을 사용해 보고, Amazon Bedrock용 AWS re:Post에 피드백을 보내거나 일반적인 AWS Support 문의를 통해 피드백을 보내주세요.
이 새로운 기술을 비즈니스에 활용하면 어떤 결과를 얻을 수 있을지 기대됩니다.
– Channy