구글, 젬마 AI 모델 제품군 코딩 및 연구용 변형 업데이트
페이지 정보
작성자 코딩정보 작성일 24-04-11 12:04 조회 12회 댓글 0건본문
구글, 젬마 AI 모델 제품군 코딩 및 연구용 변형 업데이트
구글 LLC는 화요일 젬마 계열의 경량 오픈 소스 인공지능 대형 언어 모델에 코딩 기능과 연구 실험 기회를 추가할 첫 번째 새로운 기능을 발표했습니다.
Gemma 모델은 Google의 Gemini 모델과 기술적 구성 요소를 공유하며, 이는 Google이 지금까지 생산한 모델 중 가장 복잡하고 강력한 모델입니다. Gemini는 웹과 모바일 장치에서 사용할 수 있는 이전 이름인 Bard인 회사의 Gemini AI 챗봇의 기반이 되며, 또한 Google의 AI 기반 서비스의 많은 부분에 전원을 공급하는 데 사용됩니다.
두 가지 새로운 변형 중 하나는 코드 완성 및 생성 작업을 위한 경량 모델인 코드젬마(CodeGemma)와 명령어 추종 기능이 결합된 모델입니다. 다른 하나는 연구 목적으로 설계된 효율적인 모델인 리커런트젬마(RecurrentGemma)입니다. 구글은 또한 성능 업데이트 및 버그 수정을 포함하여 젬마 자체에 대한 성능 업그레이드를 선보였습니다.
코드젬마는 세 가지 크기로 제공되는 강력하지만 가벼운 코딩 모델입니다. 첫 번째는 코드 완성 및 코드 생성 작업에 특화된 사전 훈련된 70억 매개변수 변형으로 모든 개발자가 일상적인 개발 작업에 사용할 수 있는 기본 버전입니다. 다음은 코드 채팅 및 명령어 팔로우를 위한 70억 매개변수 명령어 조정 변형으로 개발자의 의도를 이해하고 코드 변경 사항을 추천하며 코드 블록을 제공할 수 있습니다. 마지막으로 로컬 머신에 맞게 크기가 지정된 빠른 완성을 위한 사전 훈련된 20억 매개변수 모델이 있습니다.
이러한 새로운 모델 변형을 사용하여 코드젬마는 선을 완성하고 심지어 로컬 또는 클라우드 리소스를 사용하여 코드 블록 전체를 생성할 수 있다고 구글은 말했습니다. 이 모델은 주로 웹 문서, 수학 및 코드에서 가져온 영어 데이터에서 5,000억 개의 토큰으로 훈련되었습니다. 파이썬, 자바스크립트 및 자바를 포함한 여러 언어와 다른 인기 있는 언어에 능숙합니다.
리커런트젬마는 메모리 효율성을 향상시키기 위해 순환 신경망과 로컬 어텐션을 사용하도록 설계된 모델입니다. 이것은 이 모델이 메모리 요구 사항을 크게 낮출 수 있게 하고, 이것은 단일 그래픽 처리 장치 또는 중앙 처리 장치와 같은 제한된 메모리를 가진 장치에서 사용할 수 있게 합니다. 구글은 이것이 연구 목적으로 설계된 기술적으로 구별되는 모델이라고 말했습니다.
특히 순환 신경망은 긴 시퀀스를 생성할 때 효율적으로 확장되므로 제한된 메모리를 사용하더라도 훨씬 더 큰 배치 크기에서 라이브 데이터를 실행할 때 초당 더 많은 토큰을 생성할 수 있습니다.
이러한 개선을 통해 RecurrentGemma는 메모리 사용량을 크게 개선하고 성능을 높이는 동시에 Gemma 2B 모델과 유사한 벤치마크 점수를 생성할 수 있습니다.
구글은 블로그 게시물에서 "리커런트젬마는 고성능을 달성하는 비변압기 모델을 선보이며 딥러닝 연구의 발전을 강조합니다."라고 밝혔습니다.
구글은 또한 이전 버전에 비해 전반적으로 성능이 향상되고 버그 수정이 포함된 Gemma 1.1의 출시를 발표했습니다. 회사는 유연성을 제공하기 위해 서비스 조건을 변경하는 데 있어 개발자의 피드백을 들었다고 말했습니다.
Gemma와 새 모델에 대한 액세스는 Gemma 웹사이트, Vertex AI Model Garden – 관리형 AI 개발을 위한 Google의 클라우드 서비스 – Hugging Face 모델 저장소, NVIDIA Corp.의 NIM 애플리케이션 프로그래밍 인터페이스 또는 Kaggle을 사용하여 다운로드할 수 있습니다.
구글 LLC는 화요일 젬마 계열의 경량 오픈 소스 인공지능 대형 언어 모델에 코딩 기능과 연구 실험 기회를 추가할 첫 번째 새로운 기능을 발표했습니다.
Gemma 모델은 Google의 Gemini 모델과 기술적 구성 요소를 공유하며, 이는 Google이 지금까지 생산한 모델 중 가장 복잡하고 강력한 모델입니다. Gemini는 웹과 모바일 장치에서 사용할 수 있는 이전 이름인 Bard인 회사의 Gemini AI 챗봇의 기반이 되며, 또한 Google의 AI 기반 서비스의 많은 부분에 전원을 공급하는 데 사용됩니다.
두 가지 새로운 변형 중 하나는 코드 완성 및 생성 작업을 위한 경량 모델인 코드젬마(CodeGemma)와 명령어 추종 기능이 결합된 모델입니다. 다른 하나는 연구 목적으로 설계된 효율적인 모델인 리커런트젬마(RecurrentGemma)입니다. 구글은 또한 성능 업데이트 및 버그 수정을 포함하여 젬마 자체에 대한 성능 업그레이드를 선보였습니다.
코드젬마는 세 가지 크기로 제공되는 강력하지만 가벼운 코딩 모델입니다. 첫 번째는 코드 완성 및 코드 생성 작업에 특화된 사전 훈련된 70억 매개변수 변형으로 모든 개발자가 일상적인 개발 작업에 사용할 수 있는 기본 버전입니다. 다음은 코드 채팅 및 명령어 팔로우를 위한 70억 매개변수 명령어 조정 변형으로 개발자의 의도를 이해하고 코드 변경 사항을 추천하며 코드 블록을 제공할 수 있습니다. 마지막으로 로컬 머신에 맞게 크기가 지정된 빠른 완성을 위한 사전 훈련된 20억 매개변수 모델이 있습니다.
이러한 새로운 모델 변형을 사용하여 코드젬마는 선을 완성하고 심지어 로컬 또는 클라우드 리소스를 사용하여 코드 블록 전체를 생성할 수 있다고 구글은 말했습니다. 이 모델은 주로 웹 문서, 수학 및 코드에서 가져온 영어 데이터에서 5,000억 개의 토큰으로 훈련되었습니다. 파이썬, 자바스크립트 및 자바를 포함한 여러 언어와 다른 인기 있는 언어에 능숙합니다.
리커런트젬마는 메모리 효율성을 향상시키기 위해 순환 신경망과 로컬 어텐션을 사용하도록 설계된 모델입니다. 이것은 이 모델이 메모리 요구 사항을 크게 낮출 수 있게 하고, 이것은 단일 그래픽 처리 장치 또는 중앙 처리 장치와 같은 제한된 메모리를 가진 장치에서 사용할 수 있게 합니다. 구글은 이것이 연구 목적으로 설계된 기술적으로 구별되는 모델이라고 말했습니다.
특히 순환 신경망은 긴 시퀀스를 생성할 때 효율적으로 확장되므로 제한된 메모리를 사용하더라도 훨씬 더 큰 배치 크기에서 라이브 데이터를 실행할 때 초당 더 많은 토큰을 생성할 수 있습니다.
이러한 개선을 통해 RecurrentGemma는 메모리 사용량을 크게 개선하고 성능을 높이는 동시에 Gemma 2B 모델과 유사한 벤치마크 점수를 생성할 수 있습니다.
구글은 블로그 게시물에서 "리커런트젬마는 고성능을 달성하는 비변압기 모델을 선보이며 딥러닝 연구의 발전을 강조합니다."라고 밝혔습니다.
구글은 또한 이전 버전에 비해 전반적으로 성능이 향상되고 버그 수정이 포함된 Gemma 1.1의 출시를 발표했습니다. 회사는 유연성을 제공하기 위해 서비스 조건을 변경하는 데 있어 개발자의 피드백을 들었다고 말했습니다.
Gemma와 새 모델에 대한 액세스는 Gemma 웹사이트, Vertex AI Model Garden – 관리형 AI 개발을 위한 Google의 클라우드 서비스 – Hugging Face 모델 저장소, NVIDIA Corp.의 NIM 애플리케이션 프로그래밍 인터페이스 또는 Kaggle을 사용하여 다운로드할 수 있습니다.