ServiceNow, Hugging Face 및 NVIDIA는 개발자가 엔터프라이즈 애플리케이션 구축을 위한 생성 AI를 활용…
페이지 정보
작성자 기술정보 작성일 24-07-05 12:42 조회 14회 댓글 0건본문
ServiceNow, Hugging Face 및 NVIDIA는 개발자가 엔터프라이즈 애플리케이션 구축을 위한 생성 AI를 활용할 수 있도록 새로운 오픈 액세스 LLM을 출시합니다
StarCoder2 — BigCode Community를 기반으로 제작되어 600개 이상의 프로그래밍 언어에 대해 교육됨 - 코드 생성, 투명성, 거버넌스 및 혁신 발전
ServiceNow(NYSE: NOW), Hugging Face 및 NVIDIA는 오늘 성능, 투명성 및 비용 효율성에 대한 새로운 표준을 설정하는 코드 생성을 위한 개방형 대형 언어 모델 제품군인 StarCoder2를 출시했다고 발표했습니다.
StarCoder2는 빅코드 커뮤니티와 협력하여 개발되었으며, 세계를 모두에게 더 나은 작업 환경으로 만드는 선도적인 디지털 워크플로우 회사인 ServiceNow와 머신 러닝 커뮤니티가 모델, 데이터 세트 및 애플리케이션에서 협업하는 가장 많이 사용되는 오픈 소스 플랫폼인 Hugging Face가 관리합니다.
619개의 프로그래밍 언어로 훈련된 StarCoder2는 애플리케이션 소스 코드 생성, 워크플로우 생성, 텍스트 요약 등과 같은 전문화된 작업을 수행하기 위해 추가로 훈련되고 엔터프라이즈 애플리케이션에 내장될 수 있습니다. 개발자는 코드 완성, 고급 코드 요약, 코드 스니펫 검색 및 기타 기능을 사용하여 혁신을 가속화하고 생산성을 향상시킬 수 있습니다.
StarCoder2는 세 가지 모델 크기를 제공합니다: ServiceNow에서 훈련한 30억 매개 변수 모델; Hugging Face에서 훈련한 70억 매개 변수 모델; 그리고 NVIDIA NeMo에서 구축하고 NVIDIA 가속 인프라에서 훈련한 150억 매개 변수 모델. 더 작은 변형은 추론하는 동안 적은 수의 매개 변수가 컴퓨팅을 필요로 하기 때문에 컴퓨팅 비용을 절약하면서 강력한 성능을 제공합니다. 사실, 새로운 30억 매개 변수 모델은 원래 StarCoder 150억 매개 변수 모델의 성능과 일치합니다.
서비스나우의 스타코더2 개발팀 책임자이자 빅코드의 공동 책임자인 하르 드 브리스(Harm de Vries)는 "스타코더2는 개방형 과학적 협업과 책임 있는 인공지능 관행이 윤리적인 데이터 공급망과 결합된 힘을 보여주는 증거"라고 강조했습니다. "최첨단 개방형 접근 모델은 이전 세대 인공지능 성능을 개선하여 개발자 생산성을 높이고 개발자들에게 코드 생성 인공지능의 이점에 대한 동등한 접근을 제공하여 모든 규모의 조직이 비즈니스 잠재력을 보다 쉽게 충족할 수 있도록 합니다."
허깅 페이스의 머신 러닝 엔지니어이자 빅코드의 공동 책임자인 레안드로 폰 웨라(Leandro von Werra)는 "허깅 페이스(Hugging Face), 서비스나우(ServiceNow), 엔비디아(NVIDIA)가 주도한 공동 노력은 커뮤니티가 전체 데이터와 훈련 투명성으로 보다 효율적으로 광범위한 애플리케이션을 구축할 수 있도록 하는 강력한 기본 모델의 출시를 가능하게 합니다."라고 말했습니다. "스타코더2는 책임 있는 인공지능(AI)을 민주화하기 위해 노력하는 동안 오픈 소스와 오픈 사이언스(Open Science)의 잠재력을 보여주는 증거입니다."
"모든 소프트웨어 생태계가 독점적인 프로그래밍 언어를 가지고 있기 때문에 코드 LLM은 모든 산업에서 효율성과 혁신의 돌파구를 마련할 수 있습니다."라고 NVIDIA의 응용 연구 부사장 Jonathan Cohen은 말했습니다.
"NVIDIA와 ServiceNow 및 Hugging Face의 협력은 안전하고 책임감 있게 개발된 모델을 소개하고 글로벌 커뮤니티에 도움이 될 것으로 믿는 책임 있는 생성 AI에 대한 보다 광범위한 접근을 지원합니다."
StarCoder2 모델 슈퍼차지 커스텀 애플리케이션 개발
StarCoder2 모델은 투명성과 개방형 거버넌스를 우선시하는 BigCode의 최첨단 아키텍처와 세심하게 선별된 데이터 소스를 공유하여 대규모의 책임 있는 혁신을 가능하게 합니다.
StarCoder2는 텍스트 대 코드 및 텍스트 대 워크플로우 기능을 포함한 미래 AI 기반 코딩 애플리케이션의 잠재력을 발전시킵니다. 더 광범위하고 심층적인 프로그래밍 교육을 통해 저장소 컨텍스트를 제공하여 정확하고 컨텍스트를 인식하는 예측을 가능하게 합니다. 이러한 발전은 숙련된 소프트웨어 엔지니어와 시민 개발자 모두에게 제공되어 비즈니스 가치와 디지털 전환을 가속화합니다.
StarCoder2의 기반은 스택 v1보다 7배 이상 큰 스택 v2라는 새로운 코드 데이터 세트입니다. 고급 데이터 세트 외에도 새로운 훈련 기술은 모델이 저자원 프로그래밍 언어(예: 코볼), 수학 및 프로그램 소스 코드 토론을 이해하는 데 도움이 됩니다.
비즈니스별 데이터를 사용한 고급 기능 미세 조정
사용자는 NVIDIA NeMo 또는 Hugging Face TRL과 같은 오픈 소스 도구를 사용하여 산업 또는 조직별 데이터로 개방형 액세스 StarCoder2 모델을 미세 조정할 수 있습니다. 그들은 더 복잡한 요약 또는 분류 작업을 처리하기 위한 고급 챗봇을 만들고, 빠르고 쉽게 프로그래밍 작업을 완료할 수 있는 개인화된 코딩 비서를 개발하고, 관련 코드 스니펫을 검색하고, 텍스트-투-워크플로우 기능을 가능하게 할 수 있습니다.
조직은 이미 기본 StarCoder 모델을 미세 조정하여 비즈니스에 특화된 작업별 기능을 구축하기 시작했습니다.
ServiceNow의 텍스트 투 코드 나우 LLM은 150억 개의 매개변수인 StarCoder LLM의 특수 버전을 기반으로 특별히 제작되었으며 워크플로우 패턴, 사용 사례 및 프로세스에 대해 미세 조정되고 훈련되었습니다. Hugging Face는 또한 이 모델을 사용하여 StarChat 비서를 만들었습니다.
빅코드, 인공지능 분야 개방형 과학 협력 촉진
BigCode는 코드를 위한 LLM의 책임 있는 개발에 전념하는 Hugging Face와 ServiceNow가 주도하는 개방형 과학 협력을 대표합니다.
빅코드 커뮤니티는 30억 파라미터 모델을 훈련하기 위해 ServiceNow의 Fast LLM 프레임워크, 70억 파라미터 모델을 위한 Hugging Face의 나노트론 프레임워크, 150억 파라미터 모델을 훈련하고 최적화하기 위해 NVIDIA NeMo 클라우드 네이티브 프레임워크 및 NVIDIA TensorRT-LLM 소프트웨어를 활용하여 실무 그룹과 태스크포스를 통해 StarCoder2 프로젝트의 기술적 측면에 적극적으로 참여했습니다.
책임 있는 혁신을 육성하는 것은 빅코드의 개방적인 거버넌스, 투명한 공급망, 오픈 소스 소프트웨어 사용, 그리고 개발자들이 교육에서 데이터를 선택할 수 있는 능력을 통해 입증된 빅코드의 목적의 핵심입니다.
StarCoder2는 Inria가 호스팅하는 Software Heritage의 디지털 커먼즈의 라이센스에 따라 책임감 있게 소싱된 데이터를 사용하여 구축되었습니다.
소프트웨어 헤리티지의 로베르토 디 코스모 이사는 "스타코더2는 소프트웨어 헤리티지 소스 코드 아카이브를 사용하여 개발된 첫 번째 코드 생성 AI 모델이며 코드 모델의 책임 있는 개발을 위한 정책과 일치하도록 구축되었습니다."라고 말했습니다. "서비스나우, 허깅 페이스, 엔비디아의 협력은 더 큰 이익을 위해 기술을 발전시키면서 윤리적인 AI 개발에 대한 공동의 약속을 보여줍니다."
스타코더2는 이전 모델과 마찬가지로 빅코드 오픈 레일-M 라이선스에 따라 제공되어 로열티 없이 액세스 및 사용할 수 있게 됩니다. 투명성과 협업을 더욱 강화하여 모델의 지원 코드는 빅코드 프로젝트의 깃허브 페이지에 계속 존재할 것입니다.
모든 StarCoder2 모델은 Hugging Face에서 다운로드할 수 있으며, StarCoder2 150억 파라미터 모델은 개발자가 브라우저에서 직접 실험하거나 API 엔드포인트를 통해 실험할 수 있도록 NVIDIA AI Foundation 모델에서 사용할 수 있습니다.
StarCoder2에 대한 자세한 내용은 https://huggingface.co/bigcode 를 참조하십시오.
StarCoder2 — BigCode Community를 기반으로 제작되어 600개 이상의 프로그래밍 언어에 대해 교육됨 - 코드 생성, 투명성, 거버넌스 및 혁신 발전
ServiceNow(NYSE: NOW), Hugging Face 및 NVIDIA는 오늘 성능, 투명성 및 비용 효율성에 대한 새로운 표준을 설정하는 코드 생성을 위한 개방형 대형 언어 모델 제품군인 StarCoder2를 출시했다고 발표했습니다.
StarCoder2는 빅코드 커뮤니티와 협력하여 개발되었으며, 세계를 모두에게 더 나은 작업 환경으로 만드는 선도적인 디지털 워크플로우 회사인 ServiceNow와 머신 러닝 커뮤니티가 모델, 데이터 세트 및 애플리케이션에서 협업하는 가장 많이 사용되는 오픈 소스 플랫폼인 Hugging Face가 관리합니다.
619개의 프로그래밍 언어로 훈련된 StarCoder2는 애플리케이션 소스 코드 생성, 워크플로우 생성, 텍스트 요약 등과 같은 전문화된 작업을 수행하기 위해 추가로 훈련되고 엔터프라이즈 애플리케이션에 내장될 수 있습니다. 개발자는 코드 완성, 고급 코드 요약, 코드 스니펫 검색 및 기타 기능을 사용하여 혁신을 가속화하고 생산성을 향상시킬 수 있습니다.
StarCoder2는 세 가지 모델 크기를 제공합니다: ServiceNow에서 훈련한 30억 매개 변수 모델; Hugging Face에서 훈련한 70억 매개 변수 모델; 그리고 NVIDIA NeMo에서 구축하고 NVIDIA 가속 인프라에서 훈련한 150억 매개 변수 모델. 더 작은 변형은 추론하는 동안 적은 수의 매개 변수가 컴퓨팅을 필요로 하기 때문에 컴퓨팅 비용을 절약하면서 강력한 성능을 제공합니다. 사실, 새로운 30억 매개 변수 모델은 원래 StarCoder 150억 매개 변수 모델의 성능과 일치합니다.
서비스나우의 스타코더2 개발팀 책임자이자 빅코드의 공동 책임자인 하르 드 브리스(Harm de Vries)는 "스타코더2는 개방형 과학적 협업과 책임 있는 인공지능 관행이 윤리적인 데이터 공급망과 결합된 힘을 보여주는 증거"라고 강조했습니다. "최첨단 개방형 접근 모델은 이전 세대 인공지능 성능을 개선하여 개발자 생산성을 높이고 개발자들에게 코드 생성 인공지능의 이점에 대한 동등한 접근을 제공하여 모든 규모의 조직이 비즈니스 잠재력을 보다 쉽게 충족할 수 있도록 합니다."
허깅 페이스의 머신 러닝 엔지니어이자 빅코드의 공동 책임자인 레안드로 폰 웨라(Leandro von Werra)는 "허깅 페이스(Hugging Face), 서비스나우(ServiceNow), 엔비디아(NVIDIA)가 주도한 공동 노력은 커뮤니티가 전체 데이터와 훈련 투명성으로 보다 효율적으로 광범위한 애플리케이션을 구축할 수 있도록 하는 강력한 기본 모델의 출시를 가능하게 합니다."라고 말했습니다. "스타코더2는 책임 있는 인공지능(AI)을 민주화하기 위해 노력하는 동안 오픈 소스와 오픈 사이언스(Open Science)의 잠재력을 보여주는 증거입니다."
"모든 소프트웨어 생태계가 독점적인 프로그래밍 언어를 가지고 있기 때문에 코드 LLM은 모든 산업에서 효율성과 혁신의 돌파구를 마련할 수 있습니다."라고 NVIDIA의 응용 연구 부사장 Jonathan Cohen은 말했습니다.
"NVIDIA와 ServiceNow 및 Hugging Face의 협력은 안전하고 책임감 있게 개발된 모델을 소개하고 글로벌 커뮤니티에 도움이 될 것으로 믿는 책임 있는 생성 AI에 대한 보다 광범위한 접근을 지원합니다."
StarCoder2 모델 슈퍼차지 커스텀 애플리케이션 개발
StarCoder2 모델은 투명성과 개방형 거버넌스를 우선시하는 BigCode의 최첨단 아키텍처와 세심하게 선별된 데이터 소스를 공유하여 대규모의 책임 있는 혁신을 가능하게 합니다.
StarCoder2는 텍스트 대 코드 및 텍스트 대 워크플로우 기능을 포함한 미래 AI 기반 코딩 애플리케이션의 잠재력을 발전시킵니다. 더 광범위하고 심층적인 프로그래밍 교육을 통해 저장소 컨텍스트를 제공하여 정확하고 컨텍스트를 인식하는 예측을 가능하게 합니다. 이러한 발전은 숙련된 소프트웨어 엔지니어와 시민 개발자 모두에게 제공되어 비즈니스 가치와 디지털 전환을 가속화합니다.
StarCoder2의 기반은 스택 v1보다 7배 이상 큰 스택 v2라는 새로운 코드 데이터 세트입니다. 고급 데이터 세트 외에도 새로운 훈련 기술은 모델이 저자원 프로그래밍 언어(예: 코볼), 수학 및 프로그램 소스 코드 토론을 이해하는 데 도움이 됩니다.
비즈니스별 데이터를 사용한 고급 기능 미세 조정
사용자는 NVIDIA NeMo 또는 Hugging Face TRL과 같은 오픈 소스 도구를 사용하여 산업 또는 조직별 데이터로 개방형 액세스 StarCoder2 모델을 미세 조정할 수 있습니다. 그들은 더 복잡한 요약 또는 분류 작업을 처리하기 위한 고급 챗봇을 만들고, 빠르고 쉽게 프로그래밍 작업을 완료할 수 있는 개인화된 코딩 비서를 개발하고, 관련 코드 스니펫을 검색하고, 텍스트-투-워크플로우 기능을 가능하게 할 수 있습니다.
조직은 이미 기본 StarCoder 모델을 미세 조정하여 비즈니스에 특화된 작업별 기능을 구축하기 시작했습니다.
ServiceNow의 텍스트 투 코드 나우 LLM은 150억 개의 매개변수인 StarCoder LLM의 특수 버전을 기반으로 특별히 제작되었으며 워크플로우 패턴, 사용 사례 및 프로세스에 대해 미세 조정되고 훈련되었습니다. Hugging Face는 또한 이 모델을 사용하여 StarChat 비서를 만들었습니다.
빅코드, 인공지능 분야 개방형 과학 협력 촉진
BigCode는 코드를 위한 LLM의 책임 있는 개발에 전념하는 Hugging Face와 ServiceNow가 주도하는 개방형 과학 협력을 대표합니다.
빅코드 커뮤니티는 30억 파라미터 모델을 훈련하기 위해 ServiceNow의 Fast LLM 프레임워크, 70억 파라미터 모델을 위한 Hugging Face의 나노트론 프레임워크, 150억 파라미터 모델을 훈련하고 최적화하기 위해 NVIDIA NeMo 클라우드 네이티브 프레임워크 및 NVIDIA TensorRT-LLM 소프트웨어를 활용하여 실무 그룹과 태스크포스를 통해 StarCoder2 프로젝트의 기술적 측면에 적극적으로 참여했습니다.
책임 있는 혁신을 육성하는 것은 빅코드의 개방적인 거버넌스, 투명한 공급망, 오픈 소스 소프트웨어 사용, 그리고 개발자들이 교육에서 데이터를 선택할 수 있는 능력을 통해 입증된 빅코드의 목적의 핵심입니다.
StarCoder2는 Inria가 호스팅하는 Software Heritage의 디지털 커먼즈의 라이센스에 따라 책임감 있게 소싱된 데이터를 사용하여 구축되었습니다.
소프트웨어 헤리티지의 로베르토 디 코스모 이사는 "스타코더2는 소프트웨어 헤리티지 소스 코드 아카이브를 사용하여 개발된 첫 번째 코드 생성 AI 모델이며 코드 모델의 책임 있는 개발을 위한 정책과 일치하도록 구축되었습니다."라고 말했습니다. "서비스나우, 허깅 페이스, 엔비디아의 협력은 더 큰 이익을 위해 기술을 발전시키면서 윤리적인 AI 개발에 대한 공동의 약속을 보여줍니다."
스타코더2는 이전 모델과 마찬가지로 빅코드 오픈 레일-M 라이선스에 따라 제공되어 로열티 없이 액세스 및 사용할 수 있게 됩니다. 투명성과 협업을 더욱 강화하여 모델의 지원 코드는 빅코드 프로젝트의 깃허브 페이지에 계속 존재할 것입니다.
모든 StarCoder2 모델은 Hugging Face에서 다운로드할 수 있으며, StarCoder2 150억 파라미터 모델은 개발자가 브라우저에서 직접 실험하거나 API 엔드포인트를 통해 실험할 수 있도록 NVIDIA AI Foundation 모델에서 사용할 수 있습니다.
StarCoder2에 대한 자세한 내용은 https://huggingface.co/bigcode 를 참조하십시오.