효율적인 시각적 AI 시스템을 위한 맞춤형 프로그래밍 언어 생성
페이지 정보
작성자 빅데이터기술 작성일 24-05-07 17:03 조회 15회 댓글 0건본문
효율적인 시각적 AI 시스템을 위한 맞춤형 프로그래밍 언어 생성
조나단 래건 켈리 부교수는 컴퓨터 그래픽과 이미지가 현재와 미래의 하드웨어에서 처리되는 방식을 최적화합니다.
한 장의 사진은 어떤 주제나 공간에 대한 그들의 관심과 느낌인 창조자의 세계를 살짝 들여다 볼 수 있게 해줍니다. 하지만 그러한 이미지들을 가능하게 만드는 데 도움을 주는 기술들 뒤에 있는 창조자들은 어떨까요?
MIT 전기공학과 조너선 래건 켈리 부교수는 영화의 시각 효과를 위한 도구부터 사진 편집과 처리를 위해 산업에서 널리 사용되는 할라이드 프로그래밍 언어에 이르기까지 모든 것을 설계한 한 사람입니다. MIT-IBM Watson AI Lab과 컴퓨터 과학 및 인공지능 연구소의 연구원으로서, 래건 켈리는 2D 및 3D 그래픽, 시각 효과 및 계산 사진을 가능하게 하는 고성능, 도메인별 프로그래밍 언어 및 기계 학습을 전문으로 합니다.
"우리의 많은 연구를 통해 가장 큰 추진력은 오늘날 컴퓨터에 있는 점점 더 복잡해지는 하드웨어에서 정말로 효율적으로 실행되는 프로그램을 작성하는 것을 더 쉽게 만드는 새로운 프로그래밍 언어를 개발하는 것입니다"라고 Ragan-Kelly는 말합니다. "만약 우리가 그래픽과 비주얼 컴퓨팅에서 인공지능에 이르기까지 실제 응용 프로그램을 위해 실제로 활용할 수 있는 계산 능력을 계속 향상시키려면 우리가 프로그래밍하는 방법을 바꿔야 합니다."
중간 지점 찾기
지난 20년 동안 칩 설계자와 프로그래밍 엔지니어들은 무어의 법칙이 느려지고 CPU의 범용 컴퓨팅에서 GPU와 액셀러레이터와 같은 더 다양하고 전문화된 컴퓨팅 및 처리 장치로 현저하게 변화하는 것을 목격했습니다. 이러한 전환과 함께 범용 코드를 CPU에서 다소 느리게 실행하여 코드를 크게 조정하고 맞춤형 프로그램과 컴파일러로 매핑해야 하는 더 빠르고 효율적인 하드웨어를 만들 수 있는 절충안이 나옵니다. 향상된 프로그래밍을 갖춘 새로운 하드웨어는 고대역폭 셀룰러 무선 인터페이스, 스트리밍을 위해 고도로 압축된 비디오 디코딩, 전력이 제한된 휴대전화 카메라의 그래픽 및 비디오 처리와 같은 응용 프로그램을 더 잘 지원할 수 있습니다.
"우리의 작업은 주로 기존 프로그래밍 언어가 제공하지 않는 방식으로 이러한 종류의 애플리케이션에 대해 가능한 한 많은 계산 성능과 효율성을 제공하기 위해 구축할 수 있는 최고의 하드웨어의 성능을 잠금 해제하는 것입니다."
이것을 성취하기 위해, Ragan-Kelly는 그의 작업을 두 가지 방향으로 나눕니다. 첫째, 그는 일반성을 희생하여 특정하고 중요한 계산 문제의 구조를 포착하고 더 나은 계산 효율성을 위해 그것을 이용합니다. 이것은 그가 공동 개발하고 포토샵과 같은 프로그램에서 이미지 편집 산업을 변화시키는 데 도움을 준 이미지 처리 언어 Halide에서 볼 수 있습니다. 게다가, 그것은 밀도가 높고 규칙적인 숫자 배열 (텐서)을 신속하게 처리하도록 특별히 설계되었기 때문에, 그것은 신경망 계산에도 잘 작동합니다. 두 번째 초점은 자동화, 구체적으로 컴파일러가 프로그램을 하드웨어에 매핑하는 방법을 목표로 합니다. MIT-IBM Watson AI Lab과 함께하는 그러한 프로젝트 중 하나는 Ragan-Kelly의 그룹에서 개발된 언어인 Exo를 활용합니다.
수년에 걸쳐 연구자들은 블랙박스가 될 수 있는 컴파일러로 코딩을 자동화하기 위해 집요하게 노력해 왔지만, 여전히 성능 엔지니어에 의한 명시적인 제어와 튜닝에 대한 필요성이 큽니다. Ragan-Kelly와 그의 그룹은 효과적이고 자원 효율적인 프로그래밍을 달성하기 위해 절충안의 균형을 유지하면서 각 기술에 걸쳐 있는 방법을 개발하고 있습니다. 비디오 게임 엔진 또는 휴대폰 카메라 처리와 같은 많은 고성능 프로그램의 핵심에는 C, C++ 및 어셈블리와 같은 낮은 수준의 세부 언어를 사용하는 인간 전문가가 주로 손으로 최적화한 최첨단 시스템이 있습니다. 여기서 엔지니어들은 프로그램이 하드웨어에서 어떻게 실행되는지에 대해 구체적인 선택을 합니다.
Ragan-Kelly는 프로그래머들이 "매우 번거롭고, 매우 비생산적이며, 매우 안전하지 않은 낮은 수준의 코드"를 선택할 수 있다고 언급합니다. 이 코드는 컴파일러에서 프로그램이 실행되는 방식에 대해 세부적인 조정을 할 수 없고, 일반적으로 낮은 성능을 제공하는 능력이 부족한 버그 또는 "더 안전하고, 더 생산적이며, 높은 수준의 프로그래밍 인터페이스"를 도입할 수 있습니다. 그래서, 그의 팀은 중간 지점을 찾으려고 노력하고 있습니다.
Ragan-Kelley는 "우리는 인간 성능 엔지니어가 제어할 수 있기를 원하는 주요 문제에 대한 제어를 제공하는 방법을 찾으려고 노력하고 있습니다."라고 말합니다. "그래서 우리는 컴파일러가 수행하는 작업을 제어하거나 프로그램이 최적화되는 방법을 제어할 수 있도록 더 안전하고 높은 수준의 핸들을 제공하는 사용자 스케줄링 언어라고 하는 새로운 언어 클래스를 구축하려고 노력하고 있습니다."
하드웨어 잠금 해제: 높은 수준과 낮은 서비스 방식
Ragan-Kelly와 그의 연구 그룹은 두 가지 작업을 통해 이 문제를 해결하고 있습니다: 기계 학습과 최신 AI 기술을 적용하여 컴파일러의 인터페이스인 최적화된 스케줄을 자동으로 생성하여 더 나은 컴파일러 성능을 달성하는 것입니다. 또 다른 작업은 그가 연구실과 함께 작업하고 있는 "이컴파일링"을 사용합니다. 그는 이 방법을 인간의 안내와 사용자 지정을 위한 제어 기능이 있는 컴파일러의 뼈대와 함께 " 컴파일러를 뒤집는" 방법으로 설명합니다. 게다가, 그의 팀은 그들의 맞춤형 스케줄러를 맨 위에 추가할 수 있는데, 이것은 IBM Research의 기계 학습 가속기와 같은 특수 하드웨어를 목표로 하는 것을 도울 수 있습니다. 이 작업의 응용 분야는 컴퓨터 비전, 객체 인식, 음성 합성, 이미지 합성, 음성 인식, 텍스트 생성(대언어 모델) 등 전 분야에 걸쳐 있습니다.
그와 연구소의 큰 그림 프로젝트는 시스템 렌즈를 통해 작업에 접근하면서 이것을 한 단계 더 발전시켰습니다. 그의 조언자이자 연구소 인턴인 윌리엄 브랜든이 이끄는 연구에서, 래건 켈리의 팀은 대규모 언어 모델(LLM)을 다시 생각하면서, 트랜스포머 기반 모델이 정확성을 희생하지 않고 인공지능 하드웨어에서 더 효율적으로 실행될 수 있도록 계산과 모델의 프로그래밍 구조를 약간 바꾸는 방법을 찾고 있습니다. 그들의 연구는, 비용을 절감하고, 기능을 개선하고, LLM을 축소하여 메모리를 덜 필요로 하고 더 작은 컴퓨터에서 실행할 수 있는 큰 보상을 받을 수 있는 상당한 방식으로 표준 사고 방식에서 벗어났다고 래건 켈리는 말합니다.
계산 효율성과 하드웨어 측면에서 Ragan-Kelley가 탁월하고 특히 장기적으로 가치를 인식하는 것은 더욱 아방가르드한 사고입니다. "저는 추구해야 할 분야들이 있지만, 잘 정립되어 있거나, 명백하거나, 많은 사람들이 이미 연구를 추구하거나 추구할 만큼 충분히 통념이 있는 분야들이 있다고 생각합니다."라고 그는 말합니다. "우리는 세상에 실질적으로 영향을 미칠 수 있는 큰 영향력을 동시에 가지고 있는 아이디어들이 반드시 일어나지는 않을 일들이거나, 커뮤니티의 나머지 사람들에 의해 그들의 잠재력에 비해 과소평가되고 있다고 생각합니다."
그가 현재 가르치는 6.106 (소프트웨어 성능 공학) 과정이 이것을 예시합니다. 약 15년 전, 한 장치에서 단일 프로세서에서 다중 프로세서로 전환이 있었고, 이것은 많은 학업 프로그램들이 병렬 처리를 가르치기 시작하게 만들었습니다. 하지만, Ragan-Kelly가 설명하듯이, MIT는 학생들이 병렬 처리를 이해할 뿐만 아니라 메모리를 최적화하고 가능한 최고의 성능을 얻기 위해 전문화된 하드웨어를 사용하는 것의 중요성을 깨달았습니다.
"프로그래밍 방식을 변경함으로써 새로운 기계의 계산 가능성을 열 수 있으며, 사람들이 점점 더 복잡하고 어려운 하드웨어를 활용할 수 있는 새로운 애플리케이션과 새로운 아이디어를 계속해서 빠르게 개발할 수 있도록 할 수 있습니다."
조나단 래건 켈리 부교수는 컴퓨터 그래픽과 이미지가 현재와 미래의 하드웨어에서 처리되는 방식을 최적화합니다.
한 장의 사진은 어떤 주제나 공간에 대한 그들의 관심과 느낌인 창조자의 세계를 살짝 들여다 볼 수 있게 해줍니다. 하지만 그러한 이미지들을 가능하게 만드는 데 도움을 주는 기술들 뒤에 있는 창조자들은 어떨까요?
MIT 전기공학과 조너선 래건 켈리 부교수는 영화의 시각 효과를 위한 도구부터 사진 편집과 처리를 위해 산업에서 널리 사용되는 할라이드 프로그래밍 언어에 이르기까지 모든 것을 설계한 한 사람입니다. MIT-IBM Watson AI Lab과 컴퓨터 과학 및 인공지능 연구소의 연구원으로서, 래건 켈리는 2D 및 3D 그래픽, 시각 효과 및 계산 사진을 가능하게 하는 고성능, 도메인별 프로그래밍 언어 및 기계 학습을 전문으로 합니다.
"우리의 많은 연구를 통해 가장 큰 추진력은 오늘날 컴퓨터에 있는 점점 더 복잡해지는 하드웨어에서 정말로 효율적으로 실행되는 프로그램을 작성하는 것을 더 쉽게 만드는 새로운 프로그래밍 언어를 개발하는 것입니다"라고 Ragan-Kelly는 말합니다. "만약 우리가 그래픽과 비주얼 컴퓨팅에서 인공지능에 이르기까지 실제 응용 프로그램을 위해 실제로 활용할 수 있는 계산 능력을 계속 향상시키려면 우리가 프로그래밍하는 방법을 바꿔야 합니다."
중간 지점 찾기
지난 20년 동안 칩 설계자와 프로그래밍 엔지니어들은 무어의 법칙이 느려지고 CPU의 범용 컴퓨팅에서 GPU와 액셀러레이터와 같은 더 다양하고 전문화된 컴퓨팅 및 처리 장치로 현저하게 변화하는 것을 목격했습니다. 이러한 전환과 함께 범용 코드를 CPU에서 다소 느리게 실행하여 코드를 크게 조정하고 맞춤형 프로그램과 컴파일러로 매핑해야 하는 더 빠르고 효율적인 하드웨어를 만들 수 있는 절충안이 나옵니다. 향상된 프로그래밍을 갖춘 새로운 하드웨어는 고대역폭 셀룰러 무선 인터페이스, 스트리밍을 위해 고도로 압축된 비디오 디코딩, 전력이 제한된 휴대전화 카메라의 그래픽 및 비디오 처리와 같은 응용 프로그램을 더 잘 지원할 수 있습니다.
"우리의 작업은 주로 기존 프로그래밍 언어가 제공하지 않는 방식으로 이러한 종류의 애플리케이션에 대해 가능한 한 많은 계산 성능과 효율성을 제공하기 위해 구축할 수 있는 최고의 하드웨어의 성능을 잠금 해제하는 것입니다."
이것을 성취하기 위해, Ragan-Kelly는 그의 작업을 두 가지 방향으로 나눕니다. 첫째, 그는 일반성을 희생하여 특정하고 중요한 계산 문제의 구조를 포착하고 더 나은 계산 효율성을 위해 그것을 이용합니다. 이것은 그가 공동 개발하고 포토샵과 같은 프로그램에서 이미지 편집 산업을 변화시키는 데 도움을 준 이미지 처리 언어 Halide에서 볼 수 있습니다. 게다가, 그것은 밀도가 높고 규칙적인 숫자 배열 (텐서)을 신속하게 처리하도록 특별히 설계되었기 때문에, 그것은 신경망 계산에도 잘 작동합니다. 두 번째 초점은 자동화, 구체적으로 컴파일러가 프로그램을 하드웨어에 매핑하는 방법을 목표로 합니다. MIT-IBM Watson AI Lab과 함께하는 그러한 프로젝트 중 하나는 Ragan-Kelly의 그룹에서 개발된 언어인 Exo를 활용합니다.
수년에 걸쳐 연구자들은 블랙박스가 될 수 있는 컴파일러로 코딩을 자동화하기 위해 집요하게 노력해 왔지만, 여전히 성능 엔지니어에 의한 명시적인 제어와 튜닝에 대한 필요성이 큽니다. Ragan-Kelly와 그의 그룹은 효과적이고 자원 효율적인 프로그래밍을 달성하기 위해 절충안의 균형을 유지하면서 각 기술에 걸쳐 있는 방법을 개발하고 있습니다. 비디오 게임 엔진 또는 휴대폰 카메라 처리와 같은 많은 고성능 프로그램의 핵심에는 C, C++ 및 어셈블리와 같은 낮은 수준의 세부 언어를 사용하는 인간 전문가가 주로 손으로 최적화한 최첨단 시스템이 있습니다. 여기서 엔지니어들은 프로그램이 하드웨어에서 어떻게 실행되는지에 대해 구체적인 선택을 합니다.
Ragan-Kelly는 프로그래머들이 "매우 번거롭고, 매우 비생산적이며, 매우 안전하지 않은 낮은 수준의 코드"를 선택할 수 있다고 언급합니다. 이 코드는 컴파일러에서 프로그램이 실행되는 방식에 대해 세부적인 조정을 할 수 없고, 일반적으로 낮은 성능을 제공하는 능력이 부족한 버그 또는 "더 안전하고, 더 생산적이며, 높은 수준의 프로그래밍 인터페이스"를 도입할 수 있습니다. 그래서, 그의 팀은 중간 지점을 찾으려고 노력하고 있습니다.
Ragan-Kelley는 "우리는 인간 성능 엔지니어가 제어할 수 있기를 원하는 주요 문제에 대한 제어를 제공하는 방법을 찾으려고 노력하고 있습니다."라고 말합니다. "그래서 우리는 컴파일러가 수행하는 작업을 제어하거나 프로그램이 최적화되는 방법을 제어할 수 있도록 더 안전하고 높은 수준의 핸들을 제공하는 사용자 스케줄링 언어라고 하는 새로운 언어 클래스를 구축하려고 노력하고 있습니다."
하드웨어 잠금 해제: 높은 수준과 낮은 서비스 방식
Ragan-Kelly와 그의 연구 그룹은 두 가지 작업을 통해 이 문제를 해결하고 있습니다: 기계 학습과 최신 AI 기술을 적용하여 컴파일러의 인터페이스인 최적화된 스케줄을 자동으로 생성하여 더 나은 컴파일러 성능을 달성하는 것입니다. 또 다른 작업은 그가 연구실과 함께 작업하고 있는 "이컴파일링"을 사용합니다. 그는 이 방법을 인간의 안내와 사용자 지정을 위한 제어 기능이 있는 컴파일러의 뼈대와 함께 " 컴파일러를 뒤집는" 방법으로 설명합니다. 게다가, 그의 팀은 그들의 맞춤형 스케줄러를 맨 위에 추가할 수 있는데, 이것은 IBM Research의 기계 학습 가속기와 같은 특수 하드웨어를 목표로 하는 것을 도울 수 있습니다. 이 작업의 응용 분야는 컴퓨터 비전, 객체 인식, 음성 합성, 이미지 합성, 음성 인식, 텍스트 생성(대언어 모델) 등 전 분야에 걸쳐 있습니다.
그와 연구소의 큰 그림 프로젝트는 시스템 렌즈를 통해 작업에 접근하면서 이것을 한 단계 더 발전시켰습니다. 그의 조언자이자 연구소 인턴인 윌리엄 브랜든이 이끄는 연구에서, 래건 켈리의 팀은 대규모 언어 모델(LLM)을 다시 생각하면서, 트랜스포머 기반 모델이 정확성을 희생하지 않고 인공지능 하드웨어에서 더 효율적으로 실행될 수 있도록 계산과 모델의 프로그래밍 구조를 약간 바꾸는 방법을 찾고 있습니다. 그들의 연구는, 비용을 절감하고, 기능을 개선하고, LLM을 축소하여 메모리를 덜 필요로 하고 더 작은 컴퓨터에서 실행할 수 있는 큰 보상을 받을 수 있는 상당한 방식으로 표준 사고 방식에서 벗어났다고 래건 켈리는 말합니다.
계산 효율성과 하드웨어 측면에서 Ragan-Kelley가 탁월하고 특히 장기적으로 가치를 인식하는 것은 더욱 아방가르드한 사고입니다. "저는 추구해야 할 분야들이 있지만, 잘 정립되어 있거나, 명백하거나, 많은 사람들이 이미 연구를 추구하거나 추구할 만큼 충분히 통념이 있는 분야들이 있다고 생각합니다."라고 그는 말합니다. "우리는 세상에 실질적으로 영향을 미칠 수 있는 큰 영향력을 동시에 가지고 있는 아이디어들이 반드시 일어나지는 않을 일들이거나, 커뮤니티의 나머지 사람들에 의해 그들의 잠재력에 비해 과소평가되고 있다고 생각합니다."
그가 현재 가르치는 6.106 (소프트웨어 성능 공학) 과정이 이것을 예시합니다. 약 15년 전, 한 장치에서 단일 프로세서에서 다중 프로세서로 전환이 있었고, 이것은 많은 학업 프로그램들이 병렬 처리를 가르치기 시작하게 만들었습니다. 하지만, Ragan-Kelly가 설명하듯이, MIT는 학생들이 병렬 처리를 이해할 뿐만 아니라 메모리를 최적화하고 가능한 최고의 성능을 얻기 위해 전문화된 하드웨어를 사용하는 것의 중요성을 깨달았습니다.
"프로그래밍 방식을 변경함으로써 새로운 기계의 계산 가능성을 열 수 있으며, 사람들이 점점 더 복잡하고 어려운 하드웨어를 활용할 수 있는 새로운 애플리케이션과 새로운 아이디어를 계속해서 빠르게 개발할 수 있도록 할 수 있습니다."