ChatGPT는 아직 프로그래밍 질문에 잘 대답하지 못합니다
페이지 정보
작성자 코딩125 작성일 24-05-28 16:21 조회 23회 댓글 0건본문
ChatGPT는 아직 프로그래밍 질문에 잘 대답하지 못합니다
ChatGPT를 출시했을 때 하룻밤 사이에 히트를 쳤음에도 불구하고, 새로운 연구는 특히 코딩을 돕는 일부 분야에서 여전히 탁월한 성능을 발휘하기 위해 고군분투하고 있다고 주장했습니다.
프로그래밍 문제에 대한 이상적인 해결책으로 자리잡은 일부 개발자들은 작업 흐름 속도를 높이기 위해 깃허브의 코파일럿과 같은 일련의 생성 AI 도구를 사용하여 생산적인 작업에 더 많은 시간을 할애하고 있습니다.
그러나 퍼듀 대학의 연구원들의 새로운 연구는 ChatGPT가 만들어낸 응답의 절반 이상(52%)이 틀렸다는 것을 발견했습니다.
코딩을 도와주는 ChatGPT
연구원들은 스택 오버플로의 517개 질문을 분석하고 ChatGPT의 답변과 인간의 반응을 비교한 결과 AI의 오류가 널리 퍼져 있음을 발견했습니다. 모두 절반 이상(54%)이 개념적 오해였고, 약 3명 중 1명(36%)이 사실적 부정확, 비슷한 숫자(28%)가 코드의 논리적 실수, 12%가 용어 오류였습니다.
이 논문에서 ChatGPT는 필요한 것보다 더 많은 세부 정보를 포함하는 불필요하게 길고 복잡한 응답을 생성하여 잠재적인 혼란과 주의 산만을 초래한다는 비판도 받았습니다. 그러나 12명의 프로그래머를 대상으로 한 초소규모 여론 조사에서는 3분의 1이 ChatGPT의 명확하고 교과서 같은 답변을 선호하는 것으로 나타나 프로그래머가 오도될 수 있는 용이성을 강조했습니다.
코딩 오류는 결국 다운스트림에서 더 큰 문제로 이어져 여러 부서나 조직에 영향을 미칠 수 있기 때문에 이러한 결과가 의미하는 바는 매우 큽니다.
저자들은 다음과 같이 요약합니다. "ChatGPT는 많은 오답을 생성하기 때문에, 우리의 결과는 프로그래밍 작업에서 ChatGPT 답의 사용에 대한 주의와 인식의 필요성을 강조합니다."
ChatGPT를 출시했을 때 하룻밤 사이에 히트를 쳤음에도 불구하고, 새로운 연구는 특히 코딩을 돕는 일부 분야에서 여전히 탁월한 성능을 발휘하기 위해 고군분투하고 있다고 주장했습니다.
프로그래밍 문제에 대한 이상적인 해결책으로 자리잡은 일부 개발자들은 작업 흐름 속도를 높이기 위해 깃허브의 코파일럿과 같은 일련의 생성 AI 도구를 사용하여 생산적인 작업에 더 많은 시간을 할애하고 있습니다.
그러나 퍼듀 대학의 연구원들의 새로운 연구는 ChatGPT가 만들어낸 응답의 절반 이상(52%)이 틀렸다는 것을 발견했습니다.
코딩을 도와주는 ChatGPT
연구원들은 스택 오버플로의 517개 질문을 분석하고 ChatGPT의 답변과 인간의 반응을 비교한 결과 AI의 오류가 널리 퍼져 있음을 발견했습니다. 모두 절반 이상(54%)이 개념적 오해였고, 약 3명 중 1명(36%)이 사실적 부정확, 비슷한 숫자(28%)가 코드의 논리적 실수, 12%가 용어 오류였습니다.
이 논문에서 ChatGPT는 필요한 것보다 더 많은 세부 정보를 포함하는 불필요하게 길고 복잡한 응답을 생성하여 잠재적인 혼란과 주의 산만을 초래한다는 비판도 받았습니다. 그러나 12명의 프로그래머를 대상으로 한 초소규모 여론 조사에서는 3분의 1이 ChatGPT의 명확하고 교과서 같은 답변을 선호하는 것으로 나타나 프로그래머가 오도될 수 있는 용이성을 강조했습니다.
코딩 오류는 결국 다운스트림에서 더 큰 문제로 이어져 여러 부서나 조직에 영향을 미칠 수 있기 때문에 이러한 결과가 의미하는 바는 매우 큽니다.
저자들은 다음과 같이 요약합니다. "ChatGPT는 많은 오답을 생성하기 때문에, 우리의 결과는 프로그래밍 작업에서 ChatGPT 답의 사용에 대한 주의와 인식의 필요성을 강조합니다."