Google Gemini 이미지 생성
베토벤이나 슈베르트가 미처 완성하지 못한 교향곡을 AI가 완성했을 때, 이를 그들의 작품으로 볼 수 있는가?
2020년, 독일 최대의 통신 기업 도이치 텔레콤이 베토벤 탄생 250주년을 맞이해 특별한 프로젝트를 시행했다. 바로 인간과 인공지능의 협업으로 미완성으로 남겨진 베토벤의 교향곡 10번을 완성하는작업이다. 연구진들은 이 협업이 예술계에 얼마나 지대한 영향을 미칠 것인가에 중점을 두고 연구를 진행했다. 인공지능은 1년여간 교향곡 완성을 위해 많은 것을 학습했다. 베토벤의 여러 곡들을 학습하고, 그가 선호하는 선율과 화성을 익혔다. 다른 작곡가의 곡까지 학습해 변별력을 갖추었고, 관현악법 훈련까지 더해 개별 악기의 특징까지 섭렵했다.
대중의 반응은 비판적이었다. “시도는 좋았지만, 음악적 깊이가 부족하다” “미학적으로 순진하다” “예술적 깊이를 구현하지 못한다” 등 기초적 습작 수준이라는 평가가 나왔다. 그 이유가 무엇일까?
바로 인간적 특성에 있다. 인간은 완벽하고 싶지만 자연스럽고 미세한 요동이 있기 마련이다. 인공지능은 이러한 인간적 특성을 구현하지 못한다. 오차와 오류 없는 작품의 완벽을 추구하기 때문이다. 또한 악보를 이해하는 개개인의 특성이 이유가 된다. 인공지능은 악보에 그려져 있는 모든 것을 흡수하여 정확한 연주를 선보인다. 하지만 개인마다 곡의 분석에 있어 다른 견해와 배움을 지녔기 때문에, 연주자의 재량에 따라 악보와 일치하지 않는 연주를 만든다. 이것은 인간 연주자 개인의 감정적 의도이며, 장르, 문화, 개인의 경험에서 비롯되는 창의성의 부분이기 때문에 인공지능은 이를 이해할 수 없다. 음악을 통해 감정과 메시지를 전달하는 것은 인간의 영역이기 때문에, 인공지능은 이 점에서 클래식 음악 작곡에 있어 한계를 드러낼 수밖에 없는 것이 현실이다.
음악 산업에서 인공지능의 활용 현황은 꽤 진보적인 상황이다. Ditto Music에 따르면, 독립 음악가의 약 59%가 창작 과정에서 AI 기술을 사용한다. AI 기반 음악 플랫폼인 LANDR 2025-2026 보고서에 의하면, 단순 보조를 넘어 노래의 구성 요소(루프, 보컬 아이디어 등)를 만드는 데 AI를 쓰는 비율이 급증하고 있음을 확인할 수 있다.
하지만 클래식 음악에서 인공지능의 활용 비율은 낮다. 실제 창작에 거의 적용되지 않는 수준이다. 클래식 작곡이라는 것은 전통과 창의성이 중점이기 때문에, 곡 기보 프로그램 이외에는 사용이 드물다. 박주용 카이스트 문화기술대학원 교수는 “AI 창작은 컴퓨터에 맡기면 자동으로 곡이 나오는 게 아니다”라며 “하나의 곡을 만들기 위해 인간이 주는 입력값이 중요하고, 이를 바탕으로 정교하게 음악을 다듬어 나가야 한다”라고 말했다.
Ai가 작곡한 곡을 들어보자. NotaGen은 고품질 클래식 악보 생성의 가능성을 탐구하기 위해 개발된 모델이다. 대규모 언어 모델 훈련 패러다임을 활용한 기호 음악 생성의 음악성 향상 논문(NotaGen: Advancing Musicality in Symbolic Music Generation with Large Language Model Training Paradigms)에 따르면, 사전훈련(Pre-training)으로 160만개의 악보를 학습시켜 약 9천개의 클래식을 통해 생성된 음악임을 알 수 있다. 다양한 장르와 시대를 아우르며 기본적인 음악 구조와 패턴을 학습할 수 있게 하는 훈련을 거친다.
그 후, 미세조정(Fine-tuning)을 통해 152명의 작곡가가 작곡한 8,948개의 클래식 악보를 학습해 세밀한 데이터셋을 구축하여, 강화학습(Reinforcement Learning)을 통해 CLaMP 2 모델을 평가자로 활용한 DPO(Direct Preference Optimization)로 음악성과 제어성을 강화한다. 사람의 평가 없이 효율적인 최적화가 가능한 것이다.
범용성을 갖춘 NotaGen의 CLaMP-DPO 방법은 다양한 구조에서 효과를 입증하는 중이다. 특히 설치가 간단하며, 전문 음악가 악보로도 활용이 가능하여 향후 음악가들의 창작 보조를 위한 좋은 자원이 될 것으로 기대된다.
(동영상=YOUTUBE '쌤지피티 SSAMGPT')
