AI 음악의 최고점은 AI가 느껴지지 않는 순간

최근 우연히 〈마음의 숲〉이라는 노래를 들었다.

한 번 듣고 멈췄다.

뭐지?

노래를 꽤 많이 들어왔지만 첫 청취에서 이런 반응이 나오는 곡은 흔하지 않다.

처음에는 멜로디 때문이라고 생각했다.

그런데 가사를 다시 읽어보니 조금 달랐다.

복잡한 세상에서 길을 잃은 사람에게 잠시 쉬어가라고 말한다.

서두르지 않아도 된다고 말한다.

당신의 계절이 오고 있다고 말한다.

글자로만 떼어놓으면 아주 낯선 이야기는 아니다.

우리는 이미 수많은 노래에서 비슷한 위로를 들어왔다.

그런데 이 노래에서는 이상하게 그것이 정말 누군가의 말처럼 들렸다.

노래를 부른다는 느낌보다,

누군가가 옆에서 조용히 이야기하는 느낌에 가까웠다.

그리고 여기서 더 이상한 사실을 알게 됐다.

AI를 활용해 만든 음악이었다.

AI 노래처럼 들리지 않았다

그동안 AI 음악을 들으면 대체로 어느 순간 AI라는 사실이 느껴졌다.

보컬은 훌륭하다.

멜로디도 그럴듯하다.

편곡도 상당히 완성되어 있다.

그런데 이상하게 화자가 보이지 않을 때가 있다.

슬픈 목소리는 있는데 왜 슬픈지 모르겠고,

위로의 문장은 있는데 누가 나에게 이야기하는지는 잘 느껴지지 않는다.

감정의 형태는 존재하지만,

그 감정을 전달하려는 인간의 의도가 희미하다.

그래서 우리는 결과물을 들으면서도 계속 AI를 평가한다.

“AI치고 잘 만들었네.”

그런데 〈마음의 숲〉을 들으면서는 그 판단이 잠시 사라졌다.

그냥,

“노래가 좋은데?”

가 먼저 나왔다.

그리고 나는 이것이 어쩌면 AI 음악에서 굉장히 중요한 순간일 수 있다고 생각했다.

AI 사용자 정렬

AI에서 정렬(alignment)이라는 말을 많이 사용한다.

보통은 AI가 인간의 가치나 의도에 맞게 행동하도록 만드는 문제를 이야기한다.

그런데 훨씬 일상적인 수준에서도 정렬은 존재한다.

사용자가 머릿속에 가진 의도를

AI가 얼마나 정확하게 결과물로 구현하는가.

나는 이것을 넓은 의미에서 “사용자 정렬(User Alignment)”이라고 생각한다.

음악으로 생각해보면 이해하기 쉽다.

창작자에게 어떤 감정이 있다.

그 감정을 언어로 표현한다.

AI가 그것을 멜로디와 목소리와 편곡으로 구현한다.

그리고 최종적으로 청자의 귀에 도착한다.

인간의 의도

언어

AI

음악

다른 인간의 감정

이 과정에는 수많은 정보 손실이 발생할 수 있다.

AI가 문장을 잘못 해석할 수도 있다.

가사와 멜로디의 감정이 어긋날 수도 있다.

보컬이 지나치게 감정을 과장할 수도 있다.

편곡이 문장의 섬세함을 덮어버릴 수도 있다.

그런데 이 모든 층이 같은 방향으로 정렬되면 이상한 일이 생긴다.

AI가 사라진다.

정렬이 실패하면 AI가 보인다

정렬이 제대로 되지 않은 결과물을 보면 사람은 AI를 의식한다.

“AI가 이렇게 해석했구나.”

조금 더 좋아지면 이렇게 된다.

“와, AI가 이것도 하네.”

그런데 정렬이 극단적으로 잘되면 반응이 다시 바뀐다.

“……이 노래 뭐지?”

AI라는 사실을 잠시 잊는다.

이게 재미있다.

어쩌면 AI 결과물의 완성도를 평가하는 가장 높은 기준은 AI의 존재감이 얼마나 강한가가 아니라 얼마나 사라지는가일지도 모른다.

좋은 망치는 망치 자체를 생각하게 하지 않는다.

좋은 카메라는 카메라를 의식하게 하지 않는다.

좋은 인터페이스는 인터페이스를 잊게 만든다.

그리고 정말 잘 정렬된 AI 역시,

AI를 잊게 만들 수 있다.

AI가 창작자를 대체하는 것이 아니다

그래서 나는 AI 창작을 둘러싼 질문 자체가 조금 잘못되어 있다고 생각한다.

“AI가 인간보다 음악을 잘 만들 수 있는가?”

물론 흥미로운 질문이다.

하지만 더 중요한 질문은 이것일 수 있다.

인간이 자신의 의도를 AI를 통해 얼마나 정확하게 현실에 구현할 수 있는가?

이렇게 보면 AI는 창작자의 경쟁자가 아니다.

실행 레이어다.

창작자가 가진 감각과 경험과 세계관을

실제 소리로 바꾸는 거대한 표현 장치다.

그리고 그렇게 생각하면 앞으로의 격차가 어디에서 발생할지도 조금 다르게 보인다.

모두가 비슷한 생성형 AI를 사용할 수 있다고 해서

모두가 비슷한 결과물을 만드는 것은 아니다.

오히려 도구의 구현 능력이 강해질수록

사용자 사이의 차이가 더 선명하게 드러날 수도 있다.

무엇을 만들고 싶은지 모르는 사람에게

강력한 생성 모델은 무한한 평균값을 제공한다.

반대로 머릿속에 정확한 무언가가 있는 사람에게

강력한 생성 모델은 그 생각을 현실로 옮기는 증폭기가 된다.

AI의 최고점은 AI가 사라지는 순간일지도 모른다

〈마음의 숲〉을 들으면서 내가 놀란 것은

AI가 노래를 이렇게 잘 만들 수 있다는 사실이 아니었다.

오히려 반대였다.

AI라는 사실을 잊었다.

노래를 듣고,

가사를 듣고,

누군가가 정말 이야기하는 것 같은 느낌을 받았다.

그 뒤에야 다시 생각했다.

아.

이거 AI로 만든 노래였지.

어쩌면 이것이 사용자 정렬의 가장 높은 단계일지도 모르겠다.

AI가 자신의 능력을 과시하는 것이 아니라,

사용자의 의도를 훼손하지 않고 전달하는 것.

그래서 결과물 앞에서 사람들이

“AI가 대단하다”

라고 말하는 것이 아니라,

“이거 뭐지?”

라고 말하게 만드는 것.

가장 잘 정렬된 AI는 자신을 드러내지 않는다.

인간의 의도만 남긴다.

연구자들에게 남기고 싶은 함의

이 지점은 음악을 넘어 AI 연구에서도 한번 생각해볼 필요가 있다.

AI가 인간에게 순응하는 것과, 인간의 의도를 높은 충실도로 구현하는 것은 같은 문제가 아니다.

후자를 나는 “의도 충실도(Intent Fidelity)”의 문제라고 생각한다.

인간의 머릿속에 어떤 의도가 있다.

그것이 언어와 인터페이스를 거쳐 모델에 전달되고, 모델은 다시 텍스트·코드·음악·이미지 같은 결과물로 변환한다.

그렇다면 중요한 질문은 단순히 “결과물이 얼마나 좋은가?”가 아니다.

처음 인간에게 존재했던 의도가 이 변환 과정에서 얼마나 적게 훼손되고 최종 결과물까지 전달되었는가?

이 관점에서 보면 좋은 AI의 기준도 조금 달라진다.

좋은 모델은 자신의 스타일을 강하게 보여주는 모델이 아니라, 서로 다른 인간들의 서로 다른 의도를 가능한 한 손실 없이 통과시키는 모델일 수 있다.

1,000명의 사용자가 같은 모델을 사용했을 때 1,000개의 결과물이 모델의 스타일로 수렴한다면, 그것은 높은 생성 능력과 별개로 사용자 정렬의 관점에서는 생각해볼 문제다.

반대로 1,000명의 서로 다른 의도가 1,000개의 서로 다른 결과물로 보존된다면, 모델은 인간을 대체한 것이 아니라 인간의 표현 가능성을 확장한 것이다.

그래서 미래의 모델 평가는 “이 AI가 얼마나 훌륭한 결과물을 만드는가?”에서 한 단계 더 나아갈 필요가 있다고 생각한다.

“서로 다른 인간들의 서로 다른 의도를 얼마나 높은 충실도로 보존하여 현실에 구현하는가?”

그리고 이 기준에서 극단적으로 높은 성능에 도달하면 흥미로운 현상이 발생한다.

모델의 흔적이 사라진다.

사람들은 더 이상 “GPT가 쓴 글”, “AI가 만든 음악”, “AI가 짠 코드”라고 먼저 생각하지 않는다.

그저 누군가가 쓴 글이고,

누군가가 만든 음악이며,

누군가가 만든 소프트웨어가 된다.

AI는 창작자와 결과물 사이에서 자신의 존재를 과시하는 주체가 아니라, 인간의 의도를 가능한 한 손실 없이 현실로 전달하는 매개가 된다.

어쩌면 모델이 발전할수록 모델의 흔적은 강해지는 것이 아니라 오히려 약해져야 하는지도 모른다.

최고의 AI는 자신의 목소리를 갖는 AI가 아니라, 인간의 목소리가 사라지지 않게 하는 AI일 수도 있다.