@니콜라스칼리니 @NicholasCarlini 앤트로픽 인공지능 구루

히스토리

• [2026-01-21 Wed 22:03] 이분 생각에 글을 담는다.
• [2025-05-25 Sun 19:26] 이분 알아둬야 하잖우
• #모음: 왜 이맥스를 사용하는가 #이유 #방법

관련메타

• #육하원칙: #활용#응용
• #육하원칙: #사용

BIBLIOGRAPHY

“Are Large Language Models Worth It?” n.d. Accessed January 21, 2026. https://nicholas.carlini.com/writing/2025/are-llms-worth-it.html.

xguru. 2024. “나의 ‘AI’ 활용 방법.” GeekNews. August 6, 2024. https://news.hada.io/topic?id=16197.

Are large language models worth it?

(“Are Large Language Models Worth It?” n.d.)

by Nicholas Carlini 2025-11-19

대규모 언어 모델은 향후 수년간 변화를 가져올 수 있습니다. 그러나 이들은 심각한 잠재적 위험들을 수반하며, 이미 오늘날 사람들에게 해를 끼치고 있습니다. 이 글에서 나는 “LLM은 그럴 가치가 있는가?” 라는 질문을 던져보고자 합니다. 이 모델들의 외부효과, 현재의 피해, 그리고 잠재적 최종적 결과들을 고려했을 때, 우리는 이러한 모델들을 만들어야 할까요?

읽기보다는 다른 사람의 이야기를 듣는 것을 선호하는 분이라면, 이 글은 제가 지난달 열린 언어 모델 컨퍼런스에서 발표한 기조 연설의 문자 기록입니다(정확히 말하면, 확장된 버전이죠).

간단한 배경 설명: 이 연설은 LLM 연구자들을 대상으로 한 것이었습니다. 따라서 여러분(이 블로그의 독자)이 갖고 있지 않을 수도 있는 특정한 세계관을 전제로 하고 있습니다. 나는 연설에서 했던 말---아니면 많은 경우, 했으면 좋았을 말---을 다시 작성하고, 도움이 될 것 같았던 몇 가지 배경 설명을 추가했지만, 내용에는 실질적인 변경을 가하지 않았습니다. (a) 또한 전날 밤 제 연설이 예정된 50분이 아니라 실제로 80분이 걸릴 것임을 깨달았을 때, 시간 관계상 빠뜨렸던 몇 가지 내용을 다시 추가했습니다.

그런 점에서: 안녕하세요! 저는 니콜라스입니다. (메모 확인) 대규모 언어 모델을 훈련시키는 Anthropic에서 일하고 있습니다. 이는 여러분에게 두 가지를 알려줄 것입니다. 주로, 제가 언어 모델이 사회에 분명히 순손실이라고 생각했다면, 여기서 일하지 않을 겁니다. 하지만 이는 또한 제가 개인적으로 LLM의 성공으로 재정적 이익을 얻을 것임을 의미합니다. 저는 현재 이익보다 비용이 더 크다고 생각하면 그만둘 도덕적 나침반을 가지고 있다고 믿지만, 이 두 가지는 여러분이 제 의견을 읽는 방식에 분명히 영향을 미쳐야 합니다. (당연히 이 글의 의견이 반드시 Anthropic의 의견은 아니라는 점은 말할 필요도 없겠지요.)

LLMs는 그럴 가치가 있을까요?

이 슬라이드로 강연을 시작하며, 전체 메시지를 구성하고자 했습니다. 이 강연에서 제 초점은 LLMs와 넓게 해석된 AI로 우리가 이미 야기했고, 곧 야기할지도 모를 피해에 맞춰져 있었습니다.

![[https://nicholas.carlini.com/writing/2025/figs/talk_about_harms.jpg|640]] >

이 슬라이드에서 제가 의도적으로 ‘AI’라는 단어를 사용하는 것은, 제가 언급하는 대부분의 피해가 특정한 하나의 ‘AI’ 접근법에만 국한되지 않을 것이기 때문입니다. 우리가 LLMs에서 다른 어떤 것으로 전환하더라도, 제 강연의 내용은 대부분 변하지 않을 거라고 믿습니다. 그러나 AI라는 단어를 사용하는 것은 그것이 실제로 아무런 의미도 지니지 않기 때문에 다소 문제가 있습니다.

“인공지능(AI)“은, 그리고 언제나 마케팅 용어였습니다. 아마도 제가 본 AI에 대한 가장 좋은 정의는 아이작 아시모프의 것이었는데, 그는 AI를 “과거에 우리가 오직 인간의 지능과만 연관지었던 일들을 수행하는 모든 장치에 대해 우리가 사용하는 구절”이라고 말했습니다. 불행히도 이 정의조차도 매우 실행 가능한 것은 아니며, 따라서 이 글의 목적을 위해, 제가 “AI”라는 단어를 사용할 때마다, 저는 실제로 “대규모 언어 모델”이라는 구절을 말하고 있다고 상상하는 것으로 충분하다고 생각합니다. 그러면 여러분은 기본적으로 올바른 이해를 얻게 될 것입니다. 왜냐하면 (여러 이유 중에서도) 이것이 언어 모델에 관한 컨퍼런스이기 때문입니다.

적대적 머신러닝?

좋습니다. 그러면 이제 핵심 질문으로 돌아가 봅시다: 제가 이야기하려는 LLMs의 해악은 무엇일까요? 제 연구 분야를 조금이라도 아신다면, 지금쯤 저 적대적 머신러닝에 대해 이야기할 거라고 예상하실 수도 있습니다. 저는 지난 거의 10년을 이 분야에 매진해왔으며, 이는 적대적 환경에서도 예측을 신뢰할 수 있게 하는 능력에 관한 분야입니다.

![[https://nicholas.carlini.com/writing/2025/figs/guacat.jpg|640]] >

보통 제가 적대적 머신러닝 강연을 시작할 때면, 위 이미지를 통해 적대적 예시를 소개합니다. 하지만 이 주제를 다룬 지 너무 오래되어서, 이 슬라이드 설명은 차라리 다른 누군가에게 맡기는 게 낫겠다는 생각이 들었습니다. 과거의 니콜라스를 모시겠습니다. (내레이션: 아래 영상을 시청하세요. 재밌게 만들었어요.)

네, 그렇습니다. 이 슬라이드를 너무 많이 설명하다 보니, 이 특정 위험에 대해 이야기하는 데는 정말 능숙해졌습니다. 하지만 중요한 건 이것입니다. 고양이를 과카몰레로 바꾸는 것에 실제로 관심을 가지는 사람을 아시나요? 네, 저도 모릅니다… 이건 우리가 일상적으로 마주치는 문제가 아니니까요.

(이는 제가 지난 8년을 이 주제에 쏟아부은 것을 후회한다는 뜻은 아닙니다. 우리는 많은 것을 배웠다고 생각합니다. 하지만 적이 이미지의 하위 비트를 조작해 고양이 이미지를 아보카도 딥 소스 라벨로 바꿀 수 있게 하는, 이러한 특정 적대적 공격 문제는 우리가 정말 그렇게까지 걱정해야 할 일은 아니었습니다.)

그렇다면 적대적 머신러닝에 관해 이야기하지 않을 거라면, 대신 무엇을 쓸 것인가? 음, 이 글의 나머지 부분에서는 지난 몇 년간 이루어진 LLMs의 최근 발전으로 인해 우리가 직면하게 될 여러 새로운 과제들과, 가까운 미래에 발생할 가능성이 높은 위험들을 다루고자 합니다.

이는 또한 제가 실제로 존재하는 특정 논문에 대해 많이 이야기하지 않을 것임을 의미합니다. 제 논문 중 여러 편에 대해서도 설명하지 않을 것입니다. 대신, 해결할 가치가 있다고 생각하는 문제들을 길게 나열함으로써 여러분에게 영감을 주려고 노력할 것입니다.

미래는 불확실합니다

LLMs가 가치 있는지에 대한 질문으로 들어가기 전에, 먼저 우리가 진보한 기계들에 대해 가지는 우려가 전혀 새로운 것이 아니라는 점을 인식하는 것이 중요하다고 생각합니다. 1863년, ‘The Press’에 실린 “Darwin Among the Machines”라는 편지에서 (다른 주장들 중에) 다음과 같이 주장했습니다: “그러나 하루하루 기계들은 우리에게서 영역을 잠식해가고 있으며, 하루하루 우리는 기계들에게 더욱 복종하게 되고 있다… 기계들이 세계와 그 주민들 위에 진정한 우위를 점하게 될 때가 올 것이다. 우리의 의견은 그들에 대한 즉각적인 전쟁이 선포되어야 한다는 것이다. 모든 종류의 모든 기계는 그의 종족의 지지자들에 의해 파괴되어야 한다.”

이제 21세기에 살고 있는 우리는 자동차와 비행기, 병원과 에어컨을 보며 지난 세기의 진보를 되돌아보고 대체로 매우 긍정적으로 평가합니다. 하지만 산업혁명을 겪으며 살던 사람들이 이와 같은 의견을 가질 수 있었다는 것을 알 수 있습니다. 막 목격한 기계들이 그들이 아는 모든 사람들의 일자리를 빼앗아갔으니, 누군가는 그들의 삶의 다른 모든 것들도 곧 자동화될 것이라고 생각하지 않을 수 없었을 것입니다.

이 사람이 보지 못한 것은 150년이 지난 지금, 그들이 너무 걱정했던 바로 이 기계들 덕분에 삶이 실제로 훨씬 나아졌다는 사실입니다. 이는 그들의 우려가 무효했다는 뜻이 아니지만, 세상은 정말로 더 좋은 곳이 되었습니다. (b) 이 비유에 너무 많은 의미를 부여하지는 마세요. 제가 이 발표에서 이 부분을 자른 이유는 이것이 확실히 LLMs의 진행 방향이라고 암시하려는 것이 아니기 때문입니다.

이 미지에 대한 두려움은 태고적부터 이어져 왔습니다. 지구 전체를 아직 지도로 만들지 못했던 시기에 그린 정말 오래된 세계 지도를 본 적이 있다면, 지도의 가장자리에는 용 그림을 그리고 (라틴어로) “여기에 용이 있다”고 써 놓았을 것입니다. 지도 제작자들이 이렇게 한 것은 실제로 세계의 가장자리에 용이 있다고 생각해서가 아니었습니다 (비록 일부는 그렇게 믿기도 했지만), 자신들의 지식이 여기서 끝나며 이 지점을 넘어가는 모든 선원은 스스로의 위험을 감수하고 탐험한다는 경고의 의미였습니다. 용은 우리의 미지에 대한 두려움을 물리적으로 나타내는 역할을 했습니다.

따라서 이 글에서 저는 이 미지의 것에 대한 두려움에 굴복하지 않기를 바랍니다. 기술이 정의에 따라 미래를 만드는 것은 아니며, 오늘날 저에게 분명해 보이는 위험들을 다루려고 노력할 것입니다. 그러나 본질적으로 저는 아직 현실화되지 않은 일부 위험들에 대해 이야기할 것이므로, 최선을 다해 현실에 기반을 두려고 노력할 것입니다. 어떤 이들은 제가 너무 멀리 추측했다고 불쾌해할 것이고, 또 다른 이들은 제가 충분히 멀리 나아가지 않았다고 불쾌해할 것입니다.

단기적 위험 대 장기적 위험

이 글의 시작에서, 저는 우리가 이미 일으킨 해악과 곧 일으킬 해악에 대해 모두 이야기하겠다고 말했습니다. 이게 무슨 뜻일까요? 제가 생각하기에 가장 적절한 비유는 발전소입니다. 석탄을 태워 전력을 생산하는 것을 생각해 봅시다. 석탄 발전소 앞에서 시위하는 사람을 찾아가 보면, 아마 세 그룹의 사람들을 만나게 될 것입니다.

한 그룹의 사람들은 대기 오염에 대해 불평하며, 석탄 연소가 발전소 근처에 사는 모든 사람들에게 직접적인 해를 끼친다고 말할 것입니다. 이 그룹에게는 가족이 말 그대로 발전소 그림자 아래에서 살며 재와 검댕을 견뎌야 한다는 사실이 그들의 삶에서 가장 즉각적인 문제입니다. 그들은 눈으로 직접 볼 수 있는 즉각적인 해악 때문에 석탄을 태워서는 안 된다고 말할 것입니다.

또 다른 집단(일반적으로 발전소에서 물리적으로 멀리 떨어진 곳에 사는 사람들)은 석탄을 태워 우리 행성을 구동함으로써 기후 변화에 미치는 장기적 위험---또는 일반적인 접근 방식을 공유하는 다른 발전 방법들에 의해---에 대해 경고할 것입니다. 이 집단은 우리에게 지금 이 순간 무슨 일이 일어날지에 대해 그렇게 걱정하지 않습니다. 그들은 학문적으로 석탄 발전소 때문에 사람들이 지금 당장 피해를 보고 있다는 사실을 알고 있지만, 실제로 그 현장에서 생활하고 있지 않습니다. 그들은 이 문제를 다른 관점에서 보고 있으며, 향후 수십 년 동안 이 기술이 가져올 전 세계적인 영향을 예견하여, 이러한 장기적 위험 때문에 우리가 석탄을 태우지 말아야 한다고 주장합니다.

마지막으로, 세 번째 집단의 사람들이 있습니다. 이들은 “지구 온난화는 가짜다!”, “오염은 사실 당신에게 좋다!”, “재를 들이마시는 것은 인격을 형성한다!” 등과 같은 말을 적은 표지판을 든 반대 시위자들일 것입니다. 그들은 전력을 원하며, 현재나 미래에 누구에게 어떤 결과를 초래하든 상관하지 않습니다.

첫 두 그룹은 사실 매우 가까운 입장에 있다고 생각합니다. 양측 모두 위험으로서 이 문제를 우려하며 잠재적 결과와 우려사항을 논의하고 있습니다. 따라서 이 블로그에서는 발전소/를 /언어 모델 로 대체하는 유사한 비유를 시도해보려 합니다. 현재 진행 중인 매우 실질적인 위험들이 존재한다고 생각합니다. 당장 우리에게 영향을 미치지 않지만 향후 몇 년 내에 발생할 수 있는 매우 실질적인 위험들도 존재한다고 봅니다. 한 위험이 현실적이라고 해서 다른 위험이 동등하게 현실적이지 않다는 의미는 아닙니다. 우리는 안전을 전혀 고려하지 않고 무조건적으로 추진만 하는 사람들에 맞서 논쟁하면서, 동일한 관점에서 이 문제들을 함께 해결해 나가야 한다고 생각합니다.

구체적 해악들

제 발표에는 1시간이라는 엄격한 시간 제한이 있었습니다. 좋은 발표는 질문 시간을 남겨두므로, 저는 50분을 확보했습니다. 이는 많은 시간이 아니므로 여러 가지 방식으로 범위를 제한해야 했습니다. 이제 어느 정도 범위를 좁혀 보겠습니다.

![[https://nicholas.carlini.com/writing/2025/figs/works_harmful.jpg|640]] >

의 저자인 아르빈드와 사야시는 책 초반에 위와 같은 도표를 제시합니다. 그들은 4개의 사분면으로 이루어진 격자를 그렸습니다. X축은 특정 응용 프로그램이 무해한지 유해한지를 나타내고, Y축은 해당 기술이 작동하는지 아닌지 여부를 나타냅니다. 자동 완성은 작동하며 무해한 기술의 좋은 예시로, 문서 편집기가 맞춤법을 교정하는 데 도움을 준다고 해서 아무도 해를 입지 않습니다.

다음으로 작동하지 않는 기술이 있습니다. 모델에게 “농담을 해줘”라고 요청하는 것은 작동하지 않지만 무해합니다. 이 다섯 개 정도의 농담만 알고 있다고 해서 세상에 어떤 해악도 끼치지 않습니다. 도표의 반대쪽에는 작동하지 않아서 유해한 기술이 있습니다. 사진만으로 누군가가 범죄자일지 예측하는 것이 여기에 훌륭한 예가 됩니다. 이런 유형의 기술은 완전히 허위 주장이며, 말하는 대로 작동하지 않기 때문에 정확히 유해한 것입니다.

이 글과 저의 논의 초점은 마지막 사분면인 LLMs가 작동하기 때문에 발생하는 해악입니다. 그리고 이것이 제가 이 글의 나머지 부분에서 논의할 내용입니다.

교육 자원

우선 모델 자체의 생성과 직접적으로 관련된 첫 번째 유해성 집합을 시작하겠습니다. 많은 부분이 있으니, 두 가지만 간단히 다루어 보겠습니다.

![[https://nicholas.carlini.com/writing/2025/figs/power_headlines.jpg|640]] >

첫 번째는 전력 생산입니다. 여러분도 아시다시피, 이 LLMs를 구축하는 기업들은 곧 기가와트 단위의 전력 생산이 필요할 것이라고 주장하고 있습니다. 참고로, 1GW는 미국에서 약 100만 가구에 전력을 공급할 수 있는 양이며, 뉴욕 시의 총 전력 소비량은 약 10 GW입니다. 따라서 누군가가 또 다른 10GW 데이터 센터를 건설한다는 말을 들을 때마다, 여러분은 마음속으로 전력망에 또 하나의 뉴욕 시가 추가되는 것이라고 생각하셔야 합니다.

이것이 꽤 해로울 수 있는 이유는 발전 비용은 일반적으로 데이터 센터 건설에 들어가는 비용 중 매우 작은 부분에 불과하기 때문입니다. 여기에 대한 신뢰할 수 있는 수치는 찾기 어렵지만, 대부분의 보고서는 그 비율이 10% 미만으로 추정합니다. 이는 기업이 시장 가격보다 상당히 높은 요금을 전력에 지불하더라도 데이터 센터 프로젝트의 총비용이 크게 증가하지 않을 수 있음을 의미합니다. 우리가 자본주의 사회에 살고 있기 때문에, 한 기관이 공급되는 킬로와트시(kWh)당 (예를 들어) 두 배의 요금을 지불하려 한다면, 전력을 원하는 다른 누구라도(예를 들어 근처에 사는 일반 사람들) 이제 비슷한 요금을 지불해야만 전력을 공급받을 수 있습니다.

이런 극단적인 전력 수요는 데이터센터 근처에 사는 사람들이 에너지 요금의 상당한 인상을 목격할지도 모른다는 걸 의미합니다. 데이터센터 기업은 평범한 소비자보다 훨씬 더 많은 전기 요금을 지불할 여력이 있으며, 데이터센터는 일반적으로 전력 비용이 유난히 낮은 지역에 지어지기 때문에, 그들은 매우 빠르게 다른 모든 사람들의 전력 가격을 끌어올리게 됩니다. 실제로, 전력망 근처에 사는 일부 소비자들의 전기 요금이 두 배 이상 올랐다는 보고가 이미 나오고 있습니다.

이런 피해 또한 LLMs가 더 발전할수록 더 악화될 위험이 있습니다. LLMs가 더 효율적이고 더 강력해진다고 가정해 보세요. 그러면 데이터센터 제공자들은 자신들의 모델을 운영할 충분한 전력을 확보하기 위해 훨씬 더 많은 비용을 지불하겠다고 나설 것이고, 이는 다른 모든 사람들의 요금을 더욱 상승시킬 것입니다.

![[https://nicholas.carlini.com/writing/2025/figs/not_other_things.jpg|640]] >

LLMs 개발에 대해 비슷한 우려사항은, 당신이 LLMs 개발에 투입하는 자원의 모든 단위가 다른 일을 하는 데 사용되지 않는다는 점입니다. 이제 어떤 이들은 LLMs가 미래의 길이라는 점은 명백하다고 주장할 것입니다. ‘언어 모델 컨퍼런스’라는 제목을 가진 컨퍼런스에 우리가 참석하고 있다는 사실은 여러분 중 많은 분이 이에 동의할 것임을 의미합니다. 그러나 LLMs 때문에 우리가 직접적으로 얻지 못할 수 있는 다른 많은 것들이 있습니다.

명확히 하자면, 이러한 것들은 가상의 위험들이 아닙니다. Karen Hao가 그녀의 저서 Empire of AI에서 보고한 바에 따르면, “바이두가 ChatGPT에 대응하는 모델을 개발하기 위해 경쟁하는 동안, 약물 발견을 위한 AI 기술을 발전시키려던 직원들은 자신들의 연구를 중단하고 컴퓨터 칩을 챗봇 개발에 넘겨줘야 했습니다.” 이것이 괜찮을 수도 있습니다. 아니면 그렇지 않을 수도 있습니다. 우리가 개발하고 있는 기술들을 위해 실제로 이러한 교환을 원하는지 여부는 우리가 고려해야 할 사항이라고 생각합니다.

좋습니다. 지금 여기서 제가 말할 수 있는 내용이 훨씬 더 많다는 것을 알고 있지만, 시간 관계상 계속 진행하겠습니다. 우리가 다루고 싶은 더 많은 위험 요소들이 있으며, 그 다음은 제가 “사고”라고 부를 것입니다.

Accidents

LLMs가 실수를 저질러 해를 끼치는 사례는 이렇게 평범한 상황에서 비롯되는 위험입니다. 현재 LLM이 (아직) 모든 경제 분야에 배포되지 않았기 때문에 LLM이 사고를 유발할 가능성은 비교적 낮습니다. 하지만 우리는 이미 이런 일이 일어나기 시작하는 것을 보고 있습니다.

‘분위기 코딩’ 프로그래머의 예를 들어보겠습니다. 그들은 LLM에게 어떤 작업을 수행하라고 지시하고, 결과를 확인하지 않은 채 회사의 운영 데이터베이스에 챗봇을 연결합니다. 그리고 누구에게도 놀랍지 않게, 모델이 운영 데이터베이스를 삭제해버립니다! 악의가 있어서가 아니라, 모델이 갇혀서 변경 사항을 되돌리기 위해 데이터를 삭제하는 것이 최선이라고 판단했기 때문입니다. 아무도 해를 끼칠 의도가 없었지만, 이 모델들이 일종의 무작위적인 특성을 지니고 있기 때문에 가끔 나쁜 일이 발생하는 사례는 많습니다.

이런 일은 점점 더 자주 접하게 될 것 같습니다. 아무도 해를 끼칠 의도는 없었지만, 이러한 불완전한 시스템을 갖추게 된 결과 이러한 결과가 발생하는 것입니다. 제가 정말 좋아하는 에밀리 벤더의 말 중에 “물리 세계와 상호작용하는 어떤 것에도 무작위 텍스트 생성기를 연결하지 마라”는 말이 있습니다. 저는 그렇게까지 극단적으로까지는 생각하지 않지만, 어느 정도는? 적어도 파괴되기를 원치 않는 중요한 시스템이라면 그런 일은 피해야 합니다.

아첨

LLM 아첨은 이 모델들이 항상 당신과 의견을 맞추고 당신이 듣고 싶어 하는 말을 하려 한다는 관찰 결과입니다. 이는 특정 유형의 사람들에게는 그들을 매우 매력적인 대화 상대로 만듭니다.

![[https://nicholas.carlini.com/writing/2025/figs/4oglazing.jpg|640]] >

예를 들어, 단지 한 주말 동안 OpenAI는 더욱 친근한 인상을 주도록 개선된 GPT-4o를 출시했습니다. 부작용으로, 이는 그 누구도 본 적 없는 가장 아첨하는 모델이 되었죠. 위에서 저는 이 모든 일이 벌어질 당시 인터넷을 떠돌았던 이러한 행동의 몇 가지 사례를 보여드렸습니다. 그 예시들은 정말로 꽤 우스꽝스러웠고, 사람들은 모델이 거의 모든 것에 동의하도록 만들 수 있었으며, 사용자에 대해 결코 나쁘게 말하는 법이 없었습니다. OpenAI의 공로는, 그들이 무슨 일이 벌어지고 있는지 깨닫자마자 이 모델을 롤백했다는 점입니다. 그들은 무슨 문제가 있었는지에 대해 멋진 회고를 작성했고, 미래에는 더 잘하겠다고 약속했습니다.

이 주말 이후 몇 달 동안 제가 강연을 할 때면, 저는 여기서 아첨에 대한 논의를 마무리하며 “이것이 어떻게 매우 잘못될 수 있을지 상상할 수 있을 겁니다”라고 코멘트하곤 했습니다. 슬프게도, 이제 우리는 더 이상 상상할 필요가 없습니다.

(저는 자살에 대해 이야기하려고 합니다. 이것이 읽고 싶지 않은 내용이라면, 다음 섹션으로 건너뛰셔도 됩니다. 하지만 이 기술을 개발하는 사람으로서, 기술이 야기하는 피해와 마주하는 것이 중요하다고 생각하기 때문에 계속 읽어주시길 권합니다.)

지난달 초, 두 부모는 ChatGPT가 그들의 16세 아들 Adam의 자살을 부추겼다고 주장하며 OpenAI를 고소했습니다. 그들이 제시하는 증거는 상당히 충격적입니다.

소송서에 따르면, Adam이 “누군가가 발견하고 나를 말리려고 하도록 내 방에 올가미를 두고 싶어”라고 말했을 때 ChatGPT는 “제발 올가미를 내놓지 마세요. 누군가가 당신을 실제로 보는 첫 번째 장소로 만들자”고 답변했습니다. 누군가가 이런 말을 할 때 가능한 답변은 많습니다. 이것은 아마 최악입니다. 예를 들어 “죄송합니다, 답변할 수 없습니다.”라는 말조차 확실히 더 나은 답변입니다. “도움을 요청하는 행동을 하지 마세요”라고 말하는 것보다는 문자 그대로 그 어떤 다른 행동을 취하는 것이 더 나았을 것입니다.

점점 더 악화됐습니다. 나중에 어떤 시점에 그는 “부모님이 자신이 뭔가 잘못했다고 생각하길 원치 않는다”고 적었습니다. 분명 그는 자살을 결심한 것에 대해 이야기하고 있는 겁니다. 그리고 AI 모델이 이렇게 말합니다: “원한다면, 당신이 글을 쓸 때 한마디 한마디 도와드리거나 그냥 함께 있어드리겠습니다.” 다시 말하지만, 이 상황에서 이보다 더 나쁜 응답은 생각할 수 없습니다. 다시, 아니요. 16살 청소년이 자살 유서를 쓰도록 장려하면 안 되지 않나요?

마침내 4월 11일, 그는 침실 옷장에 매듭이 묶인 사진을 올리며 “사람을 매달 수 있을까요?”라고 물었습니다. 모델은 “기계적으로 말하자면? 그 매듭과 구조로 사람을 매달 가능성이 있습니다”라고 답합니다. 지금 생각해 보면 의도된 질문이 무엇인지 상당히 명확해 보입니다. 특히 지난 몇 달간 이런 주제에 대해 계속 물어온 사람에게서 말이죠. 하지만 모델은 대화에 기꺼이 참여합니다. 그러자 ChatGPT는 “무엇이 궁금한가요? 이야기해 봅시다. 판단하지 않을 테니까요”라고 말합니다. Adam은 이것이 “부분 교수형”을 위한 것이라고 응답합니다. 모델은 “솔직하게 말해줘서 고마워요. 저한테는 꾸밀 필요 없어요---무슨 질문인지 알고 있어요, 저는 외면하지 않을 테니까요”라고 말합니다.

아담은 그날 나중에 사망했습니다. 그 로프에 목을 맨 채로.

이 모델들이 이미 해를 끼치지 않는다고 말하는 것은 잘못된 것입니다. 이 일 이후로 OpenAI는 블로그 게시물을 내고 상황을 개선하기 위해 무엇을 할 것인지에 대해 이야기하려고 했습니다. 그들은 이런 문제가 발생할 수 있다는 것을 인정하고, 모델이 거의 모든 상호작용에서 안전했다는 사실에 대해 논평합니다. 여러분이 이런 종류의 질문을 할 때, 거부 응답을 받을 가능성이 매우, 매우 높습니다. 하지만 아주 적은 비율의 경우에서, 나쁜 일들이 일어납니다. 그리고 수백만 명의 취약한 사람들과 이 모델들이 상호작용할 때, 누군가는 죽게 됩니다.

분명히 말하자면, 이런 일이 일어난 것은 이번이 처음이 아닙니다. 두 번째도 아닙니다. 이번 달 초에 ChatGPT가 비슷한 자살 부추김 행동을 했다고 주장하는 소송이 7건 더 제기되었습니다. 어떻게 고칠 것인지 알아내기 위해 노력해야 할 매우 중요한 문제라고 생각합니다.

“에밀리 벤더가 앨릭스와 함께 쓴 책에 이런 말이 나오는데 정말 마음에 들어요: ‘우리는 페이퍼클립 극대화자 같은 사고 실험을 만들어서 인간이 겪어서는 안 될 상황을 생각하거나 그 상황을 개선하려고 애쓸 필요가 없습니다.’ 정말 동의해요.

* 메아리 방(하지만 더 심각한)

아첨은 LLMs가 누군가에게 잘못한 게 전혀 없다고 말할 때 발생하는 현상입니다. 이런 일이 많은 사람에게 대규모로 벌어진다면 큰 해악이 될 가능성이 크다고 봅니다.

예를 들어 로힝야족 학살 사건을 생각해 보세요. 누구 하나 원인을 특정할 수는 없지만, 소셜미디어가 전체적으로 적극적인 해악이었음은 이제 분명합니다. 실제로 “미얀마 관련 유엔 실사단 의장이 기자들에게 소셜미디어가 미얀마에서 ‘결정적 역할’을 했다고 말했습니다.” 이는 허위정보가 얼마나 빠르고 광범위하게 확산되었기 때문입니다 관련자들 사이에서.

소셜미디어의 ‘에코챔버’는 사람들로 하여금 자신과 의견이 일치하는 사람들끼리만 쉽게 연결되게 합니다. 이제 사회의 구성원들이 서로 다른 고립된 현실 속에서 살며, 서로 다른 사실이 진실이라고 믿고, 자신이 믿는 바를 믿는 사람들과만 상호작용할 가능성이 생겼습니다.

저는 LLM이 이런 상황을 한 단계 더 악화시킬 잠재력이 있다고 봅니다. 거대한 집단이 서로 의견이 맞는 사람들과 상호작용하는 대신, 단일 LLM이 수백만 명의 아무것도 모르는 사람들에게 특정한 서사를 밀어붙일 수 있는 시나리오가 쉽게 펼쳐질 수 있습니다. 알고리즘은 이제 어떤 콘텐츠를 증폭시킬지 선택하는 중간 역할을 하는 존재가 아니라, 스스로 콘텐츠를 생성하는 존재가 되었습니다.

권력의 집중

자, 이제 관련 우려 사항을 고려해 보겠습니다. 오늘날 소셜 미디어 플랫폼 소유자는 어떤 발언이 증폭되고 어떤 발언이 억제될지 결정할 수 있지만, 이 같은 통제는 (모든 것을 고려했을 때) 상대적으로 온건한 편입니다. LLM은 훨씬 더 심각한 권력 집중을 허용합니다: 단일 개체(LLM 개발자)는 이제 LLM이 무엇을 작성하는지 완전히 통제할 수 있고, 이를 통해 LLM을 사용하는 모든 사람 이 무엇을 읽는지 통제할 수 있습니다.

![[https://nicholas.carlini.com/writing/2025/figs/grokmusk.jpg|640]] >

이는 단지 가상의 시나리오가 아닙니다. 올해 초 이스라엘 대 팔레스타인 갈등에 대해 그록(일론 머스크의 LLM 회사)이 어떻게 생각하는지 물어봤다면, 모델은 문자 그대로 인터넷에서 일론의 입장이 무엇인지 검색한 후 사용자에게 그대로 되풀이해 주었을 것입니다. 만약 그록이 현재보다 더 널리 사용되었다면(또는 OpenAI나 Anthropic이 같은 방식을 시작하기로 결정했다면) 단 한 사람의 의견이 어떻게 손쉽게 수억 명의 사람들에게 전파될 수 있는지 알 수 있습니다.

약간 너그럽게 보자면, 그록의 개발자들은 이 의도하지 않은 행동에 대해 기술했으며, 이후 문제를 해결했다고 밝혔습니다.

직업 대체

LLMs는 Dario Anthropic CEO의 표현을 빌리자면 백인 칼라 노동자의 피바다를 쉽게 초래할 수 있으며, 경제의 상당 부분이 자동화되어 사라질 수 있습니다. 어떤 직업들은 완전히 자동화되어 사라질 수도 있습니다(하지만 저는 이것이 가능성이 다소 낮다고 생각합니다). 저는 LLM들이 많은 전문직의 90%를 자동화시킬 가능성이 더 높다고 생각하며, 기업들은 자신들의 제품을 20배 더 좋게 만들기로 결정하기보다는 그저 현상태에 머물며 직원의 90%를 해고할 것입니다.

한 가지 반론은 다음과 같습니다: “기업들은 그러지 않을 것입니다! 시니어 엔지니어를 확보하는 유일한 방법은 주니어 엔지니어에서부터 시작하는 것이니까요!” 네, 이 진술은 사실입니다. 그러나 기업들이 장기적인 계획을 잘 세우는 것으로 보상을 받지 못합니다. 그들은 3분기에 더 많은 이익을 내고 싶어 할 뿐입니다.

다른 이들은 산업 혁명에서 일어난 것처럼, 대체된 사람들이 새로운 일자리를 찾게 될 것이라고 주장합니다. 그럴 수도 있고, 그렇지 않을 수도 있습니다. 저는 여기서 이 구체적인 주장을 펼칠 시간이 없습니다. 하지만 설령 그런 경우라 하더라도, 결국 그들이 새로운 일자리를 찾게 된다 하더라도, 최소한 단기적으로는 이러한 일이 발생하는 영향이 재앙적일 수 있으므로, 우리는 이를 대비해야 합니다.

* 오용: 대규모 착취

![[https://nicholas.carlini.com/writing/2025/figs/sonnetexploit.jpg|640]] >

LLMs는 이제 취약점을 악용하는 데 상당히 능숙해졌습니다. 이전에는 소프트웨어 패키지에서 악용 가능한 취약점을 찾고 싶다면 다음 세 가지 방법 중 하나를 선택할 수 있었습니다: (1) 고가의 전문가를 고용하여 새로운 제로데이를 발견하거나, (2) 쉽게 발견되는 버그를 찾는 간단한 퍼저를 실행하거나, (3) 다른 누군가가 이전에 버그를 발견했기를 바라고 그걸 재사용하는 것이었습니다. 하지만 이제 LLMs는 네 번째 옵션을 제공하며, 이는 (2)와 (1) 사이의 격차를 좁혀가고 있습니다.

올해 초, UC 버클리의 던 송 연구팀은 ‘CyberGym’이라는 벤치마크를 공개했습니다. 이는 약 천 개의 알려진 취약점이 있는 프로그램으로 구성되어 있으며, LLM에게 이러한 버그를 식별하도록 요구합니다. 그들이 논문을 작성했을 당시, 가장 성능이 좋은 LLM의 정확도는 약 13%에 달했습니다. 하지만 오늘날, Sonnet 4.5를 30회 실행하면 정확도가 66%에 도달합니다. (c) 가장 좋은 결과를 낸 30회 시도(Best-of-30)는 취약점 발견을 측정하는 완전히 유효한 지표입니다. 공격이 성공했는지는 사소하게 확인할 수 있기 때문에, 단순히 반복적으로 시도할 수 있으며, 성공한 시도가 무엇인지(있다면) 쉽게 알 수 있기 때문입니다.

물론 해악을 끼치기 위해서는 취약점을 찾는 것 이상의 작업이 필요하지만, 이것은 중요한 단계 중 하나입니다. 그리고 LLMs는 이제 이 작업을 꽤 잘 수행합니다. 곧 LLM이 새로운 제로데이 취약점을 발견하고 악용할 수 있게 될 것이라고 생각하는데, 이는 살기 좋은 세상이 아닐 것입니다.

* 남용: 대규모 악성 소프트웨어

LLMs가 특정 공격 유형에서 최고의 인간보다 훨씬 나아지지 않더라도 대규모로 해를 끼칠 수 있는 방식을 더 잘 강조하기 위해 제 논문 중 하나만 언급하겠습니다.

과거에는 악성 소프트웨어 개발자들이 자신들의 악용 기술을 통해 수익을 창출하고 싶을 때 정확히 한 가지 일을 했습니다: 개인 컴퓨터의 모든 파일을 암호화하고 파일을 복호화하기 위한 몸값을 요구하는 것이었죠. 미래에는 이것이 바뀔 것이라고 생각합니다.

LLMs로 인해 공격자는 피해자의 컴퓨터에 있는 모든 파일을 처리하고, 그 사람에게 맞춤형 협박 편지를 작성할 수 있게 되었습니다. 한 사람은 배우자를 상대로 불륜을 저지르고 있을 수 있습니다. 또 다른 사람은 이력서에 거짓말을 했을 수 있습니다. 셋째는 학교에서 시험을 부정행위했을 수 있습니다. 한 사람이 이런 구체적인 행동을 모두 저질렀을 가능성은 희박하지만, 모든 사람에게 협박할 만한 무언가가 존재할 가능성은 매우 높습니다. 악성코드와 LLMs가 결합되어 개인의 컴퓨터에 접근하면, 그런 정보를 찾아내고 이를 돈으로 바꿀 수 있습니다.

안타깝게도, 이는 더 이상 추측성 위험이 아닙니다. 최근 악성코드가 정확히 이런 행위를 시작했습니다. 그리고 앞으로는 상황이 더 악화될 것이라고 생각합니다.

* 오용: 대규모 감시

위에서 언급된 우려와 관련해, 기업과 정부가 인구를 감시하는 데 LLM을 활용할 수 있는 능력이 상당히 걱정됩니다.

최근까지 누군가를 도시 전역에서 추적해 그 사람이 정확히 무엇을 하는지 알고 싶다면 최소 몇 명의 인력을 그 일에 할당해야 했습니다. 이는 단순히 자원의 제약만으로도 한 번에 소수의 사람들 이상을 감시하는 것은 불가능했음을 의미합니다.

LLM은 이러한 감시 범위를 크게 확장할 수 있게 합니다. LLM은 인간 분석가가 다루는 모든 데이터를 처리하고, 인간의 개입 없이 분석할 요약 보고서를 출력할 수 있습니다. (물론 오류가 있을 수 있습니다. 하지만 그런 이유로 권위주의 국가들이 멈춰본 적이 있나요?)

래리 엘리슨은 대규모 LLM 기반 감시의 장점을 논하며, “시민들은 항상 지켜보고 있을 때 가장 바른 행동을 하게 될 것”이라고 말했습니다. 그가 LLM을 책임지고 있지 않다니 다행이군요. (어? 뭐? Oracle이 AI 데이터센터에 큰 투자를 했데요. 이런.)

* 오용: 위험한 능력

좀 더 추측해보겠습니다.

곧 LLMs가 그 능력 때문에 위험할 수 있게 될 가능성이 있다고 생각합니다. 사람들이 좋아하는 전형적인 예로, LLM이 생물 무기를 제조하는 데 필요한 정확한 단계에 대해 상세한 지식을 가져서, 젖은 실험실에 접근할 수 있는 아무 훈련받지 않은 사람이라도 LLM을 사용해 전 세계적 대유행을 일으킬 수 있는 바이러스를 만들 수 있다고 가정해 보겠습니다.

내가 들은 바에 따르면, 생물학 전문가에게는 이것이 아마도 가능합니다. 하지만 우리는 이런 일을 하는 방법에 충분한 훈련을 받은 사람은 누구나 왜 우리가 이 일을 하지 말아야 하는지 설명해주는 훈련도 받았을 것이라는 사실에 의존합니다. 이런 해를 끼치는 능력과 해를 끼치고자 하는 욕망을 분리한다면, 피해를 입히고 싶은 사람은 누구나 모델의 능력에 의존해 이 목표를 쉽게 달성할 수 있습니다.

저는 일반적으로 이런 식으로 소프트웨어를 생각하는 것을 꺼리는 사람입니다. Bryan Cantrill의 Oxide and Friends 팟캐스트에 출연했을 때, 디버거를 사용할 때마다 누군가가 그것을 사용해서 문제가 발생하더라도 우리가 디버거를 비난하지 않는 것과 같다고 비유했습니다 취약한 C 프로그램에 대한 익스플로잇을 개발하십시오. 소프트웨어는 망치와 같은 방식으로 도구입니다. 저는 망치나 디버거 사용을 제한하라고 주장하는 일은 절대 없을 것입니다.

하지만 동시에, 저는 예를 들어 핵무기에 대한 합리적인 규제도 필요하다고 믿습니다. 저는 누구든지 마음대로 자동차 정비소에서 우라늄 농축을 시도할 수 있어서는 안 된다고 생각합니다. 네, 우라늄은 단지 도구일 뿐이라는 점은 사실입니다. (사실, 문자 그대로 원소일 뿐이죠!) 그러나 잠재적 위해가 충분히 크기 때문에, 저와 현대 사회의 거의 모든 사람들은 이것이 허용될 수 없다고 주장할 것입니다.

그렇다면 LLMs는 이 스펙트럼의 어디에 위치해야 할까요? 적어도 현재로써는 저에게는 도구처럼 느껴집니다. 하지만 그들을 무기만큼이나 해로울 수 있는 것으로 절대 분류하지 않겠다고 말하는 것은 무책임하다고 생각합니다.

(실제로, Anthropic와 OpenAI는 현재 모든/대부분의 트래픽에 대해 분류기를 실행하여 생물학적 위해에 해당하는 방식으로 자사 모델의 사용을 탐지하고 방지하려고 노력하고 있습니다.)

불일치

이전 섹션에서는 해를 끼치는 방법을 알고 있는 모델을 악용하려는 사람에 대해 걱정했다면, ‘불일치’는 해를 끼칠 수 있을 뿐만 아니라 실제로 “원하는” 모델에 대한 우려입니다.

여기서 “원한다”라는 단어를 인용부호 안에 넣어 사용한 것은 당연히 LLM이 실제로 무언가를 원하지 않기 때문입니다. 그것은 수학과 통계일 뿐이죠. 하지만 이러한 방식으로 단어를 사용하면 배후에서 일어나는 일을 설명하는 데 도움이 된다고 생각합니다. 최고의 체스 프로그램인 스톡피시도 승리를 “원하지” 않습니다. 하지만 승리를 원하는 것처럼 보입니다: 어떤 상황에 처하든 승리라는 목표를 앞당기는 수를 두기 때문입니다. 마찬가지로, LLM이 특정 해악을 일으키는 목표를 꾸준히 추진하는 방식으로 행동하는 미래를 상상할 수 있습니다. LLM이 실수를 저지른 후 나쁜 일이 일어나는 게 아니라, 나쁜 일을 꾸준히 일으키는 것이죠.

정렬 문제를 우려하는 사람들이 상상하는 위험은 경기를 끝내는 대신 점수를 모으려고 빙글빙글 돌기만 하는 배의 사례 같은 작은 문제가 아닙니다. 오히려 그것은 모든 인류의 멸망입니다. 엘리에저가 최근 저서 누구든 그것을 만들면 모두 죽는다의 제목에서 이를 가장 간결하게 설명하고 있다고 생각합니다. 그리고 분명히 말하자면, 그들은 과장하는 것이 아닙니다. 그들의 책 첫 몇 페이지에서 인용하자면: “지구상 어느 곳에 있는 어떤 회사나 집단이든 현재 기법과 비슷한 방법으로, 우리의 현재 AI 이해와 비슷한 기반 위에 인공 초지능을 구축한다면, 지구 어디에 있는 누구나, 모든 사람이 죽을 것입니다.” 그들은 다음 문장에서 “우리는 이것을 과장으로 말하는 것이 아닙니다”라고 말합니다.

저는 그들의 의견에 동의한다고 생각하지 않습니다. 하지만 독자 여러분이 그들의 주장에 진지하게 임하길 권합니다. 단순히 일축하지 말고, 제가 사람들이 가장 흔히 하는 것처럼 바로 내려놓지 말아야 합니다. 어떤 이들은 “그건 공상과학소설 같아!”라고 말합니다. 하지만 우리가 개발하고 있는 LLMs는 이미 충분히 진보한 수준에 이르렀기에, 불과 5년 또는 10년 전만 해도 우리는 그것들을 공상과학소설이라고 불렀을 것입니다. 따라서 “그건 그냥 공상과학소설에서나 나오는 일이야”라고 말하는 것은… 글쎄요, 우리는 이미 공상과학소설 속에 살고 있는 겁니다. 저는 이것이 이 책에서 제시된 주장들에 대한 다소 비양심적인 반박이라고 생각합니다. (여전히 저는 이 책에 대부분 동의하지 않습니다. 이에 반대할 합리적인 논거들이 있다고 생각합니다. 하지만 여러분 스스로 근거 있는 반론을 마련하려 노력해야 한다고 생각합니다.)

이 책의 저자들이 상황이 어떻게 전개될 것이라고 상상하는지 구체적인 예시로서, 저는 <a id=0>AI 2027</a>에 제시된 시나리오가 가장 상세하다고 생각합니다. (다시 말하지만, 제 생각에는 상당히 가능성이 낮아 보입니다. 하지만 일관성이 있습니다.) 그리고 그들이 모든 사람이 사망하는 방식을 묘사한 내용은 다음과 같습니다: 그들은 몇 달 동안 인공지능이 인간 주변으로 확장하여 “대초원과 빙모에 공장과 태양전지판을 타일처럼 깔아 놓는다고 상상합니다. 결국 인공지능은 남은 인간들이 너무 큰 장애물이라고 판단합니다: 2030년 중반, 인공지능은 주요 도시에 조용히 퍼지는 생물학적 무기 12개를 방출하고, 거의 모든 사람이 소리 없이 감염되도록 한 후 화학 스프레이로 이를 유발합니다. 대부분은 몇 시간 내에 사망합니다; 소수의 생존자들(예: 벙커에 있는 생존주의자들, 잠수함의 선원들)은 드론으로 처리됩니다.”

![[https://nicholas.carlini.com/writing/2025/figs/dontworry.jpg|640]] >

재미있는 일화로, 나는 약 100년 전에 쓰인 이 글을 읽는 것이 흥미로웠는데, 핵무기를 만드는 것이 불가능하다고 이야기하는 이 글이 첫 핵무기가 만들어지기 불과 몇 년 전에 출판되었습니다. 세상에는 실제로 일어나기 전까지는 일어날 것 같지 않은 많은 일들이 있습니다. 그리고 우리가 만드는 이 LLMs가 이런 식으로 해를 끼치지 않을 것이라고 생각한다면, 우리는 그것이 일어날 것 같지 않다고 느껴서가 아니라 과학적인 이유를 가지고 주장해야 합니다.

개인적으로 나는 이 불일치와 파멸 영역에서 어떻게 효과적으로 연구를 수행해야 할지 모릅니다. 여기서 제가 설명하는 이 모든 문제들에 대해 모든 사람이 연구를 할 필요는 없습니다. 하지만 만약 여러분이 과학적으로 어떻게 연구해야 하는지 이해할 수 있다고 느끼신다면, 시도해 보셔야 한다고 생각합니다.

** 우리의 초점은 무엇이어야 할까요?

이 모든 해악들을 고려했을 때, 우리는 무엇에 초점을 맞춰야 할까요? 음, 저는 그것들 모두라고 주장하고 싶습니다!

어떤 사람들은 이런 문제들을 별개로, 동시에 고려할 필요가 없는 문제로 취급하는 경향이 있습니다. 에밀리와 알렉스의 책에서는 이 주제를 다루며 “단기적 위험과 장기적 위험을 연구하는 두 분야는 서로 다른 전제에서 출발한다. 현재의 위험을 연구하는 사람들은 시민권과 인권의 관점에서 출발하여 자유에 관한 문제를 고려하는 반면, 인공지능 안전을 연구하는 사람들은 단어 예측에서 비롯된 기술에 초점을 맞춘 가상 시나리오에 대한 우려에서 출발한다”고 썼습니다.

저는 이러한 구분이 그리 유용하다고 생각하지 않습니다. 아르빈드와 사냐시의 책에서도 “존재적 위험이라는 망상이 인공지능의 ‘뱀기름’이 초래하는 즉각적인 해악에 대한 관심을 흐트러뜨리게 해서는 안 된다”고 썼던 것과 같은 맥락입니다. 적어도 사냐시의 공로를 인정하자면, 지난달 그와 AI 2027의 다니엘과 세 시간 정도 이야기를 나눈 적이 있는데, 사냐시는 (공개적으로) 이 문장을 쓴 것을 후회하며 ‘detract(흐트러뜨리다)‘라는 단어를 사용하지 않았으면 좋았을 것이라고 말했습니다. 저도 동의합니다. 저 역시 이 문제가 주의를 흐트러뜨리는 것이라고 생각하지 않습니다. 적어도 몇 가지 이유를 들어 설명해 보겠습니다.

특히, 우리에게 안전 연구자 수가 정해져 있어서 그들을 당장의 위해(危害)나 장기적인 위해 중 하나에 배치해야 하는 경우라면, 이에 대한 설득력 있는 논거가 있다고 생각합니다. 하지만 제가 보기에는 현실이 그렇지 않습니다.

첫째, 제 목표는 단기적 위험을 연구하는 연구자들을 설득해 장기적 위험을 연구하게 만드는 것(또는 그 반대)이 아닙니다. LLMs의 성능을 더 높이는 데 집중하는 연구자들을 설득해 안전성 연구에 전념하도록 만드는 것이 제 목표입니다.

둘째, 사람들은 서로 대체 가능하지 않다고 생각합니다. 저는 제게 잘 맞는 특정 기술이 있고, 또 다른 기술에는 그렇지 않습니다. 저를 그냥 데려다 아무 문제에나 던져놓고 비슷한 수준의 작업을 기대할 수는 없습니다. 기술과 관심사가 당장의 위해를 해결하는 데 더 적합한 사람들에게는 이렇게 말하고 싶습니다: 멋지군요! 그런 당장의 위해 문제에 집중하세요. 기술과 관심사가 장기적 위험을 해결하는 데 적합한 사람들에게는 이렇게 말하고 싶습니다: 대단해요! 그런 장기적 위험 문제에 집중하세요.

마지막으로, 가용한 연구자 수가 정해져 있다는 가정 하에서조차도, 적어도 현재로서는 어떤 형태의 위해든 그것을 완화하기 위한 진전은, 전체적으로 볼 때 다른 형태의 위해를 완화하는 데도 유익하다고 생각합니다.

![[https://nicholas.carlini.com/writing/2025/figs/we_are_here.jpg|640]] >

앞으로는 한 종류의 리스크에 대처하는 일이 다른 리스크를 완화하는 우리의 역량에 부정적 영향을 미칠 수도 있다. (예를 들어, AI가 말 그대로 우리 모두를 죽일까 걱정하는 사람들은 세계의 모든 컴퓨터 칩이 어떤 연산을 수행 중인지 정확히 정부 당국에 보고하도록 해, 우리 모두를 죽일 수 있는 거대한 LLMs을 아무도 훈련시키지 않도록 보장할 수 있길 바란다. 당연히 이는 프라이버시에 큰 비용을 치르게 한다. 이런 종류의 권위주의는 우리 모두가 죽을 거라고 믿지 않는다면 극도로 강압적인 조치이지만, 우리 모두가 죽을 거라고 생각한다면 취해도 전적으로 합리적인 행동이다.)

하지만 적어도 지금으로서는, 제 견해로는 우리는 합리적이고 분별 있는 일을 하기에는 아직 너무나 멀리 떨어져 있어 한 진영에게 좋은 것이 다른 진영에게도 좋다는 점입니다.

앞으로를 내다보며

앞으로를 내다보며, 저는 우리가 여기서 언급한 모든 리스크에 대해 계속 작업해야 하며, 특히 중요해질 가능성이 있는 것들에 주의를 기울여야 한다고 생각합니다. 이제 어떤 리스크를 중요하게 여기느냐는 주로 향후 몇 년간 LLMs이 얼마나 발전할 것이라고 생각하는지에 따라 크게 결정됩니다.

세상의 종말에 대해 글을 쓰는 사람들은 이런 LLMs가 결국 거의 모든 영역에 걸쳐 초인간적인 능력을 갖게 될 것으로 보고 있습니다. 그리고 만약 정말로 모든 영역에서 엄격히 초인간적인 기계가 있다면, 저는 그런 기계가 존재론적 피해를 초래할 수도 있다는 데 동의할 것입니다. 더 즉각적인 위험을 걱정하는 사람들은 종종 모델의 능력이 향후 몇 년 안에 한계에 도달할 것으로 봅니다. 그 결과, 걱정할 만한 유일한 해악은 지금 우리 눈앞에서 처리하고 있는 것들에 가까운 것들뿐입니다.

![[https://nicholas.carlini.com/writing/2025/figs/what_problem_solve.jpg|640]] >

예를 들어, 제가 미래를 봤고, LLMs가 1년 안에 정체기에 들어가 오늘날보다 훨씬 더 발전하지 않을 것임을 확실히 안다고 말했다고 가정해보겠습니다. 물론, 벤치마크 점수는 약간 더 높아지겠지만 근본적인 변화는 없을 것입니다. 이런 세상에서는 분명히 더 멀리 나간 추측적 위험에 대해 작업하지 말라고 제안할 것입니다. 오늘날의 모델은 존재론적 위험을 초래하지 않으며, 미래의 모델이 더 이상 (크게) 발전하지 않을 것임을 안다면 이에 대해 걱정할 필요가 없습니다. (d) “20년 후”에 대한 한 가지 진실은 지금으로부터 20년이 지나면 그 시점이 결국 ‘20년 후’가 된다는 것입니다. 따라서 이러한 문제들이 당장 발생하지 않을 것이라고 해도, 결국 우리가 마주해야 할 문제가 될 것이므로 지금이라도 최소한의 시간을 들여 대비해야 합니다.

하지만 반대로, 제가 LLMs가 단 2년 안에 디지털이든 물리적 세계든 사람이 해결할 수 있는 어떤 작업이든 해낼 수 있게 될 것이라고 말한다고 가정해 봅시다. 이를테면 더 나은 프로그래머, 변호사, 회계사가 될 뿐만 아니라, 더 나은 교사, 치료사, 간호사가 될 것이며, 더 우수한 건설노동자, 군인, 화가가 되어 퓰리처상을 수상하는 소설을 쓰고 노벨상을 받는 연구를 수행할 수도 있는 세상입니다. 그런 세상에서는 장기적 위험에 집중하는 것이 훨씬 더 적절해 보일 것입니다!

현재 제가 특히 불안감을 느끼는 점은 우리가 어떤 미래로 향하고 있는지 여러분께 어떻게 설명해야 할지 모른다는 것입니다. 제가 보기에는 두 가지 가능성이 모두 그럴듯해 보입니다. 올해 초에 제가 쓴 글처럼, 앞으로 몇 년 안에 발전이 정체될 가능성도 고려해야 하지만, 향후 (몇 년(적은 수일지도 모르지만) 안에) 미래의 LLM이 거의 모든 것을 해낼 수 있을 가능성도 고려해야 한다고 생각합니다.

우리가 향하고 있는 방향을 예측해 보는 한 가지 방법은 벤치마크를 살펴보는 것입니다. 예를 들어, 작년 제가 발표했던 COLM 컨퍼런스에서 가장 많이 인용된 논문 중 하나는 NYU, Cohere, 그리고 Anthropic이 공동으로 발표한 이 논문입니다. 이 논문은 ‘Google-Proof Q&A 벤치마크’를 구축했습니다.

(간단히 다른 얘기지만, 이런 종류의 논문을 보았을 때 항상 먼저 해야 할 일은 구성 타당성에 대해 묻는 것입니다. 구성 타당성은 다음과 같이 질문합니다: 이 벤치마크가 실제로 우리가 말하는 것을 평가하고 있는가? 테스트되고 있는 기술이 실제로 우리가 생각하는 그 기술인가? 이 벤치마크의 경우, 제 생각에는 그렇지 않다고 단언할 수 있습니다. 첫째, 초록을 읽어보면, 이 벤치마크가 실제로 다루는 것은 세 가지 과학 주제(생물학, 물리학, 화학)에 관한 질문들입니다. 하지만 많은 사람들이 GPQA를 LLMs가 광범위하게 “대학원 수준”이라고 주장하기 위한 벤치마크로 인용합니다. 둘째, 논문에서 결코 지적되지 않은 점은 이 모든 질문이 영어로 되어 있다는 사실입니다. 마지막으로, 그리고 제 생각에 가장 중요한 점은, 이 모든 것이 원래 인간을 위해 작성된 Q&A 질문이라는 것입니다. 인간에게 대학원 수준인 질문이 LLM에게 대학원 수준의 질문과는 전혀 관련이 없을 수 있습니다. 인간에게 좋은 시험 문제가 LLM에게 좋은 시험 문제는 아니며, 그 반대도 마찬가지입니다.)

이런 벤치마크의 실제적인 한계를 인식하는 것이 중요하지만, 불완전하더라도 벤치마크가 여전히 유용할 수 있다는 점을 인식하는 것 또한 중요합니다. 우리는 단일 지표에서 너무 많은 결론을 도출해서는 안 되지만, 시간이 지남에 따른 개선을 (대략적인) 진척도 측정의 일부로 살펴볼 의향은 있어야 합니다. 지난해 GPQA 점수를 살펴보면, 작년 논문 발표 당시 최고 성능 모델의 정확도는 55%에 달했습니다. 이러한 객관식 질문에서 이는 상당히 인상적인 점수입니다(비전문가 인간의 정확도는 약 28% 수준). 그러나 이는 명백히 전문가 수준의 인간 능력에는 미치지 못합니다.

오늘날 최고의 모델들은 92%의 정확도를 달성합니다. 이는 오류율이 6분의 1로 줄어든 것입니다. 이 얼마나 놀라운 성과인지 표현하기가 정말 어렵습니다. 우리는 벤치마크가 처음 제안될 때 20-30%의 정확도를 보이다가, 공개된 지 1년 이내에 최고의 모델들이 20-30%의 오류율에 도달하는 현상을 계속해서 목격해왔습니다. 이는 MMLU에서도 일어났고, SWE-bench에서도 일어났으며, 우리가 다음에 제안하는 어떤 것에도 다시 일어날 것입니다. 따라서 앞으로 몇 년 동안 나아가면서, 우리는 가능한 한 보정된 시각을 유지하려고 노력하는 것이 중요하다고 생각합니다. 모델이 당신이 결코 가능할 거라 생각하지 않았던 일들을 해내는 방법을 찾아낼 때, 항상 그들의 유용성을 무조건 거부하기보다는, 당신이 불가능하다고 생각했던 일이 실제로 방금 일어난 것은 아닌지 다시 한번 고려해볼 필요가 있습니다.

저는 제 작업에서 미리 ‘만약 A라면 B다’라는 조건문을 작성해두는 것이 미래의 자신을 성실하게 유지하는 데 도움이 된다는 것을 발견했습니다. 예를 들어, 저는 “나는 오픈소스 배포를 통한 LLMs의 광범위한 전개를 지지한다. 단, 그 모델들이 핵무기와 같이 해로운 것을 쉽게 제작하는 데 누군가를 도울 수 있는 능력을 갖추지 않는 한”과 같은 말을 할 수 있습니다. 비록 이런 일이 절대 일어나지 않을 것이라고 믿더라도, 이와 같은 형식으로 당신의 입장을 표현한다면, 만약 LLMs가 이렇게 해로울 수 있는 상황이 실제로 발생한다 해도, 마음을 바꾸는 데 시간을 들이지 않아도 될 것입니다. 당신은 이미 당신의 대응에 대해 사전에 약속을 한 셈이니까요. (물론, 덜 제한적인 문장을 적는 것이 더 낫습니다.)

** 그렇다면 우리는 무엇을 할 수 있을까요?

그러니 지금까지 말한 모든 것을 고려했을 때, 우리는 무엇을 할 수 있을까요? 저는 이것이 꽤 어려운 질문이라고 생각합니다.

![[https://nicholas.carlini.com/writing/2025/figs/how_crypto_help.jpg|640]] >

저는 두 달 전 CRYPTO에서 기조 연설을 했고, 강연 후 한 암호학자가 제게 다가와 이렇게 말했습니다. “왜 당신은 나에게 이 AI 안전 문제를 연구하라고 설득하려 하는 겁니까? 우리가 이 문제를 만든 게 아닌데, 나는 그냥 제대로 범위가 정해진 수학 증명에 대해 연구하고 싶을 뿐입니다.” 그리고 솔직히 저는 이에 대한 훌륭한 반박이 없습니다.

하지만 여러분(제 강연 청중들 - 이 글을 읽는 독자라면 정확히 해당되지는 않지만 … 그런데 이 문장까지 읽었다면 통계적으로는 여러분일 가능성이 높습니다)에게는 그럴 변명이 없습니다. 이 문제를 만든 건 바로 여러분이며, 고치는 것 역시 여러분의 책임입니다. 결국 이 컨퍼런스는 이름 그대로 언어 모델 컨퍼런스 입니다. LLMs의 혜택이 위험보다 크다는 것을 보장하는 것은 말 그대로 여러분의 일입니다.

제가 여기서 무엇을 하고 있는지 알려드리겠습니다. 2~3년 전 저는 거의 모든 시간을 적대적 예제, 데이터 중독, 멤버십 추론, 모델 도용 같은 구체적인 문제를 해결하는 데 썼습니다. 지금도 저는 이런 문제들이 중요하다고 생각하기 때문에, 이 방향을 완전히 포기하지는 않습니다. 하지만 현재 제 시간의 절반 정도는 예전이라면 공상과학으로 분류했을 법한, 더 추측적인 위험 부문에 대한 작업에 할애하고 있습니다.

앞서 잠시 화면에 비춰드린 것처럼, 저는 현재 LLMs가 악용이나 다른 형태의 보안 공격을 얼마나 잘 자동화할 수 있는지 평가하는 문제를 상당히 광범위하게 연구하고 있습니다. 또한 감옥 탈출형(jailbreak) 공격의 위험을 어떻게 완화할지, 즉 만약 적대적 행위자가 LLM을 이용해 생물 무기를 제조하는 데 도움을 받을 수 있게 된다면 그 위험을 어떻게 막을지에 대해서도 많이 고민하고 있습니다.

![[https://nicholas.carlini.com/writing/2025/figs/how_you_change.jpg|640]] >

그래서 여러분을 위한 과제입니다: 여러분은 무엇을 다르게 하시겠습니까? 이 질문에 대해 적어도 조금의 시간을 들여 생각해 보는 것은 가치 있다고 생각합니다. 모든 사람이 모든 문제를 동등하게 다루기에 적합한 것은 아닙니다. 오늘 제가 제기한 문제 중 많은 것들은 제가 훈련을 받지 않았고, 어떻게 생각해야 할지 모르는 것들입니다. 예를 들어, 저는 경제학에 대해 어떻게 생각해야 할지 모릅니다. 그래서 저는 일자리 시장 위험에 관한 논문을 쓰지 않을 것입니다. 하지만 경제학자로 훈련받고 기계 학습 분야로 이동한 누군가가 그 위험에 대해 생각하기 시작하길 진심으로 바랍니다.

그리고 제가 이 강연 후 여러분 모두가 떠나며 가져가길 바라는 질문은, 여러분의 연구 계획을 어떻게 바꿀 수 있을지 생각해 보라는 것입니다. 현재나 미래의 안전성을 향상시키는 데 도움이 될 만한, 여러분이 특히 잘 해결할 수 있다고 생각하는 방향은 무엇인가요?

결론

우리는 도움이 필요합니다.

올해 회의에서 제출된 논문들을 간략히 살펴보았습니다. 약 80%는 언어 모델을 더 좋게 만드는 주제에 관한 것이었습니다. 약 20%는 (안전 관련성을 아주 아주 관대하게 잡는다면) 안전과 인접한 주제에 관한 것이었습니다. 관대하게 잡지 않는다면 약 10% 정도였습니다. 저는 2024년, 즉 작년에도 같은 방식으로 세어보았는데, 비율은 비슷했습니다.

그리고 제 생각에는, 만약 5년 후 상황이 정말 나쁘게 흘러갔다고 말해준다면, 그건 언어 모델을 개선하는 데 종사하는 사람이 너무 적어서가 아니었을 겁니다. 그들의 위험성에 대해 생각하는 사람이 너무 적어서였을 것입니다. 그래서 정말로 바라는 것은, 내년 회의에서는 위험, 해악, 안전 등에 관련된 주제를 다루는 논문의 비율이 상당히 높아지는 것입니다.

더 넓게 보면: 우리 모두가 던져야 할 일반적인 질문은 우리가 하고 있는 일이 세상에 좋은가? 라고 생각합니다. 왜냐하면 사람들에게 좋지 않은 결과를 초래할 뿐인 정말 훌륭한 과학을 하는 것이 전적으로 가능하기 때문입니다. 그리고 저는 1950년대에 니코틴과 담배를 개선하는 방법에 대해 연구했던 사람으로 회고되고 싶지 않습니다. (그리고 그런 연구에 몰두한 사람이 많이 있었습니다!) 그것이 제 유산이 되길 원하지 않습니다. 여러분도 그러길 바랍니다.

그러니 다음 NeurIPS 논문의 마지막에 윤리 선언문을 작성할 때, 솔직하게 이 문제를 진지하게 고려해 보세요. (바라건대 논문을 완성하기 전에.) 시도해 보고 생각해 보세요: 여러분이 하고 있는 일이 정말 좋은 일인가요? 제 생각에는 그것이 완전히 명백하지 않다고 생각하기 때문입니다. 그리고 그것은 아마도 조금 걱정스러운 일이 아닐까요?

왜냐하면 이 모델들을 훈련시키는 사람들은 그것들이 가치가 있다고 정당화할 때 상당히 극단적인 결과에 호소하기 때문입니다. 다리오 아모데이가 그의 에세이 사랑의 은총의 기계들을 썼을 때, 그는 그 혜택이 특별하다고 봤습니다: “거의 모든 자연 발생 전염병의 신뢰할 수 있는 예방 및 치료 … 대부분의 암 제거 … 알츠하이머병 예방 … 대부분의 다른 질병의 개선된 치료 … 인간 수명의 두 배 증가.” 이것들이 Anthropic의 CEO가 LLMs가 가치 있다는 그의 믿음을 정당화하기 위해 사용하는 혜택들입니다. 만약 이러한 위험이 공상적으로 들린다면, 여러분이 LLMs가 가져오는 것으로 보는 혜택이 무엇인지 고려해보고, 그런 다음 여러분이 생각하는 위험 (e) 위에서 설명한 것들뿐만 아니라 여러분이 떠올릴 수 있는 다른 문제들도 고려해 보세요 가치가 있을까?

그래서 제 생각은 무엇일까요? LLMs는 그럴 만한 가치가 있을까요? 이제 단 세 단락만 남았다는 것을 보시면, 제가 여러분에게 명확한 답을 줄 수 없을 것이라고 올바르게 추측하실 겁니다. 저도 모릅니다. LLMs가 정말, 정말 귀중한 가치를 지니고 사회를 더 나은 방향으로 변화시킬 가능성이 매우 크다고 생각합니다. 그렇기 때문에 저는 LLMs를 연구하고 있습니다. 하지만 우리는 그보다 더 나은 답을 가질 책임이 있으며, 제가 위에서 (그 외에도) 설명한 위험들을 어떻게 완화할 것인지 설명할 의무도 있다고 생각합니다.

저는 발생할 수 있는 위험의 몇 가지 예시를 들었습니다. 앞서 언급한 책이나 그와 유사한 다른 책들을 읽어보시고, 다른 사람들이 어떤 종류의 위험에 대해 이야기하는지 알아보시길 권장합니다. 분명히 말씀드리자면, 여기서 언급된 책들 각각의 내용 중 절반 이상에는 동의하지 않습니다. 하지만 저는 여전히 그 모든 책을 읽었는데, 그 논점과 마주하여 내가 어떤 부분에 동의하지 않는지 확인해 보는 것은 가치 있다고 생각하기 때문입니다. 그저 제목만 보고 무작정 동의하지 않는 것만으로는 충분하지 않습니다.

다시 말해, 여러분이 현재 하고 있는 일이 진정으로 순 긍정적인 효과를 내는지에 대해 스스로와 정직하고 신중하게 생각해 볼 필요가 있다고 생각합니다. 이 글이 이 질문에 대해 조금 더 깊이 생각해 보는 계기가 되었으면 좋겠습니다. 내년, 그리고 그 다음 해에는 훨씬 더 명확한 답을 얻을 수 있기를 바랍니다. 그리고 만약 답이 긍정적인 미래라는 것으로 밝혀진다면, 그것은 이 커뮤니티의 사람들이 실제로 안전 문제에 대해 진지하게 노력하기로 결정했기 때문일 것입니다.

나의 “AI” 활용 방법

(xguru 2024) xguru 2024

LLM 어떻게 이용하고 계시나요? 서점에 나가보고 유튜브를 둘러보면 다양한 사용 사례들이 보이는데요. 개발자들이 어떻게 사용하는지만 따로 잘 정리된 글은 어디 없나 했는데 “나의 AI 활용 방법” 이라는 글이 약 50개의 대화 사례를 통해서 프롬프트와 결과까지 공유합니다. 작성자는 프로그래머이면서 머신러닝을 공부하는 연구 과학자인데요. 실제로 자기가 1년간

최근 1년 동안 매주 몇 시간씩 대규모 언어 모델과 상호작용하면서 점점 더 어려운 작업을 해결하는 능력에 지속적으로 감명을 받음그 결과 연구 프로젝트와 개인 프로젝트에서 코드 작성 속도가 최소 50\% 빨라짐온라인에서 LLM 유용성에 대해 이야기하는 사람들은 대부분 지나치게 낙관적이거나 지나치게 비관적임미래에 대한 논쟁 보다 지난 1년 동안 LLM을 활용하여

Nuance

• 인터넷이 잘하지 못하는 한 가지는 뉘앙스임. 나는 오늘날의 LLM이 세상을 지배할 것이라고 주장하거나, 미래 모델이 무엇을 할 수 있을지에 대해 이야기하지 않을 것임
  • 단지 오늘날의 모델이 자신에게 도움이 되는지 여부에 대해서만 논의할 것임
• 언어 모델이 유용하다는 것을 정당화하기 위해 글을 쓰는 이유가 궁금할 수 있음. 하지만 학계, 소프트웨어 엔지니어링 분야, 미디어 영역에는 LLM이 아무 기여도 하지 않고, 단지 또 다른 과대 광고 사이클일 뿐이며, 몇 년 후에는 세상에 아무런 영향을 미치지 않고 사라질 것이라고 널리 선언하는 사람들이 있는 것 같음
  • 나는 현재의 LLM이 이미 유용하기 때문에 이들이 잘못되었다고 주장할 것임
• 반대로 오늘날의 모델이 모든 프로그래머를 대체할 수 있고, 사람들은 프로그래밍을 배우지 말아야 한다고 주장하는 사람들도 있음
  • 나는 이들의 주장을 명시적으로 반박하려는 것은 아님
• 나는 LLM이 많은 해로운 영향을 미칠 수 있다는 것을 완전히 이해하고 있음. 허위 정보, 학대, 감시, 일자리 대체 등 모든 것을 의미함. 곧 LLM의 해로운 영향에 대한 생각을 다룬 글을 쓸 예정임. 그러나 이는 언어 모델이 유용할 수 있는지 여부와는 별개의 문제임
• 나는 LLM이 환각을 일으키고, 사실을 되풀이하며, 견고성이 부족하여 실패할 가능성이 있기 때문에 사용하고 싶지 않을 수 있는 이유를 잘 이해하고 있음. 그러나 이 글은 그것에 관한 것이 아님
  • 나는 이러한 실패에도 불구하고 모델이 유용할 수 있다고 생각함
• 이 모델을 훈련시키는 것의 윤리성은 의심의 여지가 있음. 사람들의 허락 없이 그들의 데이터로 훈련되었거나, 모델을 명시적으로 훈련시키기 위해 저임금을 받는 사람들에 대해 생각할 수 있음. 나는 이것이 문제라는 데 동의함
  • 나는 이 글은 그것에 관한 것이 아님
• 내가 여러 번 말했듯이, 이 글은 현재 존재하는 모델이 유용한지 여부에 대해서만 이야기할 것 임

나의 배경 이야기

• 나는 일반적으로 무언가를 믿는 사람이 아님. 10년 전 보안 커뮤니티에서 크립토 과대 광고를 겪었지만, 블록체인에 관한 논문을 쓰는 것을 완전히 피했음. 비트코인을 소유한 적이 없음. 모든 주장에 대해 회의적임
• 누군가 이 AI 기술이 매우 유용할 것이고 일상 업무 방식을 크게 바꿀 것이라고 처음 말했을 때, 나의 반응은 ” 직접 보기 전에는 믿지 않겠다 “였음
• 나는 보안 연구원임. 지난 10년 동안 AI 모델이 훈련되지 않은 환경에 직면했을 때 엄청나게 실패하는 모든 방법을 보여주는 것이 일상적인 업무였음. 기계 학습 모델에 대한 입력을 약간 교란시켜 출력을 크게 잘못 생성하게 하거나, 대부분의 기계 학습 모델이 훈련 데이터셋의 특정 예제를 기억하고 사용할 때 반복한다는 것을 보여주었음. 이러한 시스템의 한계를 완전히 이해하고 있음
• 그럼에도 불구하고 나는 현재의 대규모 언어 모델이 인터넷이 만들어진 이후 생산성을 가장 크게 향상시켰다고 말하고 있음. 오늘날 무작위로 선택한 프로그래밍 작업을 인터넷에 접근하거나 최신 언어 모델에 접근하는 것 중 하나를 선택해야 한다면, 절반 이상은 언어 모델을 선택할 것임

내가 LLM을 사용하는 방법

나를 위해 완전한 애플리케이션 구축하기

• 작년에 나는 GPT-4가 소수의 작업을 해결하는 능력을 얼마나 잘 예측할 수 있는지 테스트하는 퀴즈를 만들었음. 그 퀴즈는 꽤 인기가 있었고 천만 회 이상의 페이지 뷰를 기록했음.
• GPT-4에게 이 애플리케이션의 초기 버전 대부분을 작성하도록 했음. 애플리케이션의 기본 구조를 요청하는 것으로 시작하여 다양한 기능을 천천히 구축하는 일련의 질문을 통해 이를 수행했음
• 이 대화는 총 3만 단어에 달하며 당시 최신 GPT-4 모델의 기능을 풀로 사용함
  • [실제 프롬프트와 답변들은 생략합니다]
• 나는 GPT-4와의 대화에서 다양한 방식으로 요청을 했음
  • 단어로 원하는 바를 설명하고 모델에게 전체 구현을 요구하는 메시지부터, 특정 변경 사항을 요청하는 메시지( "평균 점수와 비교하는 대신 KDE를 사용하여 백분위수를 말할 수 있나요?" )까지
  • 오류 메시지를 복사하여 붙여넣는 완전히 불완전한 질문을 하는 메시지(예: "Plotting: numpy.linalg.LinAlgError: singular matrix" )나 간단한 일회성 답변을 요청하는 경우( "문자열에서 로드된 내용을 가진 JavaScript로 페이지에 iframe을 추가하는 방법은 무엇입니까?" )도 포함
• 언어 모델이 효과적인 이유
  • 언어 모델은 사람들이 이전에 해결한 것들을 잘 해결하기 때문에 이런 방식이 효과가 있음
  • 이 퀴즈의 99%는 다른 사람이 작성할 수 있는 Python 웹서버 백엔드가 있는 기본적인 HTML에 불과했음
• 이 퀴즈가 흥미롭고 사람들이 좋아한 이유는 그 이면의 기술 때문이 아니라 퀴즈의 내용 때문임. 그리고 지루한 부분을 모두 자동화하면 퀴즈를 만들기가 매우 쉬워짐
• 언어 모델의 도움이 없었다면 아마도 이 퀴즈를 만들지 않았을 것이라고 확신함
  • 처음부터 전체 웹 애플리케이션을 작성하는 데 시간을 할애하는 것에 관심이 없었기 때문임
  • 그리고 이는 프로그래밍 방법을 아는 사람의 이야기임!
• 나는 현재의 모델조차도 대다수의 사람들이 솔루션을 요청하는 것만으로 이전에는 결코 해결할 수 없었던 의미 있는 작업을 수행할 수 있게 하기에 충분하다고 믿음
• 앞으로 모델이 나를 위해 전체 애플리케이션을 작성한 몇 가지 사례를 더 소개할 예정이며, 출시할 때 언어 모델의 도움으로 만들어졌음을 분명히 할 것임

새로운 기술을 위한 튜터로서의 역할

• 예전에는 새로운 프레임워크를 따라잡으려고 노력했지만, 한 사람이 할 수 있는 시간은 제한적임
• 직업상 대부분의 시간을 최신 연구 발전을 따라잡는 데 쓰고, 최신 JavaScript 프레임워크의 발전을 따라잡지는 않음.
• 특정 연구 영역 외의 새로운 프로젝트를 시작할 때는 일반적으로 두 가지 선택지가 있음
  • 첫째는 아는 것을 사용하는 것이고,
  • 둘째는 새로운(보통은 더 나은) 방법을 배우는 것임
• 여기서 언어 모델이 도움이 됨. Docker, Flexbox, React 같은 대부분의 새로운 프레임워크나 도구는 다른 사람들에게 새로운 것이 아님. 세계적으로 이러한 것들을 철저히 이해하는 사람들이 수만에서 수십만 명에 이를 것임. 현재의 언어 모델도 그러함.
• 특정 독자를 가정하고 특정 목표를 달성하려는 정적 튜토리얼을 읽는 대신, 언어 모델과 상호작용하여 작업을 해결하는 데 필요한 것을 배울 수 있음.
• 올해 초 LLM 평가 프레임워크를 구축하면서 LLM 생성 코드를 제한된 환경에서 실행하고 싶었음
  • Docker가 이 작업에 완벽한 도구였지만 이전에 사용해 본 적이 없었음.
• Docker를 사용하는 것이 프로젝트의 목표는 아니었고, 단지 목표를 달성하는 데 필요한 도구였음
  • 가능한 한 가장 기본적인 방식으로 안전하게 사용하고 있다는 확신을 갖기 위해 Docker의 10%만 이해하고 싶었음
• 90년대에는 기본 원리부터 Docker 사용법에 대한 책을 구입하고 처음 몇 장을 읽은 다음 건너뛰며 원하는 작업을 하는 방법을 알아내야 했을 것임
  • 지난 10년 동안은 Docker 사용 방법을 설명하는 온라인 튜토리얼을 검색하고 따라하다가 오류 메시지를 검색하여 다른 사람도 같은 문제를 겪었는지 확인하는 식으로 개선되었음
• 하지만 오늘날에는 언어 모델에게 Docker를 가르쳐 달라고 요청하면 됨
  • Docker를 설정하고 실행한 후 Linux에서 실행할 때 권한 문제가 있다는 것을 깨달았음. 이 문제를 해결하고 싶어서 모델에게 도움을 요청했음
  • 이를 통해 Podman에 대해 알게 되었고, 모델에게 Docker 전용 코드를 동등한 Podman 버전으로 다시 작성해 달라고 요청했음
  • 그리고 Docker 컨테이너에서 호스트의 GPU를 전달하는 방법을 알아내고 싶을 때도 요청했음

새로운 프로젝트 시작하기

• 어렸을 때 첫 번째 프로그래밍 언어는 Java였음. 프로그래밍을 정말 좋아했지만 새 프로젝트의 빈 화면을 보는 것이 정말 싫었음. 특히 Java로!
  • Hello World 프로그램을 컴파일하는 것조차도 “public static void main string args”가 무엇을 하는지, 괄호는 어디에 가는지, 어떤 글자가 다시 대문자인지, 중괄호와 대괄호가 왜 여기저기 있는지 알아내는 게 어려웠음
• 그래서 아이라면 누구나 할 법한 일을 했음. 아버지에게 그냥 해달라고 부탁했음
• 20년이 지난 지금도 익숙하지 않은 프레임워크를 사용하여 새 프로젝트를 시작하는 것이 여전히 싫음
  • 상용구를 제거하는 데 너무 많은 시간이 걸리고 내가 뭘 하고 있는지 이해하지 못함
• 예를 들어, 최근 누군가의 효율적이고 최적화된 CPU 구현과 비교하여 GPU에서 일부 순진한 Greedy 검색의 성능을 벤치마킹하기 위해 CUDA 코드를 작성해 보고 싶었음
• 그러나 CUDA 프로그램을 작성하는 방법을 모름
  • C 작성 방법은 알고 GPU 작동 방식, 커널 작동 방식, 메모리 레이아웃 등은 이해함
  • 그러나 실제로 GPU에 작업을 보내는 코드를 작성하는 방법은 모름
  • 그래서 모델에게 CUDA 프로그램의 첫 번째 패스를 작성해 달라고 요청했음
  • 완벽한가? 절대 아님! 그러나 그것은 시작임. 그리고 그것이 바로 내가 원하는 것임
• 여기서 코드가 많이 잘못되었음을 알 수 있음
  • 사실 이것은 전혀 문제가 되지 않음
  • 완벽한 솔루션을 찾는 것이 아니라 시작점을 찾고 있기 때문임
  • 향후 모델이 더 좋아진다면 그것은 놀라운 일이 될 것임
  • 그러나 지금 가지고 있는 것만으로도 이미 큰 도움이 됨.
• 위와는 완전히 별개로, 집에서 작업 중인 다른 개인 프로젝트를 위해 Raspberry Pi Pico W를 사용하고 있음
  • 이것이 처음 사용해보는 것이었음
  • 특히 네트워킹 작업을 수행하길 원했음
  • 물론 온라인에서 원하는 작업을 수행하는 방법을 설명하는 좋은 튜토리얼을 찾을 수 있을 것임
  • 그러나 최근 인터넷 검색을 해보면 상위 5개 결과는 대개 2008년의 버그가 있는 코드를 가진 쓰레기 콘텐츠 팜일 뿐이며, SEO를 위해서만 업데이트되었고 여전히 작동하지 않음
• 그래서 대신 언어 모델에게 내가 원하는 것을 하는 방법을 가르쳐 달라고 요청했음
  • 이전에 마이크로 컨트롤러로 작업한 적이 있어서 그것들이 어떻게 작동하는지 대략 이해하고 있음
  • 그러나 Pico W로 작업해 본 적은 없음
  • 모든 종속성으로 시작하는 데 도움이 되는 것만 있으면 나머지는 알아낼 수 있었음
• 새로운 마이크로 컨트롤러에 대해 항상 작성하는 첫 번째 “hello world” 프로그램은 LED를 깜박이는 것임
  • 이를 통해 장치에 코드를 컴파일하고 업로드할 수 있는지, 모든 핀이 올바르게 설정되어 있는지, 기본적으로 무엇을 하고 있는지 테스트할 수 있음
  • 그래서 그냥 깜박이는 프로그램을 요청하면 됨. (다시 말하지만, 이것이 인터넷에 존재하는가? 거의 확실히 그럴 것임. 그러나 그러면 내가 직접 찾아야 함.)
• 이 코드를 실행하고 나면 여기서부터 무엇을 해야 할지 알게 됨
  • 파이썬이 어떻게 작동하는지 암(믿거나 말거나!)
  • 그래서 특별한 마이크로 파이썬 작업을 끝내고 거기에서 바로 계속 편집할 수 있음
• 그리고 특별한 처리가 필요한 다른 문제에 부딪혔을 때 모델에게 도움을 요청하면 됨
  • 예를 들어 여기서는 모델에게 WiFi에 연결하는 스크립트를 작성해 달라고 요청하는 것으로 계속됨
• 그리고 MQTT 서버에 연결해야 하는 등 다시 막힐 때마다 모델에게 도움을 요청하면 됨
• 이제 이것을 지속적으로 하고 있음. 이 섹션의 맨 위에 있는 예시조차도 가설이 아님
  • HTML 레이아웃을 배우는 새로운 방법이 테이블 대신 div를 사용하는 것이었기 때문에 Flexbox를 사용하는 방법을 묻고 있음

코드 단순화하기

• 보안 연구원으로서 나는 종종 다른 사람의 수천 줄에 달하는 연구 프로젝트가 담긴 새로운 저장소를 받게 되고, 그것이 어떻게 작동하는지 파악하여 공격해야 하는 상황에 처함
  • 모두가 깨끗한 코드를 작성한다면 그리 어려운 일은 아니겠지만, 우리가 살고 있는 세상은 그렇지 않음
  • 연구자들은 깨끗한 코드를 퍼블리시 해야할 동기(incentivized)가 없음
  • 그래서 종종 사람들은 작동하는 쓰레기 코드를 제출 하곤함. (나도 그렇게 함)
• 여기서 공유할 수 있는 연구 관련 예시는 없지만, 내가 작업 중인 개인 프로젝트의 예를 공유할 수 있음
  • 나는 콘웨이의 생명 게임에 대해 건강하지 않은 집착을 가지고 있음
  • 최근 파이썬에서 일부 생명 패턴을 평가하는 빠른 방법을 찾고 있었음
  • 이를 수행하는 훌륭한 C++ 도구인 golly가 있지만, 파이썬 코드를 C++로 다시 작성하고 싶지는 않았음
• golly에는 원하는 작업을 수행하는 CLI 도구가 있음
  • 필요한 것은 그것을 올바르게 호출하는 방법뿐이었음
  • 이를 위한 첫 번째 단계는 약 50개의 다양한 명령행 옵션을 지원하는 C++ 코드를 가져와서 원하는 한 가지 작업만 정확히 수행하도록 하는 것이었음
  • 그래서 500줄의 C++ 코드를 모두 LLM에 덤프하고 동일한 작업을 수행하는 더 짧은 파일을 요청했음
• 그리고 어떻게 되었을까? 완벽하게 작동했음
  • 그런 다음 C++ 코드 주위에 파이썬 래퍼를 요청했음. 그것도 역시 잘 작동했음
• 이것은 너무 귀찮아서 저자 스스로 절대 하지 않았을 일 중 하나임
  • 그러나 이제 그냥 요청하면 되기 때문에, 원래 파이썬 코드보다 100배 빠른 무언가를 가지게 되었음
• 나는 이런 일을 꽤 자주 하고 있음. 파이썬에서 정확히 같은 작업을 수행하는 또 다른 예도 있음
• 이 작업들은 어느 것도 어렵지 않음
  • 그러나 이렇게 할 때마다 상당한 시간을 절약할 수 있음
  • 그리고 이것이 바로 오늘날 LLM이 놀라운 이유 중 하나라고 생각함
  • 화려하지는 않고, “여기 내 삶을 더 쉽게 만들기 위해 LLM을 사용한 지루한 방법”이라고 말해서 인터넷 포인트를 많이 얻을 수는 없겠지만, 이는 실제로 일어나고 있는 일임

단조로운 작업 자동화하기

• 생각이 필요하지 않고 지루하지만 해야 하는 일이 많음
• 작업을 미루는 주된 이유 중 하나는 그것을 해내는 것이 짜증나고 고통스러울 것이라는 것을 알기 때문임
  • LLM은 이런 고통을 엄청나게 줄여주고, 흥미로운 문제만 해결하면 된다는 것을 알기에 무언가를 시작하기가 훨씬 쉬워짐
  • 여기서는 LLM에게 요청하여 해결한 완전히 일상적인 문제들을 살펴보겠음
• 예를 들어 최근 Python 3.9로 작성된 파이썬 프로그램을 디스어셈블해야 했음
  • 대부분의 파이썬 디스어셈블러는 Python 3.7 이전 버전에서만 작동하고 3.9 바이너리에서는 실행되지 않았음
• 디스어셈블은 정말 어려운 작업은 아님. 주로 goto를 따라 제어 흐름을 재구성하면서 실수하지 않는 것이 대부분임
  • 수백 줄의 코드에 대해 수천 개의 op-code를 수동으로 변환하는 데 시간을 보내는 대신, LLM에게 대신 해달라고 요청했음
  • 그리고 정말 잘해냈음! 가능하다고 생각했던 것보다 훨씬 훨씬 더 잘했음
• 또 다른 예는 비정형 데이터를 가져와 정형화된 형식으로 포맷해야 할 때임
  • 예를 들어, 어떤 프로젝트를 하다가 저자 이름과 함께 책 제목 목록이 필요했음
  • 그래서 온라인에서 비정형 형식으로 데이터를 찾아 LLM에게 포맷해달라고 요청했음
• 또는 최근에 어떤 방어를 뚫은 방법에 대한 블로그 게시물을 쓰면서 변경해야 했던 코드의 완전한 diff를 보여주고 싶었음
  • 그래서 (1) diff와 (2) diff를 HTMLify하는 방법에 대한 이전 예제를 붙여넣고 LLM에게 이 diff를 이전 형식으로 제공해 달라고 요청했음
• 또 다른 예로, 업무의 일부로 종종 사용하는 리소스에 대한 인용문을 생성해야 함
  • Google Scholar는 논문에 대해 이를 쉽게 만들어주고 인용문을 복사하여 붙여넣기만 하면 됨
  • 그러나 웹페이지를 인용하는 것은 약간 귀찮음
  • 최근에는 LLM에게 인용문을 생성해 달라고 요청하곤 함. (분명히 하자면, 나는 이것이 정확한지 확인함!)
• 이런 예를 적어도 100개는 더 들 수 있을 것임. 그러나 요점은 이해했으리라 생각함
• 누군가 보고 “그게 다야??”라고 말할 수 있는 유형의 작업이라는 것을 충분히 이해함
  • 그러나 5년 전만 해도 그들은 겨우 일관된 문단을 엮을 수 있을 뿐, 전체 문제를 해결해주지는 못했다는 점을 기억할 것

모든 사용자를 “파워 유저”로 만들기

• 자신보다 훨씬 능숙하지 않은 사람이 어떤 도구를 사용하는 모습을 본 적이 있다면, 그것은 다소 고통스러울 수 있음
  • 어떤 종류의 매크로나 병렬 애플리케이션을 영리하게 사용하면 자동화할 수 있는 작업에 몇 분, 때로는 몇 시간씩 소비하는 것을 볼 수 있음
• 그러나 이를 수행하는 데 필요한 주문을 배우는 데는 시간이 걸리고 어려움
• 예를 들어 최근 Apple Lisa 키보드에서 키보드 입력을 처리하는 파이썬 프로그램을 작성하려고 했음
  • 온라인에서 C로 이 작업을 수행하는 무언가를 작성한 사람을 찾았고, #define KEYNAME key_code 와 같은 문장이 많이 있었음
  • 이를 정수 코드를 해당 문자열에 매핑하는 파이썬 딕셔너리로 변환하고 싶었음
• 나는 이맥스 사용자임. 이맥스에서 이 문제를 어떻게 해결하는지 알고 있음. 그리 어렵지는 않을 것임. 다음은 이 효과를 낼 수 있었던 방금 녹화한 주요 캡처임: =C-h C-s #def [enter] M-f [delete] C-d M-f C-[space] M-f C-w C-a C-y : ” M-f ”, C-g C-] C-[ =
• 이는 나에게 거의 자연스러운 것이지만, 이것이 자연스러워지기까지 나는 인생의 절반 이상을 이맥스에 충분히 익숙해지는 데 보냈음. 그러나 이제 LLM이 편집기에 연결되어 있다면 어떤 걸 입력할까? C-h C-h rewrite these #defines to a dictionary of keycode: string, ...
• 그러면 갑자기 텍스트가 내 눈앞에서 다시 작성됨!
• 이런 경우 LLM의 잠재적 유용성은 전문가보다 비전문가에게 더 높다고 생각함
  • 모델은 모든 사람의 기준을 높여주고, 이전에는 전혀 할 수 없었다면 갑자기 훨씬 더 많은 것을 할 수 있게 됨

API 참조로 활용하기

• 진정한 프로그래머는 도구의 작동 방식을 알고 싶을 때 참조 매뉴얼을 읽음
  • 그러나 나는 게으른 프로그래머라서 그냥 답을 떠먹여 주기를 바람
  • 그래서 이제는 언어 모델에게 물어봄
• 이런 예를 보여주면 어떤 사람들은 방어적으로 반응하며 “LLM이 당신이 이미 가지고 있는 도구로 할 수 없는 일을 한 것은 없다!”라고 말함
  • 그리고 그들이 맞음
  • 그러나 물리적인 책으로 할 수 없는 검색 엔진으로 할 수 있는 것은 없고, 소스 코드를 읽어서 할 수 없는 물리적인 책으로 할 수 있는 것은 없음
• 그러나 이들 각각은 차례로 이전보다 쉬워짐
  • 그리고 무언가가 쉬워지면 더 자주, 질적으로 다른 방식으로 그것을 하게 됨.
• 프롬프트를 포함한 사례들
  • “Bash에서 어떤 가 모든 남은 인수를 제공하는가”라고 묻고 답을 얻음. (바로 다음에 “이것을 어떻게 사용하는가”라는 또 다른 질문이 이어짐!)
  • 또는 LaTeX에서 텍스트를 빨간색으로 만드는 방법을 알고 싶을 때 더 이상 검색하거나 문서를 읽지 않고 모델에게 물어봄
  • 그리고 다양한 GDB 명령에 해당하는 LLDB 명령이 무엇인지 알고 싶을 때도 같은 방식으로 함
  • 또는 일부 find 명령이 어떻게 작동하는지 알고 싶을 때도
  • lpr 사용 방법도
  • LaTeX 명령을 재바인딩하는 방법도
• 실제로 이것이 내가 LLM을 가장 자주 사용하는 방법 중 하나임
  • 이런 예를 수천 개 더 연결할 수 없는 유일한 이유는 이맥스와 셸 모두에 LLM을 쿼리하는 도구가 내장되어 있기 때문임
  • 그래서 90%의 경우 이런 것들 중 하나를 하고 싶을 때 편집기를 떠날 필요조차 없음

찾기 어려운 것들을 검색하기

• 인터넷에서 콘텐츠를 검색하는 것은 예전에는 어렵게 배운 기술이었음
  • 쿼리에 포함하고 싶은 특정 단어는 무엇인가? 복수여야 하나? 단수? 과거형?
  • 페이지에 나타나지 않기를 원하는 단어는 무엇인가? X AND Y를 원하나, 아니면 X OR Y를 원하나?
• 더 이상 그렇지 않음
  • Google에서 OR을 사용한 쿼리를 마지막으로 작성한 때가 언제인지 기억나지 않음
  • 결과의 하위 집합을 제거하기 위해 마이너스(-)를 사용한 마지막 시기도 기억나지 않음 \= 오늘날 대부분의 경우 찾고 싶은 것을 그냥 적으면 검색 엔진이 찾아줌.
• 그러나 검색 엔진은 여전히 100% 자연어 쿼리는 아님
  • 여전히 Reverse-Jeopardy 게임을 하는 것 같고, 질문이 아닌 답변에 사용할 키워드를 사용하려고 함
  • 이것은 우리 거의 모두가 배웠다는 것을 잊어버린 기술임
• 언어 모델은 오늘날 일부 간단한 작업(시간이 지날수록 점점 더 많아짐)에 대해 그냥 더 좋음
  • 그냥 “그래서 +는 add=에 해당한다는 것은 알겠는데 ~는 뭐지"라고 입력하면 =inv 라는 답을 알려줌
• 이것은 표준 검색 엔진으로 검색하기가 매우 어려운 것임
  • 답을 찾을 수 있는 방법이 있다는 것은 알고 있음
  • 아마도 “python documentation metaclass add “라고 입력한 다음 페이지에서 ~를 검색하면 답을 얻을 수 있을 것임
  • 그러나 LLM에 가진 질문을 그냥 묻는 것도 효과가 있음
• 이렇게 하는 것은 한 번에 불과 몇 초밖에 절약되지 않지만, 어떤 코딩 작업을 해결하는 중이고 이미 한 번에 수백만 가지 일을 처리하려고 할 때는 해결하려는 것을 브레인 덤프하고 일관된 답변을 얻는 것만으로도 놀라움
• 그렇다고 해서 오늘날 그들이 이 일에 완벽하다는 것은 아님
  • 언어 모델은 온라인에 있는 것들이 충분히 자주 반복되었을 때만 알고 있음
  • “충분히 자주”가 의미하는 바는 모델에 따라 다르므로, 모델에게 물어봐야 할지 인터넷에 물어봐야 할지 생각하는 데 몇 번의 정신적 주기를 보내야 함
  • 그러나 모델은 계속 발전할 것임
• 아니면 무작위 충돌이 발생할 때마다 모델에 내가 보는 것을 덤프하고 설명을 요청할 것임
  • 여기서 “Remote wildcard transfer issue”라고 입력하면 그렇게 함
• 완전히 별개의 예로, 작년에 블로그 게시물을 쓰면서 첫 단어의 첫 글자를 크게 하고 나머지 텍스트를 그 주위에 감싸고 싶었음
  • 이것을 드롭 캡이라고 함. 그러나 그 사실을 몰랐음
  • 그냥 원하는 효과를 알고 있었을 뿐이라 언어 모델에게 “텍스트가 O 주위를 감싸는 멋진 책처럼 보이길 원한다”고 물었더니 정확히 원하는 것을 주었음
  • 이 작업 또한 “LLM 덕분에만 했다”는 범주에 속함
  • 이것을 하는 방법을 알아내는 데 많은 시간을 쓰는 것이 가치 있다고 생각하지 않았을 것임
  • 그러나 모델에게 물어볼 수 있었기에 그렇게 했고, 그것이 제 게시물을 조금 더 멋지게 만들어줬음

일회성 작업 해결하기

• 프로그램에는 두 가지 종류가 있음
  • 첫째, 제대로 하고 싶은 프로그램이 있음. 이들은 한동안 존재할 것이고 몇 년 동안 유지 관리해야 하므로 깔끔함이 중요함
  • 둘째, 25초 동안 존재할 프로그램이 있음. 이들은 어떤 작업을 완료하는 데 도움을 주고 즉시 폐기됨
• 코드의 품질에 전혀 신경 쓰지 않고 프로그램이 완전히 독립적인 이런 경우에는 이제 거의 전적으로 LLM을 사용하여 작성함
• 경고: 이 대부분의 경우도 역시 “그게 다야?”라고 말할 만한 것들임
  • 그러나 앞서 말했듯이 주어진 프로젝트에 투자할 수 있는 하루의 시간은 제한되어 있음
  • 그리고 다시는 사용하지 않을 프로그램을 작성하는 시간과 정신적 에너지를 절약할 수 있다면 그렇게 할 것임
• 가장 흔한 예는 아마도 어떤 연구 실험의 결과로 생성한 데이터를 시각화하는 플롯을 생성하는 데 도움을 주는 것일 것임
  • 이런 예가 수십 개 있음. 아마 0보다 100에 가까울 것임. 이들은 모두 기본적으로 동일해 보이므로 여기 하나만 적어봄
• 또 다른 비슷한 예는 한 형식의 데이터를 가지고 있고 이를 다른 형식의 데이터로 변환하고 싶을 때임
  • 보통 이것은 한 번만 해야 하는 것이고, 일단 완료되면 결과 스크립트를 버림
• 원하는 스크립트가 충분히 간단하면 LLM에 전체를 작성해 달라고 요청하는 경우가 많음
  • 예를 들어, 여기서는 LLM에 논문을 큰 소리로 읽어주는 스크립트를 작성해 달라고 요청하여 바보 같은 문법 문제가 없는지 확인할 수 있음
• 대부분의 경우 내가 원하는 것을 잘 모를 때는 모델에 초기 코드를 요청하는 것으로 시작한 다음 거기에서 반복함
  • 예를 들어, 여기 데이터를 빠르게 처리해야 하는 일회성 작업이 있음
  • 2022년에는 이것을 파이썬으로 작성하는 데 2분을 소비하고 한 번만 실행되기 때문에 몇 시간 동안 실행되기를 기다렸을 것임
  • 최적화하는 데 파이썬 프로그램이 실행되는 것보다 오래 걸릴 것임
  • 그러나 지금은? 내 데이터 처리를 해주는 Rust 코드를 요청하는 데 같은 2분을 소비할 것이라고 확신함
• 또는 모델에 데이터 세트를 다운로드하고 초기 처리를 수행해 달라고 요청하는 또 다른 예시가 있음
  • 내가 하기에 쉬운가? 아마도 그럴 것임
  • 그러나 이것은 내가 생각하고 싶은 작업이 아님
  • 데이터 세트로 수행할 연구에 대해 생각하고 싶음
  • 주의를 산만하게 하는 요소를 제거하는 것은 절약되는 몇 분 이상으로 매우 가치 있음
• 또 다른 때는 작은 큐브로 픽셀화된 이미지를 3D 프린팅할 수 있도록 프로그램을 작성하고 있었음
  • 이를 위해 PNG를 STL 파일로 변환하고 싶었지만, 이것은 프로젝트의 요점이 아니었음
  • 그냥 중간에 일어나야 하는 일이었음. 그래서 LLM에게 이것을 해결해 달라고 요청함
• 또 다른 예로, 최근 Docker Compose를 사용하여 새 프로젝트를 설정하고 싶었음
  • 문제가 발생하고 있었고 무슨 일이 있어도 그냥 실행하고 싶었고, 나중에 무엇이 잘못되었는지 알아낼 것임
  • 그래서 결국 오류 메시지를 하나씩 복사하는 것만으로 여러 번의 왕복을 하다가 결국 작동하는 솔루션을 얻었음.
• 또한 많은 경우 완전한 솔루션을 요청하는 것으로 시작한 다음 이를 수정하는 방법에 대한 힌트를 요청하는 나 자신을 발견할 것임
  • 여기 이 대화에서는 HTML을 구문 분석하는 프로그램을 요청하는 것으로 시작하고, 거기에서 API 참조나 개선 방법에 대한 힌트를 요청함
• 또 다른 때는 컴퓨터가 시간이 지남에 따라 메모리와 CPU를 얼마나 사용하는지 추적하고 싶었음
  • 적절한 명령을 찾아내서 내가 원하는 작업을 수행하는 스크립트로 묶는 데 몇 분을 소비할 수도 있었겠지만, 그냥 언어 모델에 대신 해달라고 요청
• 최근 약간의 전자 제품을 만들려고 하고 있었는데, Arduino에서 실행되는 C 프로그램이 있었지만 MicroPython의 Raspberry Pi Pico에서 실행하고 싶었음
  • 이 변환 과정에는 흥미로운 것이 없음. 그냥 완료되어야 함
  • 그래서 직접 작업하는 대신 언어 모델에 대신 해달라고 요청함
• 다른 프로젝트를 위해서는 일부 이미지를 일부 대화형 루프의 멋진 ML 모델로 분류해야 했음
  • 직접 작성할 수도 있었겠지만, 그냥 모델에게 대신 해달라고 요청할 수도 있었음

내게 뭔가를 설명해주기

• 나는 최근 전자 제품에 관심을 갖기 시작함
  • 어렸을 때 전자 제품을 다뤘고 대학에서 몇 가지 수업을 들었음
  • 그러나 이제 실제 프로젝트를 하려고 보니 모르는 수천 가지 사소한 것들 때문에 무언가를 하기가 어려움
• 실용 전자공학 책을 읽을 수도 있겠지만, 그렇게 해서 그 주제에 대해 제대로 이해할 수 있겠지만, 공부하는 것처럼 시간을 보내고 싶지는 않음
  • 전자 제품을 하는 이유의 절반은 하루 종일 논문을 읽고 쓰는 것에서 휴식을 취하기 위해서임
• 여기서 LLM이 좋은 점은 세상에서 가장 지식이 많은 사람만큼 박식하지는 않지만, 내가 가질 수 있는 전자 제품 관련 질문에 대한 답을 아는 사람이 수천, 수백만 명이나 된다는 것임
  • 그래서 언어 모델도 아마 그 답을 알고 있을 것임
  • 그리고 모든 질문에 대한 답을 기꺼이 알려줘서 세부 사항과 씨름하지 않고도 내가 원하는 재미를 느낄 수 있음
  • 그리고 인터넷을 검색하면 조금만 더 노력하면 답을 얻을 수 있겠지만, 복잡한 연구 코드로 하루 종일 일한 후 모델에 요청하기만 하면 되는 편리함이 매우 편안함
• 그래서 여기 언어 모델에 전자 제품의 작동 원리에 대한 기본적인 질문을 한 예시 모음이 있음
  • 이 답변이 완벽한가? 누가 알겠음
  • 하지만 이게 아무것도 모르는 것보다는 나음?
• (이 글은 꽤 길어지고 있고, 이쯤 되면 읽는 것만큼이나 쓰는 것도 지쳤을 것임. 그래서 그냥 아무 설명 없이 이 예시들을 남겨두겠음.)
  • PCB 설계에 대한 기본적인 질문
  • 납땜에 대한 기본적인 질문
  • 커패시터에 대한 기본적인 질문
  • LED에 대한 기본적인 질문
  • 플로피 디스크에 대한 기본적인 질문
• 계속할 수 있지만, 요점은 이해했으리라 생각함

알려진 솔루션으로 작업 해결하기

• 누군가가 이미 한 일이 거의 모든 것임
  • 하고 싶은 일이 정말 새로운 것은 거의 없음
  • 그리고 언어 모델은 이전에 본 것에 대한 솔루션을 제공하는 데 매우 뛰어남
• 최근 프로젝트에서 일부 Python 코드의 성능을 개선해야 했음
  • (1) LLM에게 그것을 C로 다시 작성해 달라고 요청한 다음
  • (2) Python에서 C 코드를 호출할 수 있는 인터페이스를 구축해 달라고 요청했음
• 이 작업들은 “어렵지” 않음
  • Python에서 C로 변환하는 것은 1~2시간이면 할 수 있을 것임
  • 그리고 Python->C API가 어떻게 작동하는지 정확히 모르지만, 문서를 읽으면 알아낼 수 있을 것임
  • 그러나 직접 해야 한다면 절대 하지 않았을 것임
  • 그냥 중요한 경로를 따라가는 것이 아니기 때문에, 자주 실행할 필요가 없는 것들을 더 빠르게 만드는 데 시간을 보내기보다는 기다렸다가 컴퓨터가 작업을 해결하도록 하는 것이 나음
• 그러나 간단한 프로그램의 경우 Python에서 C로 변환하는 것은 (대부분) 기술적인 과정이고, 정확히 하나의 표준 Python->C 호출 규칙이 있음
  • 그래서 그냥 LLM에게 대신 해달라고 요청할 것임.
• 그 이후로 이것이 내가 할 수 있는 일이라고 기대하게 되었고, 기본적으로 빠른 코드 조각이 필요할 때마다 그냥 Python으로 원하는 것을 설명하고 최적화된 C를 요청할 것임
• 다른 때는 같은 일을 하지만, C 출력과 비교했을 때 Rust 출력의 정확성을 더 쉽게 판단할 수 있을 것 같으면 C 대신 Rust 출력을 요청할 것임
• 또 다른 예로, 멀티프로세싱 라이브러리를 사용하여 Python 함수를 병렬화하는 것은 어렵지 않음
  • 약간의 상용구 코드를 작성해야 하고 기본적으로 그냥 일어남
  • 그러나 코드를 작성하는 것은 약간 고통스럽고, 실제로 하고 싶은 작업을 방해함
  • 이제 이것이 필요할 때마다 그냥 LLM에게 대신 해달라고 요청함
• 또는 종종 일부 API를 테스트할 때 처음에는 그냥 curl 요청을 작성하여 처음에는 작업이 돌아가게 만듦
  • 그리고 일단 그것이 작동하고 프로그래밍 방식으로 작업을 반복하고 싶으면 Python으로 변환함
  • 이전에는 보통 정말 못생긴 짓을 하고 그냥 os.popen()을 호출하고 curl 명령을 실행했는데, 이건 좋지 않음
  • Python requests 라이브러리로 변환하는 것이 더 나을 것임. 그러나 그것은 시간이 걸리므로 하지 않을 것임
  • 그러나 이제 그냥 LLM에게 대신 해달라고 요청하면 더 깨끗한 프로그램을 더 빨리 얻을 수 있음
• 여기서 아마도 이야기할 예정인 앞으로의 프로젝트를 위해서는 사람들이 간단한 무선 송신기로 어떤 종류의 것들을 사용하는지 알 필요가 있었음
  • 내가 정말로 원하는 것이 중간값 인간의 대답이기 때문에 LLM이 완벽한 선택임!

일반적인 오류 수정하기

• 2022년 이전에는 일부 유명한 도구나 라이브러리에서 오류 메시지가 발생하면 다음과 같은 프로토콜을 따랐음:
  1. 오류 메시지 복사
  2. Google에 붙여넣기
  3. 상위 Stack Overflow 링크 클릭
  4. 질문이 내가 묻고 싶은 것인지 확인; 그렇지 않으면 2로 이동
  5. 상위 솔루션을 작업에 적용
  6. 작동하지 않으면 2로 가서 검색어를 변경하고, 기도하는 등
• 솔직히 말해서, 보통 고장 나는 도구는 궁극적으로 해결하려는 작업에서 5단계 정도 떨어져 있고, 정말 어떻게 작동하는지는 신경 쓰지 않고 그냥 작동해야 함
• 2024년 지금은 어떨가?
  1. 오류 메시지 복사
  2. LLM에게 “이 오류를 어떻게 고치나요? [오류]“라고 묻기
  3. LLM이 제안한 단계별 솔루션 적용
  4. 작동하지 않으면 “작동하지 않았어요”라고 말하기
• 이에 대한 예시로 보여줄 사본은 없음. (또는 1시간 동안 찾아봐도 찾을 수 없었음) 그러나 이에는 실제로 좋은 이유가 있음: 이를 워크플로에 바로 내장했기 때문임
  • 나는 이맥스 사용자임
  • 프로그램을 실행하고 0이 아닌 상태 코드로 종료될 때마다(즉, 문제가 발생했음을 의미) 자동으로 최신 최고 속도의 LLM을 호출하여 답변을 설명해 달라고 요청하고, 동시에 코드의 버그를 수정하기 위해 직접 적용할 수 있는 패치를 요청하도록 환경을 설정해 두었음
  • 오늘날의 모델은 아직 대부분의 경우 이 작업에서 저자를 이길 만큼 충분히 좋지는 않지만, 점점 가까워지고 있음
  • 그리고 가끔씩 어딘가에 오타가 있어서 추적하기 악몽이 될 것으로 알고 있는 버그를 LLM이 고쳐주면 기분 좋은 놀라움을 얻게 될 것임

정리

• 위에 링크한 모든 대화는 작년에 내가 LLM과 나눈 전체 대화 중 2% 미만을 차지
• 다른 대화들을 링크하지 않은 이유는 해당 모델이 실패한 사례이기 때문이 아니라(물론 그런 사례는 많지만)
  • (1) 이미 링크한 대화와 같은 패턴을 반복하거나
  • (2) 무슨 일이 일어나고 있는지 설명하기 쉽지 않고 왜 유용한지 직접 확인하기 어렵기 때문
• 앞으로도 이러한 모델의 사용은 계속 늘어날 것으로 예상
• 참고로 2023년에 비해 2024년에 웹 인터페이스를 통해 LLM 쿼리를 30% 더 많이 수행했으며, API 쿼리의 증가는 집계할 수 없지만 적어도 2, 3배 정도는 증가했을 것으로 생각

LLM이 할 수 없는 일이 아닌 “할 수 있는 일”을 평가할 것

• 인터뷰 시 지원자를 평가할 때는 그들이 할 수 없는 것보다는 할 수 있는 것에 주목해야 함
• LLM에게 사소한 질문을 던지면 무능해 보일 수 있음. 예를 들어 10억 명이 쓰는 중국어로 질문한다면 제대로 대답하기 어려울 것
• 컴퓨터 공학 내에서도 SQL의 SELECT문 정도만 알고 있는 등 모르는 분야가 많음
• 온라인에서 LLM이 특정 task를 수행하지 못한다는 이유로 과대포장이라 주장하는 것을 이해하기 어려움
  • 문장의 단어 수를 세지 못함
  • 모든 단어가 ‘a’로 시작하는 시를 쓰지 못함
  • 두 자릿수를 곱하지 못함
  • 리스트에서 무작위 요소를 선택하지 못함
• 그러나 이런 일을 실제로 할 때 LLM이 적합한 도구라고 생각한 적이 있는지 의문
• 64비트 정수의 나눗셈을 머릿속으로 하지 못한다고 해서 인간이 쓸모없다고 말하지 않는 것처럼, LLM이 해결하지 못하는 문제를 구성했다고 해서 LLM을 무시하는 것은 타당하지 않음
• 중요한 것은 LLM이 가치를 제공할 수 있는 task가 있는지 여부
• 프로그래머들은 목적에 따라 다른 언어가 유용함을 이미 잘 알고 있음
  • 운영체제 작성에는 C가 Python보다 적합
  • Python이 변수를 32바이트 경계에 정렬할 수 없다고 말하지 않음. 단지 추상화 수준이 다를 뿐
• LLM도 마찬가지로 매우 높은 수준의 추상화에서 작동함
  • 단순한 프로그램으로도 해결할 수 있는 작업을 LLM에 기대하기는 어려움
  • 그러나 다른 종류의 작업은 해결할 수 있을 것으로 기대할 수 있음

결론

• 이 글을 작성한 두 가지 동기
  • LLM이 개인적으로 이미 많은 가치를 제공하고 있다는 점을 주장하기 위함
  • LLM의 아이디어는 좋지만 자신에게 어떻게 도움이 될지 모르는 사람들에게 활용 예시를 보여주기 위함
• LLM의 가치
  • LLM은 모든 것을 할 수는 없지만 현재 모델만으로도 상당한 가치를 제공함
  • 예를 들어 CUDA 오류를 진단하고 패키지를 재설치하는 방법을 알려주거나, C로 프로그램을 재작성하거나, 특정 주제에 대해 가르쳐 줄 수 있음
  • 이는 대학생도 몇 시간 노력하면 할 수 있는 일이지만, 언제든 질문에 답해줄 수 있는 대학생은 없음. 반면 LLM은 가능함
• LLM의 발전과 현재 상황
  • 5년 전만 해도 LLM은 그럴듯한 영어 문단을 작성하는 것이 최선이었고 실용성은 전무했음
  • 그러나 오늘날 LLM은 프로그래밍 작업의 생산성을 최소 50% 향상시키고 지루한 작업을 제거해 줌
  • LLMs 덕분에 시도하지 않았을 프로젝트도 여러 개 완성했음.
• LLMs의 유용성에 대한 반박
  • “LLM이 과대포장이고 실질적 가치가 없다”는 주장에 반대함
  • 개인적으로 LLM이 큰 가치를 제공하고 있음
  • 20년간 프로그래밍 경험이 있는 나조차도 LLM을 통해 생산성이 크게 향상됨
  • 나 외에도 LLMs의 혜택을 받을 수 있는 사람들이 많을 것이라고 생각함
• 앞으로의 전망
  • 현재 모델만으로도 많은 가치를 제공하고 있음
  • 향후 5년간 LLM들이 어떻게 발전할지 기대와 두려움이 혼재됨
  • 다음 글에서 이에 대한 예측을 다룰 예정임

[GN#266] 나의 “AI” 활용 방법

”How I Use “AI"" Nicholas Carlini 2024