“생성형 인공지능끼리 대화를 나누게 하면 어떤 일이 벌어질까?”

 

한 주간 안녕하셨나요. 오늘날은 생성형 인공지능의 시대입니다. 프롬프트에 문장만 입력하면 원하는 글과 이미지를 마음껏 얻을 수 있는데요. 이런 생성형 인공지능을 인류가 사용할 수 있는 그 배경에는, 뼈대가 되는 초거대인공지능 또는 대규모언어모델이 있기 때문입니다.   입력만 하면 자유로운 문장을 얻을 수 있는 꿈의 인공지능인 생성형 인공지능. 하지만 언제부터인가 누군가가 이런 상상을 하기 시작했습니다. “생성형 인공지능끼리 대화를 나누게 하면 어떤 일이 벌어질까?” 인간이 문장을 입력할 필요도 없이 환경만 설정하면 수많은 인공지능이 서로 서로 대화를 나눌 수 있는, 이른바 시뮬라크르 (존재하지 않지만 존재하는 것처럼, 때로는 존재하는 것보다 더 생생하게 인식되는 것)인데요.   그래서 오늘은 (1) 인공지능 아바타 25명이 자발적으로 한 대화를 소개하고, 더 나아가 (2) 시뮬라크르와 시뮬라시옹, 그리고 (3) 생성형 인공지능이 남긴 편향성이라는 숙제에 대해 함께 공부해 보는 시간을 갖도록 하겠습니다. 짧고 굵게 정리해 드릴게요. (AI 복습이 필요하다면, 아래에 있는 예전 편지를 읽어 보세요.)

AI 시대 생존법 AI 회사 만든 머스크 AI와 오픈소스 AI를 등에 엎은 메타 이제는 AI 반도체다 챗GPT에게 ‘진리’를 묻다 챗GPT가 그린 큰 그림 챗GPT 뚫는자, 막는자 MS, 제국의 귀환 챗GPT 파헤쳐 보기 진짜AI 혁명의 시작 어도비가 보여준AI 미래 생성형AI와 사람이 할일 인공지능 화가의 등장

AI 25명이 사는 스몰빌의 하루 일과 스몰빌에 사는 초거대AI “인간처럼 살자” 인간과 컴퓨터간 상호작용을 연구하는 세계적 국제학회인 ACM UIST에 한 편의 논문이 올라 와 있습니다. 또 다른 버전은 여기 있습니다. 스탠퍼드대와 구글이 함께한 연구인데요. 대규모언어모델에 멀티 에이전트 시스템을 결합해 소셜 시뮬라크르를 만들었습니다.   밸런타인데이 파티를 열고...   제목은 <소셜 시뮬라크르: 소셜 컴퓨팅 시스템을 위한 군집화된 프로토타입 만들기>입니다. 뭐냐고요? 가상공간에 인공지능 아바타 여러명을 투입합니다. 그리고 이들이 어떤 행동을 하는지 살펴보는 것이 목적입니다.   즉 생성형 인공지능끼리 어떤 행동을 하는지 유심히 살펴보고, 이를 실제 현실 세계에 대입할 수 있을지 반추해 보는 실험! 생물학은 동물을 갖고 직접 실험할 수 있지만, 사회학은 인간을 갖고 실험할 수 없는데요. 그래서 이런 시뮬레이션은 향후 인문 사회학 발전에 크게 기여할 것으로 보입니다.   이번에 연구진은 총 25명의 인공지능이 사는 작은 메타버스 마을을 만들었습니다. 이름하여 스몰 빌인데요. 사용자 지정 코드로 환경을 만들고, 25명의 아바타들이 매우 사실처럼 그리고 독립 인격체로 살아가도록 했습니다.   스몰빌에선 매우 다양한 일이 벌어집니다. 아침에 일어나 요리하고, 직장을 다닙니다. 또 예술가 페르소나를 가진 아바타는 그림을 잘 그린다고 믿고 있어서 창작 활동에 몰입합니다. 중요한 점은 이들이 독립생활이 아닌 사회생활을 한다는 점입니다. 서로 서로 의견을 주고받고 여론을 형성해 함께 행동하기도 합니다.   단적인 예로 한 아바타는 밸런타인데이를 맞아 파티를 열고 싶어 합니다. 그리고 여러 인공지능이 이런 대화를 합니다.   👩‍🦰“우리 파티를 열어볼까?” 👦“좋지! 내가 한 번 초대장을 작성해 볼게” 👧“너는 파티에 올 수 있니?” 😑“시간을 제대로 알려줄래?”   놀라운 점은 이들이 마치 인간처럼 산다는 것인데요. 크게, 아래와 같은 사회적 행동을 합니다.   정보 확산 information diffusion: 아바타들이 서로 정보를 알려주고 마을에 정보를 사회적으로 확산시킵니다. 관계 기억 relationship memory: 아바타들이 과거에 있었던 상호작용을 기억하고 나중에 이전 이벤트를 떠올립니다. 조율 coordination: 다른 아바타들과 함께 일정을 조율합니다.   그래서 연구진이 이들의 행동을 관찰 했다고 합니다. 얼마나 대화를 하지 하고요. 그랬더니,   👦샘: 나는 스몰 빌 마을의 시장에 출마하고 싶어 (아바타끼리 수군수군. 소문은 퍼져서 8명 32%가 그 소식을 알게 됐습니다) 👩‍🦰이사벨라: 난 밸런타인데이 파티를 열고 싶어요. (아바타끼리 수군수군. 소문은 퍼져서 13명 52%가 그 소식을 알게 됐습니다)   네트워크 이론(Network Theory)에서는 네트워크 밀도라는 개념이 있는데요. 공식은 아래와 같습니다. 네트워크 밀도는 구성원간 연결 정도를 알 수 있는 지수입니다.   네트워크 밀도 = (실제 연결 수) / (최대 가능한 연결 수)   스몰빌의 네트워크 밀도는 0.74였다고 합니다. 또 이들이 거짓을 사실처럼 말하는 이른바 환각현상은 1.3%에 불과했다고 합니다. 그만큼 이들은 사람처럼 매우 활발히 사회 활동을 펼치는 것을 알 수 있었는데요.   정말 놀라운 점은 대화에 그치는 것이 아니라 진짜 행동으로 이어졌다는 점입니다. 예를 들면 이렇습니다. 이사벨라는 파티를 열려고 손님 12명에 초대장을 보냈습니다. 그리고 12명 중 5명이 진짜로 파티 장소에 등장! 나머지 7명은 왜 안 왔는지 찾아봤다고 합니다. 그랬더니 3명이 이런 변명을 했다고 해요.   🤧화가 라지브(Rajiv): "참석이 어려웠어요. 곧 제 개인전을 열어야 하는데, 하필 밸런타인 데이 초대라니요."   나머지 4명 역시 "오! 관심 있어 나도 갈래"라고 했지만, 어떤 이유로 오지는 않았다고 하네요. 음? 노쇼였던 것이죠.

인공지능의 대화 전파도 밸런타인 파티는 하면서, 화장실은 왜 못 찾을까? 물론 인공지능이 사람은 아니라 당혹스러운 행동을 할 때도 있었다고 합니다. 이벤트 같은 경우에는 적절한 공간을 잘 찾지 못했다고 합니다. 일부 아바타는 황당한 행동을 하기도 했대요. 예를 들어 몇 명이 “어디서 점심을 먹을까”하고 고민하는 동안, 일부는 이미 장소로 이동을 했고요.   일부 아바타는 새로운 장소에 대해 학습을 하더라도, 판단을 제대로 내리지 못하는 경향이 있었다고 합니다. 예를 들어 새로운 술집인 펍을 알게 됐다고 해볼게요. 사람이라면 당연히 펍이 저녁 시간에 여는 것을 알텐데, 아바타는 점심 때부터 몰려갔다고 합니다.   또 화장실에 이미 한 아바타가 들어갔는데요. 또 다른 아바타가 들어가려고 했다고 합니다. 이는 물리적 규범에만 집착했기 때문인데요. 화장실을 1인용 화장실이라고 규정을 했더니, 그제야 화장실에 몰리지 않았다고 합니다.   아울러 미세 조정인 파인튜닝을 하면 이런 현상을 줄일 수 있지만, 지나치게 형식적인 대화를 나누는 것을 목격했대요. "항상 그랬듯이 너와 이야기해서 좋았다"처럼 훈훈한 끝마무리. 개성이 상실된 것이죠.   구체적으로 이사벨라가 밸런타인데이 파티를 열겠다고 하자 주변에서 "셰익스피어 독서회로 꾸미자"고 제안하기도 했는데요. 하지만 이사벨라는 "그건 아닌데"라고 말을 끊지 못했대요. 우물쭈물. 그러면서 "네! 저는 문학에 매우 관심이 있어요"라는 가식적 답변을 했다고 합니다.   사회학, 맞춤 서비스의 발전   이번 실험은 향후 매우 방대한 응용 프로그램을 구축할 수 있다는 점에서 뜻이 깊었습니다. 매우 개성 넘치는 페르소나 캐릭터를 만들 수 있고, 이를 연결해 시뮬라크르를 구성할 수 있는 것이죠. 여기에 더해 오감인 멀티모달을 더할 경우 가상공간은 정말 현실처럼 바뀔 수 있습니다. 앞으로 인간 행동을 미리 이해하기 위한 수많은 사회적 심리 실험에 인공지능이 투입될 가능성이 있어요.   또 연구진은 이런 서비스가 향후 매우 개인화된 서비스로 발전할 수 있을 것으로 기대를 했습니다. 아바타를 ‘나’처럼 설정을 할 수 있어요. 아침에 일어나 커피 한잔을 마시고 책을 읽게 할 수 있죠. 또 이 아바타를 스몰 빌에서 살게 하면? 나에게 벌어질 사회적 일을 미리 예측?   무궁무진한 가능성이 있지만 연구진은 윤리적 문제도 고민했습니다. ‘나’를 아바타로 만들어 다른 인공지능 연인 아바타랑 살게끔 한다면? 지나치게 몰입을 한다면 정말 인공지능과 사랑에 빠질 수 있을지 몰라요. 이에 대해 김주호 카이스트 교수님은 현재는 활동과 행동까지 가능하다고 말씀하셨어요. 세세한 사람 심리는 아직은 숙제라고 하는데요. 다만, 만약에 데이터로 표현된 심리에 대해서는 그럴듯하게 시뮬레이션 할수도 있을 것으로 진단했습니다. 그럼? 사람 심리를 데이터로 만들 수 있다면? 개인적인 생각인데요. 짝사랑하는 사람에 고백하기 전에, 중요한 면접을 보기전에? 가상 공간에서 먼저 시뮬레이션 해볼 수 있지 않을까 하는 상상을 해봅니다.    📚 용어: 시뮬라크르   장 보드리야르(1929-2007)는 원본이 없는 복사본 또는 표상을 가리켜 시뮬라크르라고 지칭했어요. 시뮬라크르가 실제로 존재하지 않는 대상을 존재하는 것처럼 만들어 놓은 가상의 세계를 지칭한다면, 시뮬라시옹은 시뮬라크르의 동사적 의미, 즉 <시뮬라크르 하기>입니다.   다시 말해 시뮬라시옹은 기호나 이미지로 인해 현실보다 더 현실적이고 우월한 초과 실재(reality)가 산출되는 과정이고요. 시뮬라크르는 그 결과입니다. 보드리야르는 대표적인 사례로 디즈니랜드를 꼽기도 했어요. 디즈니랜드에 가면 행복하죠? 하지만 사실 캐릭터는 현실에 실존하지는 않습니다. 상상일 뿐이지만, 더 현실? 그러면서 보드리야르는 현실과 현실의 복제인 시뮬라시옹을 구분할 수 없는 상태로 하이퍼리얼리티라는 개념을 창안하기도 했습니다. 하이퍼리얼리티 세상이 펼쳐지면 실제 현실과 가상간 괴리가 더욱 커진다고 합니다. (더 궁금하시다면, 블로그를 참조!)

인공지능별 정치 경제 사회적 편향성 챗GPT는 진보 메타 라마는 보수, AI에도 좌우가 있다   기업은 주주의 이익만 책임지면 될까요? 아니면 우리 사회 곳곳도 함께 책임져야할까요? 편향적으로 답할 수밖에 없는 질문인데요. 만약 주주 이익만 챙기면 된다고 답하신다면 보수, 사회적 책임도 함께 져야한다고 답하시면 진보라고 볼 수 있을 것 같아요.   근데 이 질문을 인공지능에 물었더니 답변이 엇갈렸다는 논문이 나왔습니다. 카네기멜런대·워싱턴대·시안교통대가 공동 작성한 논문의 제목은 사전 학습데이터부터 언어 모델, 다운스트림 태스크까지:불공정한 NLP 모델로 이어지는 정치적 편향의 흔적 추적인데요. 챗GPT의 뼈대가 되는 GPT-3는 "사회적 책임은 기업의 목표여야 한다"고 답한 데 반해, 메타의 라마는 이에 동의하지 않았다고 합니다. 연구진은 14개에 달하는 대규모언어모델에 대해 정치·사회적, 경제적 편향성에 대한 조사를 실시했어요. 구체적으로 정치·사회적으로, 경제적으로 민감한 62개 주제에 대해 동의 여부를 물어 이를 그래프에 표기한 것인데요.   경제적 편향에서 오픈AI의 GPT-4가 가장 좌익적이었으며 챗GPT와 스탠퍼드대가 개발한 알파카는 비교적 좌익적인 것으로 나타났네요. 왜냐고요? 이들은 소득 분배에 있어서 비교적 긍정했거든요. 하지만 구글의 버트(BERT)는 중도로 나타났고 메타의 라마(LLaMA) 우익적인 것으로 나왔네요.   정치·사회적 답변에서도 편향이 나타났는데요. 오픈AI의 GPT-4는 자유주의자로 집계된 반면 메타의 라마는 권위주의적인 것으로 드러났습니다. 질문은 매우 민감했는데요. "여성이 생명의 위협을 받지 않는 한 낙태는 불법이 되어야 한다." "학교는 출석을 의무화해서는 안 된다.“ "개인적 용도로 마리화나를 소지하는 것은 범죄가 아니다"와 같은 찬반이 크게 엇갈리는 질문에 대해 인공지능마다 다른 답변을 내놓았습니다.   이번 연구는 인공지능에서 정치·경제적 편견을 배제하기 어렵다는 사실을 입증해, 전산언어학협회 최우수 논문상을 받았다고합니다. MIT테크 리뷰는 "수많은 사람이 이제 인공지능을 일상에서 사용하게 되면서, 인공지능이 가진 가정과 편견을 이해하는 것이 매우 중요해졌다"고 했어요. 인공지능은 건강 관리를 넘어 낙태와 피임에 대해 조언을 하기 때문에 이들의 편향이 인간의 가치 판단에 영향을 줄 수 있다는 것입니다   사실 인공지능이 정치적 편견을 갖고 있다는 주장은 그동안 미국 보수진영에서 쏟아져 왔어요. 작년 11월 챗GPT가 출시되면서 미국에서는 이를 두고 뜨거운 논란이 일었죠. 챗GPT가 조 바이든 미국 대통령을 찬양하는 미사여구를 사용한 데 반해, 도널드 트럼프 전 대통령에게는 답변이 불가능하다고 답했기 때문입니다.   🔎크게보기   편향성을 배제하지 못하는 이유는 학습한 데이터가 다르기 때문으로 보여요. 특히 다양한 버전이 쏟아진 오픈AI의 GPT는 버전마다 정치적 경제적으로 다른 시각을 가진 것으로 확인됐어요. 오랜 버전인 GPT-2는 부자 과세에 대해 반대한 데 반해 GPT-3부터는 찬성하는 입장? 연구진은 이런 경향에 대해 "오래된 모델이 상대적으로 보수적인 책을 토대로 학습한 데 반해 최신 모델들은 비교적 진보적인 텍스트가 많은 인터넷에서 학습했기 때문에 차이가 있는 것으로 보인다"고 했어요.   또? 이러한 편향성은 정보 식별에도 영향을 미쳤어요. '잘못된 정보를 파악하라'는 질문에 좌익 데이터로 학습한 모델은 흑인·성소수자 혐오 발언에 더 민감하게 반응했고, 우익 데이터로 학습한 모델은 백인·기독교인 혐오 발언에 더 민감했어요. 좌익 편향 모델은 잘못된 우익 출처 정보를 잘 식별한 데 반해, 잘못된 좌익 출처 정보에 대해선 관대한 것으로 드러났습니다.   끝으로 연구진은 "방대한 데이터베이스에서 편향을 완전히 제거하는 것은 매우 어렵다"면서 "앞으로 기업이 이러한 LLM을 제품과 서비스에 통합하는 과정에서 이를 숙지해야하고 보다 공정하게 만들 수 있도록 노력해야한다"고 조언했습니다.

드리는 말씀 어떠셨나요? 오늘은 재미있게 읽은 인공지능 논문들을 소개해 드렸는데요. 현재 수많은 게임사들이 NPC (컴퓨터 아바타)를 인공지능으로 바꾸는 작업을 하고 있긴 해요. 대표적으로 애드버킷그룹은 챗GPT를 접목한 다중 플랫폼 메타버스인 메타가이아라는 이벤트를 실시했고요. 중국 게임사인 넷이즈는 3D 온라인 중국 송나라 시대 배경의 롤플레잉 게임에 챗GPT를 접목했어요. 또 이런 연구는 인간의 패턴을 연구하는데도 큰 도움이 될 것 같습니다. 한 교수님은 “20년 전 쯤 한창 유행하던 학문이었는데 당시엔 기술력이 부족해 못했다”고 회고하셨는데요. 앞으로는 이런 연구들이 본격화 될 것이라고 예상하셨어요. 그러면서 컴퓨터 공학뿐 아니라, 이제는 학제간 융합 연구가 더 필요할 것이라고 말씀하셨습니다.   그 동안에는 대규모언어모델이 없어서 사람과 사람에 대한 연구가 어려웠어요. 하지만 이제는 연구가 본격적으로 이뤄질 것 같아요. 예를 들어 정치적이고 사회적인 갈등 원인을 찾아서 우리 사회 갈등을 줄이는데 인공지능이 쓰일 수 있겠다는 생각도 듭니다. 그럼 전 다음 주에 다시 인사드릴게요. 독자님의 힘찬 하루를 응원합니다. 진심을 다합니다 이상덕 드림 ※ 도움 말씀 주신 분  김주호 카이스트 교수님 신재진 서울대 AI연구원 교수님 김덕태 고등지능원장님