벤 슈레킹거 | |
Derek Robertson과 Mark Scott의 도움으로 | |
조명이 켜진 컴퓨터 키보드에 사람이 입력합니다. | Sean Gallup/AP 사진 | |
머지않아 AI 기반 사이버 공격을 막을 수 있는 유일한 방법은 AI 기반 사이버 방어가 될 수도 있습니다. 멀지 않은 미래에 일부 분석가들은 사이버 보안이 주로 자율 AI 해커와 이를 저지하기 위해 설정된 자율 시스템 간의 "고양이와 쥐 게임"으로 구성되어 서로 반대되는 공동 진화를 할 것이라고 믿습니다. 인간의 개입이 거의 없습니다. 어제 조 바이든 대통령은 국방장관과 국토안보부 장관에게 정부 컴퓨터 시스템의 보안을 보다 효율적으로 검사하기 위해 AI를 사용하는 프로그램을 설정하도록 지시하는 전면적인 행정 명령의 한 부분을 통해 미래를 향한 큰 발걸음을 내디뎠습니다. 취약점. 이 지침은 대규모 언어 모델의 도움을 받아 오픈 소스 코드에서 버그를 찾기 위해 8월에 시작된 국방부 고등 연구 계획국의 기존 프로젝트인 AI 사이버 챌린지를 기반으로 하기 위한 것입니다. 물론 취약점을 찾아내는 AI를 활용해 사이버 공격도 할 수 있다. DARPA, NASA 및 미국 우주군에서 연구 자금을 지원받은 코넬 대학의 Gregory Falco 교수는 DFD에 사이버 보안의 AI-on-AI 미래가 이미 시작되었으며 자신이 그 한가운데에 있다고 말했습니다. DFD는 Falco를 만나 DC와 개발자 간의 단절, 중국의 AI 기반 해킹, AI가 우주 공간에서 "해킹"할 수 있도록 개발 중인 도구에 대해 논의했습니다. 어제의 행정명령에 대해 어떻게 생각하시나요? 행정 명령의 보안 측면은 모호한 상태로 남아 있습니다. 오늘날 우리가 갖고 있는 사이버 보안 정책은 매우 추상적입니다. 매우 구체적인 기술 사양을 다루지는 않습니다. 왜 그런 겁니까? 정책 입안과 사이버 보안에 대해 제가 일반적으로 이해하는 바는 언어를 만드는 사람들이 답을 갖고 있지 않기 때문에 모든 언어는 항상 모호한 상태로 남아 있다는 것입니다. 예를 들어, 현재 우리는 우주 시스템 사이버 보안에 대한 새로운 표준을 개발하기 위해 노력하고 있습니다. 저는 우주 시스템 사이버 보안을 위한 IEEE(전기전자공학협회) 표준 의장입니다. 국제기술표준입니다. 그리고 우리는 종종 자율적이거나 고도로 자동화된 시스템인 우주 시스템에 대한 국가 정책에서 사이버 보안 지침을 활성화할 것이라는 기대가 있다는 것을 알고 있기 때문에 이를 시도하고 있습니다. 그리고 현실은 정책 지침이 나올 때마다 사이버에 관한 한 매우 불특정하다는 것입니다. 그리고 그것을 알아내는 것은 기술 커뮤니티에 달려 있습니다. 그리고 그런 종류의 것은 약간의 혼란을 야기합니다. 프로세스가 더 잘 작동하도록 하려면 어떻게 해야 합니까? 워싱턴 DC와 워싱턴 DC에 기반을 두지 않은 미국 내 대부분의 개발자 사이에는 엄청난 단절이 있습니다. 그들은 개발 커뮤니티인 청중에게 다가가지 못하는 경우가 많습니다. 그들은 때때로 동부 해안의 일부 지역의 정책 청중에게 다가가고 있지만 일반적으로 순환 도로의 작은 거품에 불과합니다. 해킹에 AI를 사용하는 경우 실제로 어떤 모습일까요? 아주 최근 역사에서 이에 대한 좋은 예는 ChatGPT의 출현이었습니다. 해커 커뮤니티에서는 ChatGPT를 사용하여 매우 기본적인 코드 기반을 제공하여 "이 사양을 기반으로 취약점을 찾아보세요"라고 말하는 공격을 개발하려고 했습니다. , 그런 다음 이 라이브러리에서 제공되는 이러한 익스플로잇을 사용하여 이러한 나쁜 일을 수행합니다.” 과거에는 주어진 환경에 대해 매우 빠른 시스템 모델을 개발한 다음 자동화된 방식으로 이러한 시스템에 침입할 수 있는 맞춤형 계획 알고리즘을 마련해야 했습니다. AI의 출현으로 우리는 훨씬 더 쉽게 시스템에 침입할 수 있게 되었습니다. 그리고 이것은 분명히 큰 관심사입니다. 당신은 NASA에서 일했어요. 우주 공간의 사이버 보안을 위해 AI를 사용하고 있습니까? 네, 우리는. 1년 정도 전까지 우리가 진행했던 프로그램이 있는데, 저는 그것을 스페이스 아이언 돔(Space Iron Dome)이라고 불렀습니다. 이것이 강화 학습을 개발하는 것에 관한 것이었습니다. 이는 실수로부터 학습하고, 개선하고, 누군가 공격할 경우 시스템을 다시 공격할 수 있는 기계 학습 기술입니다. 따라서 우주선에 대한 사이버 공격이 있는 경우 이는 우주에서 누군가가 해당 우주 시스템을 해킹하는 것을 방지하는 "해킹백"을 수행하는 수단입니다. 그러나 이것은 완전히 인간이 배제된 시스템입니다. 까다롭게 들리네요. 이것은 매우 확률적인 기술을 사용하고 있습니다. 우리가 잘못하면 상상할 수 있습니다. 따라서 우주 시스템을 위한 강화 학습 모델에 내장된 많은 확신이 필요합니다. 이 행정 명령을 읽었을 때 떠오른 한 가지 생각은 이것이 인간이 대체로 루프에서 벗어난 상태에서 방어 AI와 공격 AI가 서로에 대해 공동 진화하는 사이버 보안 세계를 향한 한 단계처럼 보인다는 것입니다. 당신이 보는 것이 미래인가요? 그건 미래가 아닙니다. 그것은 이미 일어나고 있습니다. 오늘날에는 매우 기본적인 수준에서 일어나고 있습니다. 나쁜 일을 하는 봇이 있고, 디지털 인프라를 엉망으로 만드는 무뚝뚝한 봇과 싸우려고 하는 AI 시스템이 있습니다. 그러나 기술은 적의 관점과 방어자의 관점 모두에서 발전하고 있습니다. 몇 년 전 MIT에서 제출한 내 논문의 기본 부분 중 하나는 중요한 인프라 시스템에 대한 자동화된 공격 메커니즘을 개발하는 것이었습니다. 그리고 이것은 방어자로서 공격자가 내 인프라에 무엇을 할 것인지 어떻게 예측할 수 있는지 알아내기 위한 것이었습니다. 그런 다음 우리는 이것을 NASA 제트 추진 연구소의 우주 시스템과 응용 프로그램에 적용했습니다. 왜냐하면 그것은 우리가 작업하고 있던 매우 중요하고 값비싼 자산이었기 때문입니다. 2016년의 일입니다. 상황이 상당히 발전했습니다. 이러한 AI 시스템은 다른 시스템과 다른 기술을 시도하고 있습니다. 그리고 실패하면 기술을 바꿉니다. 이는 기계 학습 모델을 발전시키는 매우 효과적인 방법이 되었습니다. 그게 당신을 전혀 소름 끼치게 합니까? 아니요, 이는 현재 기술이 진화하는 방식의 자연스러운 진화이기 때문입니다. 걱정하는 대신 이러한 도구를 활용하고 이를 활용하여 이익을 얻는 방법을 알아내야 합니다. 그리고 고양이와 쥐 게임을 계속하지만 방어적인 측면에서 진행됩니다. 이 "고양이와 쥐" 게임이 실험실에서 진행되고 있습니까, 아니면 현실 세계에서 진행되고 있습니까? 이러한 기술의 대부분은 현재 실험실 환경에서 실행되고 있습니다. 내가 이야기할 수 있는 것들. 실제로 이것을 테스트하는 방법을 알아내는 데 많은 관심이 있습니다. 이것이 생물학적 맥락에서 기능 획득 연구 및 실험실 누출과 동등한 것으로 이어질 수 있다는 우려는 없습니까? 이러한 기술은 역대 가장 강력한 해킹 도구를 만들어 주며, 잘못된 사람의 손에 들어갈 수 있습니다. 내 생각엔 아직은 약간 공상과학적인 것 같아. 그러나 공상과학을 과소평가할 수는 없습니다. 공상과학은 대개 많은 연구와 개발에 영감을 주기 때문입니다. 미국의 적들은 정확히 무엇을 하고 있는가? 현재 세계에서 가장 중요하고 흥미로운 AI 연구 중 일부가 중국에서 나오고 있습니다. 공개하지 말아야 할 내용은 공개하지 않도록 노력하고 있습니다. 그러나 중국이 공격 작전을 위한 공격 능력으로 이러한 AI 시스템을 사용하고 있다는 보고가 분명히 있으며 이는 다른 적들과 협력하고 있습니다. AI와 사이버는 훌륭한 레벨러죠? 이는 모든 국가의 공평한 경쟁의 장을 마련합니다. 모델이 만들어지면 누구나 이러한 기능을 사용할 수 있는 비대칭 시스템입니다. 이는 실제로 데이터로 귀결되며, 모델을 교육할 데이터가 가장 많은 사람, 교육 수준이 가장 높은 인력을 보유한 사람이 이러한 시스템을 구축하는 데 시간을 투자할 수 있습니다. 그래서 우리는 지금 적들과 국가 안보 경쟁을 벌이고 있습니다. | |
11월 14일 폴리티코의 국방 정상회담을 준비하세요: 우크라이나에 대한 러시아의 전쟁... 대만에 대한 중국의 위협... 가자지구에서의 전쟁. 미국은 더 많은 방법으로 억제하고, 방어하고, 싸워야 한다는 압력을 점점 더 받고 있습니다. 그러나 모든 사람이 그 방법에 동의하는 것은 아닙니다. 11월 14일 POLITICO의 제3차 연례 국방 정상회담에 참여하여 글로벌 안보와 동맹을 강화하고 적보다 앞서 나가기 위한 미국의 경쟁에 대한 독점 인터뷰와 전문가 토론에 참여하세요. 국제 분쟁, 첨단 기술, 지출 우선 순위, 글로벌 국방 전략을 형성하는 정치적 역학 등 중요한 주제를 살펴보세요. 시기적절하고 중요한 토론을 놓치지 마세요. 여기에서 등록하세요 . | |
| |
수요일에 시작되는 영국의 이틀간의 AI 안전 서밋을 포함하여 이번 주 인공 지능에 대한 수많은 발표가 진행되는 가운데 소위 오픈 소스 모델을 옹호하는 사람들은 사랑을 느끼지 못하고 있습니다. 디지털 퓨처 데일리 (Digital Future Daily)와 독점적으로 공유된 수요일 공개 서한에서 해당 커뮤니티(모두가 사용할 수 있는 기술을 옹호하는)의 주요 목소리는 정치인들이 최신의 가장 인기 있는 것에 너무 집중하고 있다고 경고합니다. AI 시스템. Meta의 수석 AI 과학자 Yann Lecun을 포함한 서명자들에 따르면 "우리는 AI 거버넌스에서 중요한 시점에 있습니다." 대만 디지털부 장관 Audrey Tang; 그리고 편지를 지원한 오픈 소스 기술 회사인 Mozilla Foundation의 전무이사인 Mark Surman도 있습니다. 노벨 평화상 수상자 마리아 레사(Maria Ressa)와 전 프랑스 디지털 장관 세드릭 오(Cedric O)도 이 편지에 서명했습니다. “그렇습니다. 공개적으로 사용 가능한 모델에는 위험과 취약점이 있습니다.”라고 편지는 인정합니다. "그러나 우리는 독점 기술에도 마찬가지이며 대중의 접근과 조사가 증가하면 기술이 더 위험해지는 것이 아니라 더 안전해진다는 사실을 몇 번이고 확인했습니다." 오픈 소스 AI의 리더들이 토론에 스스로 참여하기를 원하는 것은 놀라운 일이 아닙니다. 현재 Microsoft, Alphabet 및 OpenAI와 같은 유명 기업이 많은 산소를 차지하고 있습니다. 오픈 소스 인공 지능이 자체적인(종종 상업적인) 목적을 달성하기 때문에 더 큰 지원을 요청하는 것도 서한 뒤에 있는 사람들이 이기적인 일입니다. 그러나 최근 AI에 대한 백악관의 행정 명령이 강조된 것처럼 이 기술을 중심으로 더 큰 경쟁을 촉진하는 것이 핵심이 될 것입니다. 그리고 이를 위해서는 필연적으로 더 적은 리소스를 가진 소규모 플레이어가 오픈 소스 대규모 언어 모델 및 기타 형태의 AI를 통해 힘을 합쳐 대형 플레이어를 상대할 수 있어야 합니다. “우리는 책임 있는 AI를 만드는 데 초점을 맞춘 신규 플레이어의 진입 장벽을 낮추기 위한 기반이 될 수 있는 오픈 소스부터 오픈 사이언스까지 다양한 접근 방식에 투자해야 합니다.”라고 서한은 계속되었습니다. 이는 단지 한 가지 형태의 AI를 다른 형태보다 홍보하는 기득권을 가진 사람들에 관한 것이 아닙니다. 선도적인 생성 AI 모델이 얼마나 투명한지를 조사한 최근 스탠포드 대학의 연구 에서 연구원들은 최고의 성능을 발휘한 상위 4개 시스템 중 3개가 오픈 소스 배경을 가진 시스템이라는 사실을 발견했습니다. 물론 스탠포드 연구에서 테스트한 시스템 중 성능이 뛰어난 시스템은 하나도 없었습니다. 그러나 개방형 모델을 선호하는 Meta, BigScience 및 Stability AI와 같은 회사는 모든 것을 차단하는 것을 선호하는 회사에 비해 시스템 작동 방식에 대해 더 큰 투명성을 제공했습니다. 여기에는 이러한 시스템을 구동하는 데 사용되는 데이터 유형을 게시하는 것이 포함됩니다. AI 모델이 야생에서 어떻게 사용되었는지; 시스템을 구축하는 데 사용되는 노동 유형부터 잠재적 위험을 완화하는 방법까지 모든 것에 대한 공개입니다. 스탠포드 대학교 연구의 공동 집필자이자 하버드 기술 정책 연구원인 Kevin Klyman은 오픈 소스 AI 시스템이 제공하는 정교함의 수준과 폐쇄형 모델을 비교하면서 "오픈 소스 모델은 폐쇄형 모델과 거의 비슷합니다."라고 말했습니다. 경쟁자. 그러나 투명성에 대해서는 “개방형 개발자가 여전히 폐쇄형 개발자보다 성과가 좋습니다.”라고 말합니다. — 마크 스콧 | |
| |
소수의 국회의원들이 카말라 해리스 부통령이 다가오는 AI 정상회담을 위해 영국으로 떠날 때 가지고 갈 메시지를 가지고 있습니다. Digital Future Daily와 단독으로 공유한 서한 에서 Sara Jacobs 하원의원(D-Calif.)과 상원 의원 Ed Markey(D-Mass.)는 공동 서명자 그룹과 함께 Harris에게 "기본 권리"를 홍보하기 위한 추가 추진력을 제공하고 있습니다. 그리고 민주적 가치”는 Biden 백악관의 AI 권리 장전에 대한 청사진에 잘 표현되어 있다고 그들은 말합니다. “서밋에 참여하시면서 AI 안전에 대한 포괄적인 정의를 장려하는 동시에 공정성, 책임성, 안전의 원칙을 계속해서 제고해 주시기를 요청합니다.” "...우리는 주택, 신용, 고용, 교육, 형사 사법을 포함한 기회와 중요한 요구에 대한 접근에 대한 알고리즘 의사 결정의 영향을 강조하기를 바랍니다." 그들은 계속해서 백악관과 글로벌 지도자들에게 다음을 포함할 것을 촉구합니다. "소외된 커뮤니티"는 일반적으로 높은 수준의 기술 정책 토론 테이블에 참석하지 않습니다. — 데릭 로버트슨 |
