"너무 모호해서 더 까다로운" LLM의 허점 5가지

원문보기:https://www.itworld.co.kr/news/336039#csidxf9b8fcfe9f28c0daf04f74fd90e60d2

"너무 모호해서 더 까다로운" LLM의 허점 5가지

 

 

1. 너무 많은 정보를 볼 수 있는 LLM

- LLM 시스템의 가장 큰 결함은 공유 대상이 아닌 방대한 셰어포인트 파일에 엑세스 할 수 있다는 것

- 사용자가 엑세스를 활성화하면 코파일럿(마이크로소프트의 대화형 인공지능)은 사용자가 엑세스할 수 있는 모든 대상에 엑세스할 수 있음

- 이러한 개방성이 모든 기업 데이터 스토리지 환경에 동일한 문제로 대두됨. 그러므로 IT 부서는 사용자의 데이터 엑세스 권한을 철저히 감사하고 LLM을 사용한 쿼리를 허용하기 전에 민감한 데이터를 봉쇄해야 함.

 

 

2. 왕국으로 들어가는 열쇠를 지닌 LLM

- 위에서 언급한 문제처럼, LLM이 가진 문제의 일부는 많은 경우 LLM에 폭넓은, 심지어 모든 기업 시스템에 대한 무제한 액세스 권한이 부여된다는 점임. 

- 더 심각한 점은 현재 기업 방어 시스템의 대부분이 LLM을 탐지하지 않고 따라서 LLM이 정상 궤도를 벗어난다해도 차단하지 않는다는 점임.

- AI 문제를 중점으로 다루는 비영리 연구소인 폴리 에이전트(PolyAgent)의 창립자 큘리안은 "대부분이 프롬프트 엔지니어링 가드레일을 사용하지만 이것으로는 충분하지 않다. 권한 기반 제어가 필요하다. 대부분의 기업은 아직 그 단계에 이르지 못했다"고 말함. 즉 무방비한 액세스에 대한 제어책이 없다는 것을 언급하며 적절한 통제수단을 마련하기 전에 기업들이 서둘러 LLM을 채택하는 행태를 지적함.

- 데이비드 과레라는  "가드레일을 돌아가도록 LLM을 속일 수 있는 새로운 공격이 많이 발생하고 있다. 무작위 문자열로 LLM이 혼란에 빠지도록 할 수 있다. 조직은 이러한 위럼을 인지해야 한다." 라고 말하며, LLM 액세스 바깥에서 처리되는 권한이 필요함을 강조했다. 이 작업은 LLM에 보이지 않는 데이터 계층헤서 해야하며, 견고한 인증 계층을 고안해야 한다고 주장했다.

 

3. 문자 그대로만 해석하는 LLM

- 시스템이 일부 데이터를 제한해서 회사에서 특정 역할을 가진 사람 또는 특정 부서에서 일하는 사람과 이 데이터를 공유하도록 프로그래밍하는 것은 '공무원적 사고방식' 문제로 이어짐.

- 민감한 기업 데이터는 대부분 이분법적으로 분류되지 않음. 예를 들어, 보고된 데이처만 공개 데이터이고, 보고 되지 않은 데이터는 여전히 비공개하는 것을 알도록 프로그래밍 되었을까? (아니라고 생각함)

- 연관된 문제로는 예를 들어 30명의 임시 지원을 추가로 작업에 투입했다고 가정하자. 그러면 누군가가 그 인력에게 임시 데이터 액세스 권한을 부여하도록 LLM을 다시 프로그램해야 한다는 생각을 할까? 또한 이들의 우너래의 업무로 복귀할 때 누군가가 권한을 삭제해야 한다는 것을 기억할까? 

 

 

4. 결함이 있어도 눈에 안 띄어

- 기존 소프트웨어는 잘못되면 겉으로 명확하게 드러남. 화면이 로드되지 않고 오류 메시지가 쏟아짐. 그러나 LLM은 잘못되는 경우가 훨씬 물투명함. 눈에 띄는 오류 없이 모델이 예측을 제대로 못할 뿐임. 

- 문제가 있다는 사실을 IT 부서가 신속하게 인지하지 못할 경우 문제를 수정하고 시스템 동작 범위를 제한하기 위한 작업이 지연되어 피해를 막기에 너무 늦어질 수 있음.

- 기존 소프트 웨어와는 다르게 훨씬 더 많은 추적, 테스트, 모니터링을 구축해야 함.

 

 

5. 비현실적인 기대

- LLM은 스스로 생각하지 못하며 단순히 다음 단어를 예측할 뿐임. LLM이 코드를 쓸 수 있다는 기대는 지나치게 부풀려진 것임.

- LLM을 매우 신중하게 다뤄야 함. 가드레일을 피해가는 방법이 많음, 약간 다른 프롬프트를 입력하는 것만으로 프로그램된 제한을 회피할 수 있기 때문임.

- 현식적인 사용 사례에서 현실적으로 구현할 수 있는 부분에 집중해야 함.