AI 환각으로 인한 새로운 공급망 공격: 슬롭스쿼팅(Slopsquatting)

📰 기사 링크

https://www.bleepingcomputer.com/news/security/ai-hallucinated-code-dependencies-become-new-supply-chain-risk/

AI-hallucinated code dependencies become new supply chain risk

 

 

📍 요약 [TL;DR]

• AI가 존재하지 않는 코드 패키지를 환각(hallucinate)하여 생성하면서, 공격자가 이를 악용해 악성 패키지를 만들어 배포할 수 있는 새로운 공급망 공격 기법
• 반복적으로 생성되는 환각 패키지명을 이용해 AI 코드를 신뢰한 개발자가 악성 패키지를 설치하도록 유도할 수 있음
• 대응책: 패키지명 수동 검증, 해시 검증을 통한 의존성 관리, AI의 온도(temperature)을 낮게 설정

 

📝 주요 내용

생성형 AI가 존재하지 않는 코드 패키지를 "환각(Hallucination)"으로 생성하면서, 공격자가 이를 악용해 악용해 악성 패키지를 만들어 배포할 수 있는 새로운 공급망 공격 기법인 슬롭스쿼팅(Slopsquatting)이 등장했다.

 

슬롭스쿼팅(Slopsquatting)은 기존의 타이포스쿼팅(Typosquatting)과 달리, 오탈자가 원인이 아니라, AI가 실제 존재하는 것처럼 만들어낸 패키지 명을 이용하는 것이 특징이다.

 

이후, 공격자는 PyPI, nmp과 같은 공개 패키지 저장소에 AI가 자주 환각하여 생성하는 패키지명과 동일한 악성 패키지를 등록함으로써, 개발자가 이를 설치하도록 유도할 수 있다.

 

오픈소스 LLM인 CodeLlama, DeepSeek, WizardCoder, Mistral에서 환각률이 더 높았으며, 전체 환각 패키지명의 58%가 10회 실행 중 최소 한 번 이상 반복되었다.

 

환각 패키지 중 38%는 실제 패키지에서 영감을 받은 이름이었고, 13%는 오탈자, 나머지 51%는 완전히 허구의 이름이었다.

따라서 공격자는 모델의 반복적인 환각 패턴을 관찰하기만 해도 슬롭스쿼팅 공격을 할 수 있는 패키지명을 손쉽게 파악할 수 있다.

 

대응 방법

• AI가 추천한 패키지가 실제로 존재하는지 검증하기
• Lockfile, 해시 검증 등을 통해 의존성을 고정하고 신뢰할 수 있는 버전만 사용
• LLM의 무작위성과 창의성 정도를 조절하는 하이퍼파라미터인 "온도(temperature)"를 낮추기
• AI가 생성한 코드는 먼저 안전한 격리 환경에서 테스트 후 실 서비스에 반영하기

---

생각 기록...

nexus repository를 이용해서 미리 사용할 패키지를 설치해놓고, 기업 내부 레파지토리(로컬)에서 끌어다 씀으로써 타이포스쿼팅 뿐만 아니라 슬롭스쿼팅 공격도 같이 방지할 수 있을 것 같다...