LLM에게 $1,500 들여 내 앱 해킹을 시켜봤더니

개발자 Kasra가 SQL injection, XSS, 인증 우회 등 다양한 취약점을 의도적으로 심은 웹 애플리케이션을 직접 만들고, 여러 LLM이 실제로 이 앱을 해킹할 수 있는지 약 $1,500을 들여 실험한 결과를 공유했습니다. 결과적으로 LLM들은 SQL injection, XSS처럼 패턴이 명확한 기초 취약점은 꽤 잘 탐지했지만, 복잡한 비즈니스 로직 버그나 여러 단계를 연쇄적으로 활용해야 하는 공격에서는 뚜렷한 한계를 보였습니다. '취약점을 찾는 것'과 '실제 공격으로 연결하는 것' 사이에는 아직 큰 격차가 있다는 점이 흥미롭습니다. 이 실험은 AI 기반 보안 자동화의 가능성과 현실적인 한계를 실비용으로 검증했다는 점에서 보안에 관심 있는 개발자에게 매우 실용적인 인사이트를 줍니다. HN에서 362점, 197개 댓글로 큰 반향을 일으켰습니다.