조직은 피싱, 비즈니스 이메일 손상(BEC), 기타 첨단 이메일 공격으로 인한 지속적인 위협에 직면해 있습니다. 공격자는 매일 전술을 수정하여 방어자는 받은 편지함을 안전하게 보호하기 위해 그만큼 빠르게 움직여야 합니다.
인터넷의 상당 부분에 대한 Cloudflare의 가시성을 통해 악성 캠페인을 독보적인 관점에서 볼 수 있습니다. 우리는 매일 수십억 개의 이메일 위협 신호를 처리하여 여러 AI 및 머신 러닝 모델에 적용합니다. 이를 통해 Cloudflare의 감지 팀은 새로운 규칙을 생성하여 고속으로 배포하여 악의적이고 원치 않는 이메일이 받은 편지함에 도달하기 전에 차단합니다.
하지만 신속한 방어로 인해 새로운 문제가 발생합니다. Cloudflare가 차단한 대상과 이유를 보안 팀이 정확히 파악해야 했습니다.
Cloudflare의 빠르게 움직이는 감지 파이프라인은 Cloudflare의 가장 큰 강점 중 하나이지만, 고객과의 커뮤니케이션 격차를 초래하기도 합니다. 매일 Cloudflare의 감지 분석가들이 피싱, BEC, 기타 원치 않는 메시지를 차단하는 새로운 규칙을 게시합니다. 이러한 규칙은 종종 여러 AI와 머신 러닝 모델의 신호를 혼합하여, 각각 콘텐츠, 헤더, 링크, 첨부 파일, 발신자 평판 등 메시지의 다양한 측면을 살펴봅니다.
이 계층화된 접근 방식은 위협을 조기에 포착하지만, SOC 팀이 감지를 트리거한 요인의 특정 조합에 대한 인사이트를 항상 가지고 있는 것은 아닙니다. 대신 조사 탭에서 의미에 대한 설명은 거의 없는 규칙 이름을 보게 됩니다.
BEC.SentimentCM_BEC.SpoofedSender 규칙을 예로 들어 보겠습니다. 내부적으로 이것이 다음과 같은 결과를 초래한다는 것을 저희는 알고 있습니다.
이메일에 고유한 링크나 첨부 파일이 포함되지 않았습니다. 일반적인 BEC 패턴
처치마우스 감정 분석 모델에서 BEC일 가능성이 매우 높은 것으로 나타났습니다
envelope_from 헤더의 이상 징후와 같은 스푸핑 지표 발견됨
이러한 세부 정보는 우리 감지 팀에게는 제2의 천성이지만, 해당 컨텍스트가 없으면 SOC 분석가는 불투명한 레이블의 로직을 리버스 엔지니어링해야 합니다. 이들은 미묘한 ML 출력(예: 처치마우스의 감정 점수), 미묘한 헤더 이상, 결정에 반영된 발신자 IP/도메인 평판 데이터는 볼 수 없습니다.
결과적으로 조사가 불분명하거나 실수로 악의적 이메일을 유출할 위험으로 인해 시간을 낭비하게 됩니다. 압박을 받는 팀에게 이는 단순한 불편함을 넘어 보안 책임입니다.
그래서 저희는 Cloudy(AI 기반 에이전트)를 확장하여 복잡한 감지 로직을 명확한 설명으로 변환하여 SOC 팀에 속도를 늦추지 않고도 필요한 컨텍스트를 제공합니다.
몇 주 전 Cloudflare는 고객이 게이트웨이 정책과 그 영향을 이해할 수 있도록 Cloudflare One 제품군에 Cloudy를 출시했습니다(출시에 대한 자세한 내용은 https://blog.cloudflare.com/introducing-ai-agent/에서 확인하세요).
저희는 지속적으로 배포한 감지 및 업데이트에 대해 Cloudy가 설명하는 능력을 테스트하기 시작했습니다. Cloudflare의 첫 번째 시도에서는 중요한 문제가 있었습니다.
저희는 메시지에 대해 부정확한 정보를 생성하는 모델인 LLM 할루시네이션이 빈번하게 관찰되었습니다. 로그를 분석할 때는 이러한 방식이 허용될 수 있지만, 이메일 보안 감지에는 위험합니다. 악의적 메시지가 무해하다고 주장하는 할루시네이션은 SOC 분석가가 이를 격리에서 해제하여 잠재적으로 보안 침해를 초래할 수 있습니다.
이러한 할루시네이션은 이메일 감지에 수많은 복잡한 입력을 포함하기 때문에 발생했습니다. 당사의 스캐닝 프로세스는 본문, 첨부 파일, 링크, IP 평판 등 다양한 구성 요소를 검사하는 여러 ML 알고리즘을 통해 메시지를 실행합니다. 수동 감지에 대해 설명하기 어렵게 만드는 복잡성으로 인해 초기 LLM 구현 시 결과가 일관되지 않고 때로는 부정확하게 생성되었습니다.
수신함 보안을 유지하면서 할루시네이션 위험을 최소화하기 위해 몇 가지 수동 보호 장치를 구현했습니다.
1단계: RAG 구현
우리는 Cloudy가 감지 데이터 세트 코퍼스의 정보에만 액세스하도록 하여 검색 증강 생성(RAG) 시스템을 구축했습니다. 이를 통해 LLM의 평가가 실제 감지 데이터를 기반으로 하여 할루시네이션이 크게 감소했습니다.
2단계: 모델 컨텍스트 개선
우리는 내부 모델에 대한 중요한 컨텍스트를 추가했습니다. 예를 들어 'Churchmouse'로 지정된 것은 단일 알고리즘이 아닌 감정 감지 모델 그룹을 나타냅니다. 이러한 맥락 없이 Cloudy는 일반적인 관용구인 "poor as a 처치"를 사용하여 '성빈병'이 바닥에 떨어지지 않기 때문에 배고픈 교단 쥐를 지칭하는 것처럼 "churchmouse"를 정의하려고 시도했습니다. 이는 역사적으로 흥미로웠지만, 우리의 보안 컨텍스트와 전혀 관련이 없었습니다.
테스트 결과, Cloudy는 이제 할루시네이션을 최소화하며 더욱 안정적인 설명을 생성합니다. 예를 들어 SPAM.ASNReputation.IPReputation_Scuttle.Anomalous_VC 감지는 이제 다음 요약을 생성합니다.
"이 규칙은 인터넷 평판이 좋지 않거나, 차단 목록에 의해 의심스러운 것으로 확인된 발신자가 보낸 이메일 메시지이며, 이메일 서버 설정이 비정상적이며 악의적 활동 가능성이 있는 경우, 이메일 메시지를 스팸으로 표시합니다."
적절한 균형을 유지해야 합니다. 고객은 감지 항목에서 발견한 내용과 Cloudflare에서 그에 따라 메시지를 분류한 이유를 빠르게 파악할 수 있습니다.
선정된 베타 사용자 그룹에게 Cloudy 이메일 감지 요약본을 공개합니다. 우리의 주요 목표는 보안 손상으로 이어질 수 있는 할루시네이션을 가드레일을 통해 차단하는 것입니다. 이 베타 단계 기간 동안 우리는 모든 고객에게 액세스를 제공하기 전에 출력을 엄격하게 테스트하고 품질을 검증할 예정입니다.
Cloudflare는 모든 조직(Cloudflare 고객 여부에 관계없이)에 Retro Scan 도구에 대한 무료 액세스를 제공하여 예측 AI 모델을 사용하여 기존 받은 편지함 메시지를 검사할 수 있도록 합니다. Retro Scan은 발견된 모든 위협을 감지하고 표시하여 조직에서 이메일 계정에서 직접 이를 해결할 수 있도록 합니다. 이러한 인사이트를 통해 조직에서는 Cloudflare Email Security 또는 선호하는 솔루션을 사용하여 향후 유사한 위협이 받은 편지함에 도달하는 것을 방지하기 위해 추가 제어를 구현할 수 있습니다.
Cloudflare가 받은 편지함을 보호하는 데 어떻게 도움이 되는지 알고 싶으시다면 여기에서 피싱 위험 평가에 등록하세요.