[Linux] Syn Flooding

Syn Flooding 이란?

https://www.techopedia.com/definition/10339/three-way-handshake

 TCP 의 3-Way Handshake 과정에서 클라이언트와 서버는 위 그림과 같이 3번의 패킷 전달을 수행합니다. 클라이언트가 연결하고자 하는 서버에게 SYN 을 보내면, 서버는 그에 대한 응답으로 SYN+ACK 을 보냅니다. 서버로부터 SYN+ACK 패킷을 수신한 클라이언트는 마지막으로 ACK 패킷을 보내며 연결이 성립됩니다. 

 서버는 클라이언트로부터 SYN 을 받기 전에 listen() 상태를 유지하고 있습니다. 클라이언트로부터 SYN 패킷이 들어오면, 서버는 SYN Backlog 라는 "길이가 제한되어 있는 큐" 에 "Client x가 나와 연결을 하고 싶어한다!" 라고 저장합니다. 그리고 클라이언트에게 SYN+ACK 패킷을 전송하게 됩니다. 클라이언트로부터 ACK 패킷을 수신하게 되면, SYN Backlog 를 뒤져서 해당 클라이언트와 관련된 데이터를 찾고 "이 친구가 나랑 연결하고 싶어했었는데, 마지막 절차인 ACK 패킷까지 왔네? 연결 성립해야겠다." 라고 여기게 됩니다. 

 악의적인 상황에서 클라이언트(공격자)는 3-Way-Handshake 의 마지막 절차인 ACK 패킷을 전송하지 않습니다. 그렇게 되면 서버 측의 SYN Backlog 가 꽉 차게 되고, 더이상 자리가 없는 서버 측은 새로 들어오는 SYN 패킷을 Drop 하게 됩니다. 더이상 새로운 연결 요청을 받을 수 없는 상태가 되는거죠.

SYN Flooding 을 막기 위해서는?

 리눅스 커널에는 이와 같은 SYN Flooding 공격을 막기 위해서 SYN Cookie 가 존재합니다. 클라이언트 측의 SYN 패킷에 대한 응답으로 보내는 SYN+ACK 에 Cookie 값을 추가하는 방법입니다. 클라이언트 측에서 수신한 Cookie 값에 +1 을 해서 다시 서버 측에 ACK 패킷과 함께 전송하면, 서버 측에서는 Cookie 값 계산을 통해 "이 클라이언트가 이전에 나한테 연결 요청을 했던 클라이언트가 맞다!" 라는 것을 알 수 있습니다. Cookie 값은 Timestamp 와 발신자 IP 주소를 혼합한 것과 같이 계산을 통해 구할 수 있는 값이기 때문에, 클라이언트에게 전송한 Cookie 값을 따로 저장해둘 필요가 없습니다. 이렇게 되면 문제가 되었던 SYN Backlog 는 더이상 필요 없어집니다.
=> 자원 고갈 현상이 발생하지 않는다.

---

SYN Flooding 이 발생했음을 알기 위해서는 dmesg 명령어를 사용하여 아래와 같이 사용 가능합니다. 

dmesg -TL | greop -i "syn flooding"