[Linux] free

free 명령어는?

free 는 시스템의 메모리 정보를 출력하는 리눅스 명령어입니다. 단위를 megabyte 로 설정하여 출력하라는 -m 옵션을 추가하면 아래와 같은 출력값이 나옵니다.

출력값을 살펴보면 total, used, free, shared, buff/cache, available 와 같은 컬럼이 존재합니다. total 과 used 는 각각 메모리 총량과 사용 중인 메모리를 나타내는 것입니다. 

그렇다면 free와 available 의 차이는?

우선 free 는 어느 프로세스도 사용하고 있지 않은 메모리를 의미합니다. 메모리를 필요로 하는 프로세스에게 바로 할당해줄 수 있는 메모리입니다. 이에 반해 available 은 프로세스에게 실질적으로 할당이 가능한 메모리입니다. 다른 프로세스가 사용중일 수도 있지만 다른 프로세스가 필요로 하면, 그 프로세스에게 넘겨줄 수 있는 메모리를 의미합니다. 

왜 이런 차이가 발생할까?

그 이유는 바로 buff와 cache 때문입니다. 여기서 buff 란 블록 디바이스가 가지고 있는 블록 자체에 대한 캐시, cache 란 I/O 성능 향상을 위해 사용하는 페이지 캐시를 의미합니다.

애플리케이션 A와 B가 블록 디바이스로부터 test.txt 라는 한 파일을 open 하려고 할 때, 각각 블록 디바이스로부터 읽게 되면 I/O 성능이 떨어질 수 있습니다. 이를 방지하기 위해 애플리케이션과 블록 디바이스 사이에 페이지 캐시를 위치하여, 페이지 캐시로부터 원하는 파일을 읽습니다. 만약 페이지 캐시에 읽으려는 파일이 존재하지 않는다면, 블록 디바이스로부터 파일을 읽어오고 페이지 캐시에 저장합니다. 페이지 캐시를 통해 블록 디바이스의 I/O 성능을 유지할 수 있습니다. 페이지 캐시, 즉 메모리로부터 파일의 내용을 가져오는 것은 I/O가 아니기 때문입니다.

buff 와 cache 는 I/O 성능 향상을 위해서 존재합니다. 애플리케이션에서 메모리를 필요로 한다면, I/O 성능 저하를 감내하며 buff/cache 영역을 해제하고 애플리케이션이 사용할 수 있는 영역으로 바꿀 수 있습니다. 즉 아래와 같은 수식이 정의됩니다. 정확한 식은 아니지만, 대충 이 식을 따라갑니다.

Available = free + buff/cache

swap

메모리가 부족한 상황에서 사용하는 가상 메모리 공간을 swap 영역이라고 합니다. 주로 블록 디바이스의 일부 영역을 사용합니다. 

프로세스 #2에 할당할 메모리를 확보하기 위해서, 프로세스 #1이 사용하고 있는 메모리 0 영역을 swap out 합니다. 그렇게 되면 메모리 0 영역은 swap 영역으로 넘어가게 되고, 메모리 0 영역의 원래 위치는 빈 집이 됩니다. 커널은 이 빈 집을 프로세스 #2 에게 할당합니다. 

 

프로세스 #1이 메모리 0 영역을 참조하길 원한다면 어떻게 될까요?

0번 영역에 있는 프로세스 #2 메모리를 swap 영역으로 swap out 하고, swap 영역에 있던 프로세스 #1 0번 영역 메모리를 다시 swap in 해옵니다. 0번 메모리가 메모리에 올라왔지만, swap 영역에 있던 0번 메모리는 삭제하지 않습니다. 이런 부분을 swap cached 라고 부릅니다. 나중에 swap in, swap out 이 또 발생할 수 있기 때문에 이 영역을 캐싱해놓는 것입니다. 

이와 같이 swap 영역이 사용되면 성능 저하가 발생합니다. 메모리 참조에 I/O 가 빈번하게 발생하기 때문입니다. 그 결과 다음과 같은 고민에 빠지게 됩니다.

성능이 떨어지더라도 OOM Killer 에 의해 죽는걸 막을까 vs 성능이 떨어질 바에는 OOM Killer 에 의해 죽는게 나을까

요즘의 트렌드는 swap 영역을 비활성화, 즉 성능을 지키고 OOM Killer 에 의해 프로세스가 죽는 것을 선호하는 편입니다. EC2 도 이러한 트렌드에 맞춰서 기본값이 swap off 입니다. 이러한 선택의 이유는 컨테이너 환경을 주로 사용하는 요즘 트렌드에 의한 것입니다. OOM Killer 에 의해 프로세스가 종료되더라도 컨테이너를 빠르게 다시 띄울 수 있기 때문에 쿠버네티스 환경에서는 대부분 swap 영역을 비활성화 합니다.

API 서버와 같이 1~2초 정도 다운되는건 그렇게 크게 크리티컬하지 않습니다. 다만 DB 서버와 같은 경우에는 EC2 + Swap 영역 을 사용하여 느려지더라도 계속해서 운영이 되는 것이 나을 수도 있습니다. 느려진다면 모니터링을 통해 SWAP 영역을 사용하고 있는 것을 발견하고, 메모리 릭과 같은 문제점을 찾아볼 수 있습니다.

---

정리

buff/cache 가 높다면 I/O 가 빈번하게 발생한다는 의미다.

swap 영역을 사용한다는 것은 메모리가 부족하다는 신호다.