Computer Architecture - 캐시 메모리(Cache Memory)

캐시 메모리

캐시 메모리란?

ㆍ 캐시 메모리란 속도가 빠른 장치와 느린 장치 사이에서 속도 차이에 따른 병목 현상을 줄이기 위한 메모리를 말한다.

ㆍ 캐시 메모리는 아래와 같은 예가 있다.

 

    1. CPU 코어와 메모리 사이의 병목 현상 완화

    2. 웹 브라우저의 캐시 파일은 하드디스크와 웹 페이지 사이의 병목 현상을 완화

 

ㆍ CPU가 주기억장치에서 저장된 데이터를 읽어올 때, 자주 사용하는 데이터를 캐시 메모리에 저장한 후, 다음에 해당 데이터를 읽어올 필요가 있을 때 주기억장치가 아닌 캐시 메모리에서 먼저 가져오면서 속도를 향상할 수 있다.

ㆍ 캐시 메모리를 사용함으로써 속도라는 장점을 얻지만, 용량이 적기도 하고 비용이 비싸다는 단점이 있다.

 

ㆍ CPU에서는 이러한 캐시 메모리가 2~3개 정도 사용된다. (L1, L2, L3 캐시 메모리라고 부른다.)

ㆍ 속도와 크기에 따라 분류한 것으로, 일반적으로 L1 캐시부터 먼저 사용된다. (CPU에서 가장 빠르게 접근이 가능하고, 여기서 데이터를 찾지 못하면 L2로 간다.)

 

캐시 메모리의 작동 원리

ㆍ 캐시 메모리는 데이터 지역성(Locality)의 원리를 이용한다. 데이터 지역성은 시간 지역성(Temporal Locality), 공간 지역성(Spatial Locality), 순차적 지역성(Sequential Locality)으로 나뉜다.

 

    1. 시간 지역성(Temporal Locality) : for나 while과 같은 반복문에 사용하는 조건 변수처럼 한번 참조된 데이터는 잠시 후에 또 참조될 가능성이 높다는 것을 뜻한다.

    2. 공간 지역성(Spatial Locality) : A[0], A[1]과 같은 데이터 배열에 연속으로 접근할 때 참조된 데이터 근처에 있는 데이터가 잠시 후에 사용될 가능성이 높다는 것을 뜻한다.

    3. 순차적 지역성(Sequential Locality) : 명령어들이 메모리에 저장된 순서대로 실행하는 특성을 이용한 원리로, 순차적일수록 다음 순서의 데이터가 사용될 가능성이 높다는 것을 뜻한다.

 

ㆍ 캐시 메모리는 위와 같은 지역성을 최대한 활용하기 위해 해당 데이터뿐만 아니라, 옆 주소의 데이터도 같이 가져와 미래에 쓰일 것을 대비한다.

ㆍ 이때, CPU가 요청한 데이터가 캐시에 있으면 'Cache Hit', 없어서 DRAM에서 가져오면 'Cache Miss'가 된다.

 

캐시 미스의 종류

ㆍ 캐시 미스가 나는 경우는 크게 3가지로 나눌 수 있다.

 

    1. Compulsory Miss(Cold Miss) : 해당 메모리 주소를 처음 불러서 나는 미스

    2. Conflict Miss : 캐시 메모리에 A와 B 데이터를 저장해야 하는데, A와 B가 같은 캐시 메모리 주소에 할당되어 있어서 나는 미스

    3. Capacity Miss : 캐시 메모리의 공간이 부족해서 나는 미스

 

캐시 메모리의 구조 및 작동 방식

1. Direct Mapped Chache

 

ㆍ 가장 기본적인 캐시 배치 정책인 Direct Mapped Chache이다. DRAM의 여러 주소가 캐시 메모리의 한 주소에 대응되는 다대일 방식이다.

ㆍ 현재 그림에서는 메모리 공간이 32개(00000~11111)이고, 캐시 메모리 공간은 8개(000~111)인 상황이다.

ㆍ 위 그림에서 00001, 01001, 10001, 11001인 메모리 주소는 001 캐시 메모리 주소에 매핑이 돼있다. 이때, 001이 '인덱스 필드', 인덱스를 제외한 앞의 나머지(00, 01, 10, 11)를 '태그 필드'라고 한다.

ㆍ 이처럼, 캐시 메모리는 '인덱스 필드 + 태그 필드 + 데이터 필드'로 구성된다.

ㆍ 간단하고 빠르다는 장점이 있지만, Conflict Miss가 발생하는 것이 단점이다. 위 사진처럼 같은 색깔의 데이터를 동시에 사용해할 경우 발생한다.

 

2. Fully Associative Cache

ㆍ 비어있는 캐시 메모리가 있으면, 마음대로 주소를 저장하는 방식이다.

ㆍ 저장할 때는 매우 간단하지만, 찾을 때 많은 비용이 소모된다.

ㆍ 조건이나 규칙이 없어서 특정 캐시 Set 안에 있는 모든 블록을 한 번에 찾아 원하는 데이터가 있는지 검색해야 한다. CAM이라는 특수한 메모리 구조를 사용해야 하며, 가격이 매우 비싸다는 단점이 있다.

 

3. Set Associative Cache

ㆍ Direct Mapped Chache과 Fully Associative Cache을 합친 방식이다.

ㆍ 특정 행을 지정해서 그 행안의 어떤 열이든 비어있으면 저장하는 방식이다. 당연히 Direct Mapped Chache에 비해서는 검색은 오래 걸리지만, 저장이 빠르면 Fully Associative Cache에 비해 저장이 느린 대신 검색이 빠른 중간 형이라고 할 수 있다.