[C/C++] OpenCV 라이브러리로, 윤곽에 기반한 자동차 번호판 영역 추출 (License plates recognition)

Download link :

OpenCV_License plates recognition_console project (On Ubuntu linux, Qt)

  5번째 게시물은 오픈소스 영상처리 라이브러리인 OpenCV의 활용을 정리했습니다.

3달만에 게시물을 올립니다. 작년에 블로그를 시작할 때는 댓글을 통한 관심사의

소통을 기대했으나.. 보통 주마다 50회 정도의 조회수만 기록하고 있습니다.

네이버 블로그로 시작해야 했나요 ㅎㅎ

  사실 진짜 이유는 사람들에게 알리는 것보다 저 스스로 공부해야할 것들이 훨씬 많다는 

걸 계속 느꼈습니다. 저는 먹고 보는 일상을 정리하는 것이 아닌, 아스팔트 같은 IT 글을

쓰고 싶었습니다. 그러다보니 한번 글을 쓰려고 소스코드와 이미지를 정리하면 2~3일이

걸리네요.

아무튼 이번 포스트가 누군가에겐 아스팔트가 되길 바랍니다.

  '영상처리', 글자 그대로 보면 매우 단순하고, 무얼하는건지 과정을 생각해보면

쉽게 떠오르지 않는 영역인 것 같습니다. 그 역할을 사람과 자동차에 빗대어

설명해볼까요? 단순히 '내가 운전하는 자동차'는 핸들과 스위치 같은 입력만 필요할

것입니다. 운전이란 것을 학습한 나 자신이 주는 입력을 자동차는 수동적으로

받아들일 뿐이죠. 하지만 '자율주행 자동차'라면 자동차는 카메라로 읽어들인

사진의 집합에서, 신호등이 '초록색'이라도 앞에서 '사람'이 툭 튀어나오면

알아서 멈춰서야 합니다. 자동차가 인공적으로 생각하는 수단을 프로그래밍으로

제공할 수 있어야 합니다.

  이번에 소개할 OpenCV는 그 역할을 제공해주는 C/C++ 라이브러리로, 인텔에서

시작되었습니다. 'Open'은 보통 오픈소스로 이루어지는 프로젝트에 붙고, 'CV'는

'Computer Vision'을 뜻합니다. 영상처리는 이미지 파일을 처리하기에 컴퓨터의

자원을 많이 소모하는데, 마이크로프로세서 제조업체인 인텔이 영상처리 영역을

성장시켰던 이유가 왠지 납득이 갑니다 ㅎㅎ.. Windows, Ubuntu와 같은 Linux,

Android에서도 동작하며, C/C++ 라이브러리지만 JAVA, Python 언어와 바인딩되었습니다.

'.NET' 프레임워크에서 C# 언어로 코딩할 수 있는 'EmguCV'라는 형제도 있습니다.

저는 우분투 리눅스에서 구현된 소스코드로 설명할 것이고, 설치 과정은 생략할

것입니다.


  블로그를 하면서 느낀 건데, 설치과정은 이미 다른 블로그가 너무 많아서 사람들이

검색해도 OpenCV 설치 같은 주제를 저와 함께 시작하기는 어렵다는걸 알았습니다 ㅎ

자동차 번호판 추출이라는 주제에 집중하겠습니다. 물론 그 과정을 설명하면서 기본

함수들의 설명도 뒤따릅니다. Windows에서 Visual Studio, Ubuntu에서 Qt,

라즈베리파이에선 G++ 컴파일러로만 개발하면서 개발환경 준비는 매우 단순함을 느낀

점도 있습니다. PC 우분투에서 구현했기에 Qt 프레임워크 위에서 개발했습니다.

사실 이 주제로 프로그래밍한 것은 2015년 전반기 때였습니다. 그런데 리눅스 커널 공부

도중에 소스코드가 들어있던 우분투 커널을 날려버렸습니다 ㅡ_ㅡ;;

작년에 했던 기억을 떠올리며 소스코드를 다시 구성했습니다. 

  Qt 프레임워크의 프로젝트 파일(.pro)에 OpenCV 라이브러리를 위한 컴파일 옵션을

추가해줍니다. 터미널 창에서 g++ 명령어로 컴파일 하셨을때 붙여주셨던 옵션입니다.

  전체 소스코드는 150줄 정도 밖에 안 됩니다. ㅎ 절차적인 과정 위주로 설명하기 위해

기능마다 함수로 나누거나 하지 않고 main() 함수에 모든 소스코드를 넣었습니다. 초기

부분은 OpenCV와 일반 C++ 입출력 패키지를 포함합니다. 'cstdlib' 패키지는 절대값을

구하는 'abs()' 함수가 딱 한 번 쓰이는데, 그것 때문에 포함했습니다. 그리고 아래에는

사용하는 일반 정수형, 실수형 변수들과 OpenCV 전용 변수들의 선언입니다. 특히

'Mat' 데이터 타입은 이미지 하나를 담는데 쓰이는 매트릭스로써 가장 일반적인

변수입니다. 'imread()' 함수를 통해 이미지 경로를 매개변수로 주어 Mat 변수인 'image'에

그림파일을 담습니다. 그리고 'imshow()' 함수를 통해 윈도우창 이름을 주고 띄워 봅니다.

이때 'waitKey(0)'라는 함수를 줘야지만, 그 구간에서 키보드 입력을 기다리며 멈춰줍니다.

waitkey(0)의 '0'는 밀리세컨드(ms) 변수입니다. '3000'을 주면 키보드 입력이 없을 때까지

3초를 기다려줍니다. 0을 주면 키보드 입력이 있을 때까지 끝없이 기다려줍니다.







  이렇게 그림파일 하나를 불러와 자동차 정면 이미지를 띄웠습니다. 혹시 차량 주인분이

말씀해주시면 사진은 바꾸도록 하겠습니다. 지금 목적은 '30루 2468'이라는 저 번호판

영역만을 떼어내는 것입니다. 그래야 저장용량도 적고, 광학 문자 인식 (OCR, Optical

Character Recognition)으로 이미지가 아닌 '30루 2468'을 문자 그 자체로 변환할 때

알맞기 때문이죠. 예로 보면,





  왼쪽과 같은 원본 이미지에서 번호판 영역을 추출하는데, 오른쪽처럼 번호판 영역만

남겨주지 않으면 OCR 후에 저장되는 문자열이 '70주 6279'가 아니라, 'CCTV 단속차량'이

저장될 수도 있겠죠? 'KIA'나 'SONATA'가 될 수도 있습니다. ㅎ 그래서 번호판 영역만

관심영역 (Region of Interest)으로 남겨주는 것이 여러모로 효율적입니다.




  포스트 제목에서도 알 수 있듯이, 저는 윤곽에 기반해 자동차 번호판 영역을 추출할

것입니다. 처음 시도는 색에 기반한 방법이었습니다. 하얀색 번호판에서 검은색 글씨를

찾는 프로그램을 구성했죠. 하지만..

  자동차 번호판은 통일되어 있는게 아니었습니다. 자동차도 하얀색 일 때는 하얀색

번호판의 검출률이 낮아지고, 저녁 석양 같은 빛의 영향에 이도 저도 아닌 색깔이

나오는 문제도 있었습니다. 번호판 색깔이 어떻든, 다른 색의 사이에서는 '경계선'이

나타나고, 그것을 찾아주는 함수를 OpenCV 공식 홈페이지의 Reference manual에서 

찾을 수 있었습니다. 'findContours()' 함수가 그 역할을 해주었습니다. 우선 우리는

이제 색에 대한 고민이 줄어들었습니다 ㅎ findContours() 함수를 사용하기 전에

일단 이미지를 다듬는 '전처리' 과정을 적용합시다.

  전처리 과정은 빨강, 초록, 파랑으로 구성된 RGB 레벨 이미지를 Gray 레벨로

단순화시키고, 'Canny()'라는 가장자리(Edge) 검출 알고리즘을 적용하는 것입니다.

그럼 원본 컬러 이미지를 어떻게 회색 레벨로 바꿀 수 있을까요? 생각해보면

한 점마다 빨강, 초록, 파랑의 값을 모두 더해서 3으로 나눠주면 될 것 같습니다.

하지만 우리는 OpenCV라는 든든한 영상처리 라이브러리를 사용하고 있죠 ㅎ

'cvtColor()' 함수에 그레이 레벨로 바꾸고 싶은 이미지의 매트릭스를 넣고,

'CV_BGR2GRAY'를 인자로 주면 아래처럼 회색 레벨로 바꾸어줍니다. 만약 이렇게

바꾸는게 사용자 마음에 안 든다면 다운로드 받은 OpenCV의 내부 소스코드를

수정하거나 직접 만들 수도 있겠죠. 오픈소스의 힘입니다.

  회색 레벨로 단순화시킨 이미지에서 가장자리 (Edge)를 나타내 봅시다. 이것 역시

이미 OpenCV 라이브러리 안에 구현된 걸 사용해서 1줄입니다.







  Canny() 함수의 3번째 4번째 변수는 가장자리를 추출하는 '문턱값'(threshold)입니다. 이

값을 조정함으로써 흐릿한 엣지도 나타나게 할 수 있고 뚜렷한 엣지도 나타나지 않을 수

있습니다. 전처리 과정은 이것으로 마치지만, 사실 가장 힘든 구간이라고 생각합니다.

"소스코드 2줄로 끝나는데 뭐가 어려운거지?"라고 생각 하실 수도 있지만, 자동차가 찍힌

사진마다 이 수의 차이로 인해 잘 인식하던 번호판 영역이 나타나지 않을 수 있습니다.

15개의 자동차 이미지 중 10개가 잘 처리되고 5개가 그렇지 않은 상황에서, 5개를

인식시키기 위해 전처리 과정을 수정하면 원래 잘 처리되던 10개가 처리되지 않는 것이죠.

숫자와의 시소 싸움입니다 ㅡ_ㅡ; 전처리 과정만큼 중요한 것이 일관된 환경에서

자동차 사진을 촬영하는 것이란 생각이 들었습니다.




  이제 findContours() 함수를 사용할 수 있습니다.





"윤곽은 Canny() 함수로 다 나왔는데, 왜 또 findContours() 함수로 윤곽을 구하는 거지?"

할 수 있습니다. Canny() 함수는 전처리 과정으로, 단순히 눈에 보이는 윤곽을 잡아줬을

뿐입니다. findContours() 함수를 통해 개개의 윤곽의 집합인 'contours' 배열을 접근할

수 있습니다. 아래에 'boundRect'는 사각형의 집합인데, findContours() 함수로 개개

윤곽을 배열로써 접근할 수 있기에 각 윤곽마다 사각형을 씌울 수 있게 된 것입니다.

각 함수들의 매개변수는 OpenCV Reference manual에서 예를 보고 그대로 가져온 것입니다.

변경해 보고 싶다면 메뉴얼에서 매개변수에 대한 설명을 읽고 더나은 매개변수로

바꿔보고 결과를 확인해야 합니다.

  반복문을 통해 발견된 윤곽의 개수만큼 반복적으로 자동차 번호판 숫자에 합당한 지

평가합니다. 저는 발견된 윤곽의 가로세로 비율, 크기의 상하한을 통해 잡다한 윤곽을

예외처리했습니다. 정제된 알맞은 윤곽들만을 'boundRect2'라는 사각형 배열에 다시

담았습니다. 그렇게 나온 윤곽에 사각형을 씌운 처리 결과는 아래와 같습니다.

  자동차 번호판 영역의 윤곽과 함께 유사한 조건의 윤곽들이 검출된 것을 볼 수 있습니다.

만약 정제과정을 넣지 않고 모든 윤곽을 처리하면 어떻게 될까요?

  전혀 번호판 영역의 윤곽에 포함되지 않을 것 같은 윤곽들도 포함되어 프로세서의

불필요한 연산을 증가시킵니다. 물론 지나치게 타이트하게 하면 사진마다 처리과정을

바꾸게 되는 악순환이 생길 수 있습니다.




  이제는 번호판 영역의 윤곽과 주변 배경의 윤곽을 구분시켜야할 차례입니다. 번호판

영역의 사각형과 다른 영역 사각형이 차이점은 무엇이라 할 수 있을까요? 그 차이점을

통해 그것들을 분리하려면 어떤 처리과정을 넣어야할까요?

  여기서부터는 제가 고안한 방법을 소개해드립니다. 저는 방법을 생각하다 머릿 속에

익숙한 게임 하나가 떠올랐습니다.

  뱀 게임 (snake game)입니다. 저 파란색 사각형, 즉 윤곽 하나하나를 뱀이라고 생각하고,

오른쪽으로 움직이면서 먹이 (친구)를 얼마만큼 먹는지 세어보는 규칙을 구상했습니다.

제가 키워주고 싶은 뱀은 바로 번호판 영역의 제일 왼쪽에 있는 윤곽입니다.

  이제부터 구현할 규칙은 저 뱀에게 매우 유리한 게임이어야 합니다. 우선 뱀들에게

순서를 부여해야 합니다. 버블정렬을 통해 X좌표에 따라 뱀들을 정렬시킵시다.

  뱀들은 오른쪽으로 기어가면서 자기가 가는 길 위에 놓인 친구만 먹을 수 있습니다.

이것은 각 사각형의 왼쪽 위의 꼭지점 좌표 ( tl().x, tl().y, [Top Left] )를 기울기를 구하는

수단으로 사용해서, 먹을 수 있는 친구와 그렇지 못한 친구로 구분함으로써 가능합니다.

  기울기가 1이라면, x좌표가 1증가할 때 y 좌표도 1증가하는 경우입니다. 거의 같은

가로줄에 있는 친구인지 판단하는 거라서, 기울기가 1인 것은 너무 너그럽습니다.

그래서 저는 기울기를 0.25로 주었습니다. 이렇게 하면,

  가장 배부른 뱀은 번호판 가장 왼쪽의 윤곽이 될 수 있습니다. 또한 x좌표 차이가 150

이상이라면 너무 멀리있으니 무시하도록 했습니다. 이렇게 하면 가능성 없는 친구는 먹이로

보지 않기 때문에 반복문이 일찍 깨져서 (break) 효율성이 높아집니다. 이런 작업들은

각 윤곽들이 x좌표에 따라 정렬되어 있기에 가능합니다.

  x좌표가 작은 순서대로 모든 뱀마다 얼마만큼의 친구를 먹었는지 경쟁합니다. 가장 많은

친구를 먹은 뱀의 순서를 'select' 변수에 저장하고, 그때 가장 멀리서 먹은 친구와 자신과의

거리를 번호판 폭을 가늠하는 변수 'plate_width'로 저장합니다. 가장 마지막에 먹은

친구와의 거리, 생각해보면 자동차 번호판의 폭의 길이와 비슷하겠죠?

  이제 확인해봅시다.

  'select' 변수를 통해 기억해뒀던 배부른 뱀은 빨간색 사각형으로 원본 이미지 위에

그렸습니다. 또한 plate width 또한 'line()' 함수를 통해 이미지 위에 나타냈습니다.

  유리하게 만들어주었던 윤곽이 선택되었습니다. 파란색 사각형은 빨간색 이전에 가장

배부른 뱀이었습니다. 이제 번호판 영역을 추출해봅시다.

  image라는 매트릭스 내부에 Rect() 함수를 써서 원하는 크기만큼 선택할 수 있습니다.

'Rect(a, b, c, d)' 형식인데, 'a, b' 좌표에서 x좌표로 'c'만큼, y좌표로 'd'만큼 잘라내겠다는

의미입니다. 조금 더하고 빼서 여유롭게 잘라내었습니다. 'imwrite()' 함수는 imread()

함수의 반대로서, 지정된 디렉터리에 이미지 파일을 저장하는 함수입니다.

  아래는 추출이 제대로 안 되는 대표적 경우인 '돌밭' (rocky)입니다. 돌이 그럴듯한 윤곽을

너무 많이 만들어서 번호판을 이겨버립니다. 저 돌들을 무시하려고 전처리를 까다롭게

하면 번호판의 검출률도 같이 낮아져버리죠. 생각해보면 처음 카메라를 설치하는 조건에서

저런 환경을 배제하는 것이 현명하다고 생각되네요.

  필요하다면 분리된 번호판에서 문자열을 출력하는 OCR 과정을 적용할 수 있습니다.

번호판 영역만 남기는 것도 전체 사진 한장을 남기는 것보다 효율적이지만, 문자열로

남기면 공간적으로 매우 효율적입니다. 물론 번호판 자체여야 유효한 경우도 있습니다.

불법주차 카메라에 찍혔던 경험이 있으신 분들은 문자로 번호판 사진을 함께 수신했던

기억이 있으실 겁니다. OCR 과정은 이미지 '7'이 모니터에도 보이는 숫자 데이터

'7'로 저장될 수 있도록 합니다. 저는 이 과정을 구글에서 제공한 'tesseract-ocr'의

기본환경으로 구현했습니다. 물론 OCR 소스코드를 그대로 포함한 것이기에 속도와

정확성 면에서 아주 높은 성능을 기대하기는 어려웠습니다.  소스코드는 아래 링크에서

다운로드 받으실 수 있습니다.

https://code.google.com/p/tesseract-ocr/

  이 글을 더 길게 만들어야하는지 고민되고, 저만의 문자열 추출 알고리즘을 완성하지 않고

tesseract-ocr의 적용 과정을 그대로 설명하는 것이 좋은건지 모르겠습니다. 분명

tesseract-ocr은 구글이 개발자들에게 주는 든든한 선물 중 하나입니다. OCR은 좀 더

공부한 후에 설명해드릴만 하다면 별도의 포스트로 정리하도록 하겠습니다.


  이번 포스트의 주제인 자동차 번호판 영역 추출은 여기까지 설명하겠습니다.


(tesseract-ocr을 활용한 게시물을 올렸습니다.   _LINK)