프로젝트명 :
딥러닝 기반 차량번호판 객체인식에 관한 연구
카테고리 :
AI > Object Detection
기간 :
2022.03 – 2022.06
개발범위 :
블랙박스 영상 또는 라즈베리 파이 카메라에서 촬영하는 영상에서 차량번호판 영역을 인식하고 해당 영역에서 차량번호를 인식하는 딥러닝 학습 및 시스템 구현
개요 :
Agro AI 석사과정을 시작하면서 딥러닝과 관련된 세미나와 강의들을 들으면서 관련된 연구에 대한 고민을 하면서 적용분야에 대한 고찰을 하였습니다.
일상에서 일어나면서 연관지을 수 있는 분야를 찾아보던 중 2020년도 개인 프로젝트로 진행했던 영상처리 기술을 활용한 차량번호판 인식에 대한 내용을 기반으로 딥러닝에 적용하여 보기로 하였습니다.
적용 기술:
개발 툴 : Jupyter
언어 : Python
OS : Ubuntu
라이브러리 : OpenCV, Numpy, Pytorch, Tensorflow, YOLOv5
기타
객체 인식 분야에서는 CNN을 기반으로 Classification에 대한 확률, Bounding Box 관련 정보를 처리하는 영역에서 특정 기술들을 이용해 정확도나 속도를 높여 활용합니다.
객체 인식에서 R-CNN, YOLO, Faster-R-CNN 등 딥러닝을 활용한 알고리즘들이 있는데 실시간 객체 인식에 사용되어야하기 때문에 150 fps까지 지원하는 YOLOv5를 선택하였습니다.
차량번호판 인식에 관한 다양한 논문들을 살펴보면서 차량번호판 영역과 차량번호판 내 문자 인식을 한번에 처리하는 알고리즘이 있었고 나누어 처리하는 알고리즘 중 먼저 연구가 진행되었었던 나누어 처리하는 알고리즘을 선택하였습니다.
시스템구조
모델학습 – 번호판영역
모델 학습 – 문자영역
모델 시스템 구조
마무리하며
처음 딥러닝과 관련하여 학습을 진행해보면서 목표설정과 그에 기반한 설계가 중요하다는 것을 알았습니다.
본 연구에서는 실시간 차량번호판 객체 인식을 목표로 진행하였는데 실시간 영상의 각 프레임별 객체 인식에서는 좋은 성능을 보였습니다.
하지만 640×640 사이즈의 학습모델을 라즈베리파이에서 촬영되는 실시간 영상을 처리하는데에 있어서는 딜레이가 생기는 이슈를 발견했습니다.
좋은 모델을 학습한다 하여도 시스템적으로 실시간 처리를 할 수 없으면 현장에서 적용하기 어렵기 때문에 실시간으로 사용할 수 있는 연구가 필요할 것 같습니다. 또한 차량번호판에 관련한 논문들에서 이미 많은 연구에서 100%에 수렴하는 성능들을 보이는 알고리즘들을 제시하고 있기 때문에 실시간 처리에 관련된 연구나 이번 연구를 선행 연구로 삼아 다른 분야에 활용할 수 있는 분야를 찾아보아야겠습니다.