poorman

[OpenCV 3.2] Template Matching with Multiple Objects (다중 물체 찾기)

minMaxLoc 함수를 사용하면 단일 물체 찾기는 편하지만 다중 물체 찾기에 이용할려니 매번 matchTemplate 함수를 반복해서 속도가 상당히 느릴 뿐더러 오인식의 경우가 생긴다.

한 이미지에 대해 대응하는 복수의 물체를 찾을 때는 matchTemplate 결과의 배열 값을 직접 분석하는 방법으로 속도와 인식률을 높일 수 있다.

// Mat 값 직접 읽기 Mat array; int col, row; float value = array.at<float>(row, col);  

1. 소스 코드

void CAIpokerDlg::OnBnClickedButtonFindTrump() { // TODO: Add your control notification handler code here Mat spade_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_spade.bmp", IMREAD_COLOR); Mat diamond_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_diamond.bmp", IMREAD_COLOR); Mat heart_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_heart.bmp", IMREAD_COLOR); Mat clover_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_clover.bmp", IMREAD_COLOR); TemplateMatching(m_original_img, spade_img, 1); TemplateMatching(m_original_img, diamond_img, 2); TemplateMatching(m_original_img, heart_img, 3); TemplateMatching(m_original_img, clover_img, 4); } int CAIpokerDlg::TemplateMatching(Mat oriImg, Mat tempImg, int label) { if (!oriImg.data) // Check for invalid input { cout << "Could not open or find the image" << endl; return -1; } if (!tempImg.data) // Check for invalid input { cout << "Could not open or find the templet image" << endl; return -1; } //0 SQDIFF //1 SQDIFF NORMED //2 TM CCORR //3 TM CCORR NORMED //4 TM COEFF //5 TM COEFF NORMED // Load Method int match_method = 1; Mat result; // Create the result matrix int result_cols = oriImg.cols - tempImg.cols + 1; int result_rows = oriImg.rows - tempImg.rows + 1; //result.create(result_rows, result_cols, CV_32FC1); result.create(result_rows, result_cols, CV_32FC1); // Do the Matching and Normalize matchTemplate(m_working_img, tempImg, result, match_method); normalize(result, result, 0, 1, NORM_MINMAX, -1, Mat()); float threshold, minVal, maxVal; float value; int x, y; Point matchLoc; minVal = 0.1; maxVal = 0.9; for (y = 0; y < result.rows; y++) { for (x = 0; x < result.cols; x++) { value = result.at<float>(y, x); if (match_method == CV_TM_SQDIFF || match_method == CV_TM_SQDIFF_NORMED) { threshold = minVal; if (value < threshold) { printf("label[%d] [%d,%d] : %f\n", label, x, y, value); matchLoc.x = x; matchLoc.y = y; // Show me what you got rectangle(m_matching_img, matchLoc, Point(matchLoc.x + tempImg.cols, matchLoc.y + tempImg.rows), S_GREEN, 2, 8, 0); putText(m_matching_img, to_string(label), Point(matchLoc.x - 10, matchLoc.y - 10), FONT_HERSHEY_SIMPLEX, 1, S_RED, 2); } } else { threshold = maxVal; if (value > threshold) { printf("label[%d] [%d,%d] : %f\n", label, x, y, value); matchLoc.x = x; matchLoc.y = y; // Show me what you got rectangle(m_matching_img, matchLoc, Point(matchLoc.x + tempImg.cols, matchLoc.y + tempImg.rows), S_GREEN, 2, 8, 0); putText(m_matching_img, to_string(label), Point(matchLoc.x - 10, matchLoc.y - 10), FONT_HERSHEY_SIMPLEX, 1, S_RED, 2); } } } } BOOL chk = IsDlgButtonChecked(IDC_CHECK_MATCH); if (chk != 0) { namedWindow("Matching Image", WINDOW_AUTOSIZE); // Create a window for display imshow("Matching Image", m_matching_img); // Show our image inside it } return 1; }

2. 실행 결과

1 : 스페이드, 2: 다이아몬드, 3 : 하트, 4 : 클로버 로 표시

실행 결과 속도와 인식률이 개선되었다.

보완할 점으로 하트와 다이아의 경우 인접한 픽셀 값들이 한계값 내에 있어서 중복하여 표시해주는데 좌표 값 사이를 조정하면 쉽게 해결된다.

개선 후의 matchTemplate 함수의 카드 문양 인식률이 상당히 좋아졌다.

다음은 나란히 배열되는 문양의 위치를 ROI (관심영역)로 지정하고 1부터 A까지의 숫자, 문양을 인식하여 현재 보이는 패의 족보와 확률 값을 계산한다.

영상 인식을 통해 족보와 확률 값이 확립되면 컴퓨터에게 포커 및 여러 카드 게임을 가르치고 딥러닝을 이용하여 인공지능 포커 플레이어를 만들 에정이다.

컴퓨터 비전과 영상 처리에 대해 독학을 하면서 정리한 걸 적고 있습니다.

전공과 무관하며 전문적인 지식이 아니므로 개인적인 의견과 부족하고 틀린 점이 많습니다.

추가 지식 및 잘못된 점을 지적해주시면 공부하는데 많은 도움이 되겠습니다. 감사합니다^^

- 푸어맨

[Reference]