poorman

[OpenCV 3.2] Template Matching with Multiple Objects (다중 물체 찾기)

minMaxLoc 함수를 사용하면 단일 물체 찾기는 편하지만 다중 물체 찾기에 이용할려니 매번 matchTemplate 함수를 반복해서 속도가 상당히 느릴 뿐더러 오인식의 경우가 생긴다.

한 이미지에 대해 대응하는 복수의 물체를 찾을 때는 matchTemplate 결과의 배열 값을 직접 분석하는 방법으로 속도와 인식률을 높일 수 있다.

// Mat 값 직접 읽기 Mat array; int col, row; float value = array.at<float>(row, col);  

1. 소스 코드

void CAIpokerDlg::OnBnClickedButtonFindTrump() { // TODO: Add your control notification handler code here Mat spade_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_spade.bmp", IMREAD_COLOR); Mat diamond_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_diamond.bmp", IMREAD_COLOR); Mat heart_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_heart.bmp", IMREAD_COLOR); Mat clover_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_clover.bmp", IMREAD_COLOR); TemplateMatching(m_original_img, spade_img, 1); TemplateMatching(m_original_img, diamond_img, 2); TemplateMatching(m_original_img, heart_img, 3); TemplateMatching(m_original_img, clover_img, 4); } int CAIpokerDlg::TemplateMatching(Mat oriImg, Mat tempImg, int label) { if (!oriImg.data) // Check for invalid input { cout << "Could not open or find the image" << endl; return -1; } if (!tempImg.data) // Check for invalid input { cout << "Could not open or find the templet image" << endl; return -1; } //0 SQDIFF //1 SQDIFF NORMED //2 TM CCORR //3 TM CCORR NORMED //4 TM COEFF //5 TM COEFF NORMED // Load Method int match_method = 1; Mat result; // Create the result matrix int result_cols = oriImg.cols - tempImg.cols + 1; int result_rows = oriImg.rows - tempImg.rows + 1; //result.create(result_rows, result_cols, CV_32FC1); result.create(result_rows, result_cols, CV_32FC1); // Do the Matching and Normalize matchTemplate(m_working_img, tempImg, result, match_method); normalize(result, result, 0, 1, NORM_MINMAX, -1, Mat()); float threshold, minVal, maxVal; float value; int x, y; Point matchLoc; minVal = 0.1; maxVal = 0.9; for (y = 0; y < result.rows; y++) { for (x = 0; x < result.cols; x++) { value = result.at<float>(y, x); if (match_method == CV_TM_SQDIFF || match_method == CV_TM_SQDIFF_NORMED) { threshold = minVal; if (value < threshold) { printf("label[%d] [%d,%d] : %f\n", label, x, y, value); matchLoc.x = x; matchLoc.y = y; // Show me what you got rectangle(m_matching_img, matchLoc, Point(matchLoc.x + tempImg.cols, matchLoc.y + tempImg.rows), S_GREEN, 2, 8, 0); putText(m_matching_img, to_string(label), Point(matchLoc.x - 10, matchLoc.y - 10), FONT_HERSHEY_SIMPLEX, 1, S_RED, 2); } } else { threshold = maxVal; if (value > threshold) { printf("label[%d] [%d,%d] : %f\n", label, x, y, value); matchLoc.x = x; matchLoc.y = y; // Show me what you got rectangle(m_matching_img, matchLoc, Point(matchLoc.x + tempImg.cols, matchLoc.y + tempImg.rows), S_GREEN, 2, 8, 0); putText(m_matching_img, to_string(label), Point(matchLoc.x - 10, matchLoc.y - 10), FONT_HERSHEY_SIMPLEX, 1, S_RED, 2); } } } } BOOL chk = IsDlgButtonChecked(IDC_CHECK_MATCH); if (chk != 0) { namedWindow("Matching Image", WINDOW_AUTOSIZE); // Create a window for display imshow("Matching Image", m_matching_img); // Show our image inside it } return 1; }

2. 실행 결과

1 : 스페이드, 2: 다이아몬드, 3 : 하트, 4 : 클로버 로 표시

실행 결과 속도와 인식률이 개선되었다.

보완할 점으로 하트와 다이아의 경우 인접한 픽셀 값들이 한계값 내에 있어서 중복하여 표시해주는데 좌표 값 사이를 조정하면 쉽게 해결된다.

개선 후의 matchTemplate 함수의 카드 문양 인식률이 상당히 좋아졌다.

다음은 나란히 배열되는 문양의 위치를 ROI (관심영역)로 지정하고 1부터 A까지의 숫자, 문양을 인식하여 현재 보이는 패의 족보와 확률 값을 계산한다.

영상 인식을 통해 족보와 확률 값이 확립되면 컴퓨터에게 포커 및 여러 카드 게임을 가르치고 딥러닝을 이용하여 인공지능 포커 플레이어를 만들 에정이다.

컴퓨터 비전과 영상 처리에 대해 독학을 하면서 정리한 걸 적고 있습니다.

전공과 무관하며 전문적인 지식이 아니므로 개인적인 의견과 부족하고 틀린 점이 많습니다.

추가 지식 및 잘못된 점을 지적해주시면 공부하는데 많은 도움이 되겠습니다. 감사합니다^^

- 푸어맨

[Reference]

[OpenCV 3.2] Template Matching - 트럼프 카드 문양 찾기

matchTemplate 함수를 이용하여 트럼프 카드의 스페이드, 하드, 다이아, 클로버 문양들을 찾아 분류한다.

1. 소스 코드

1) MFC 다이얼로그 꾸미기

2) 소스 코드

class CAIpokerDlg : public CDialogEx public: Mat m_original_img; Mat m_binary_img; Mat m_template_img; Mat m_matching_img; int m_match_cnt; Mat m_working_img; //convert original image for matching template /////////////////////////////////////////////////////// BOOL m_check_original; BOOL m_check_binary; BOOL m_check_template; BOOL m_check_match; BOOL m_check_working; /////////////////////////////////////////////////////// string LoadFilePath(); afx_msg void OnBnClickedButtonOpen(); afx_msg void OnBnClickedButtonBinary(); afx_msg void OnBnClickedButtonOpenTemp(); int TemplateMatching(Mat oriImg, Mat tempImg, int label); afx_msg void OnBnClickedButtonMatch(); afx_msg void OnBnClickedButtonFindTrump(); }; string CAIpokerDlg::LoadFilePath() { CString szFilter = _T("Image (*.BMP, *.PNG, *.JPG, *.JPEG) | *.BMP;*.PNG;*.JPG;*.JPEG | All Files(*.*)|*.*||"); CFileDialog dlg(TRUE, NULL, NULL, OFN_HIDEREADONLY, szFilter); if (IDOK == dlg.DoModal()) { CString strImagePath; strImagePath = dlg.GetPathName(); // Get Image File Path CT2CA strAtl(strImagePath); // CString -> string string strImgPath(strAtl); Mat img; img = imread(strImgPath, IMREAD_COLOR); // Read the file if (!img.data) { cout << "Could not open or find the image" << endl; } else { return strImgPath; } } return ""; } void CAIpokerDlg::OnBnClickedButtonOpen() { // TODO: Add your control notification handler code here string strImgPath = LoadFilePath(); m_original_img = imread(strImgPath, IMREAD_COLOR); // Read the file if (!m_original_img.data) { cout << "Could not open or find the image" << endl; } else { BOOL chk = IsDlgButtonChecked(IDC_CHECK_ORIGINAL); if (chk != 0) { namedWindow("Original Image", WINDOW_AUTOSIZE); // Create a window for display imshow("Original Image", m_original_img); // Show our image inside it } // for matching template m_original_img.copyTo(m_working_img); m_original_img.copyTo(m_matching_img); m_match_cnt = 1; } } void CAIpokerDlg::OnBnClickedButtonBinary() { // TODO: Add your control notification handler code here if (!m_original_img.data) { cout << "Could not open or find the image" << endl; } else { Mat grayImg; cvtColor(m_original_img, grayImg, COLOR_BGR2GRAY); // Convert to gray int threshold_value = 125; int threshold_max = 255; int threshold_type = 0; threshold(grayImg, m_binary_img, threshold_value, threshold_max, threshold_type); // Thretholding BOOL chk = IsDlgButtonChecked(IDC_CHECK_BINARY); if (chk != 0) { namedWindow("Binary Image", WINDOW_AUTOSIZE); // Create a window for display imshow("Binary Image", m_binary_img); // Show our image inside it } } } void CAIpokerDlg::OnBnClickedButtonOpenTemp() { // TODO: Add your control notification handler code here string strImgPath = LoadFilePath(); m_template_img = imread(strImgPath, IMREAD_COLOR); // Read the file if (!m_template_img.data) { cout << "Could not open or find the template image" << endl; } else { BOOL chk = IsDlgButtonChecked(IDC_CHECK_TEMPLATE); if (chk != 0) { namedWindow("Template Image", WINDOW_AUTOSIZE); // Create a window for display imshow("Template Image", m_template_img); // Show our image inside it } } } int CAIpokerDlg::TemplateMatching(Mat oriImg, Mat tempImg, int label) { if (!oriImg.data) // Check for invalid input { cout << "Could not open or find the image" << endl; return -1; } if (!tempImg.data) // Check for invalid input { cout << "Could not open or find the templet image" << endl; return -1; } //0 SQDIFF //1 SQDIFF NORMED //2 TM CCORR //3 TM CCORR NORMED //4 TM COEFF //5 TM COEFF NORMED // Load Method int match_method = 1; Mat result; // Create the result matrix int result_cols = oriImg.cols - tempImg.cols + 1; int result_rows = oriImg.rows - tempImg.rows + 1; //result.create(result_rows, result_cols, CV_32FC1); result.create(result_rows, result_cols, CV_32FC1); //int TRY_CNT = 35; //while (TRY_CNT--) { // Do the Matching and Normalize matchTemplate(m_working_img, tempImg, result, match_method); normalize(result, result, 0, 1, NORM_MINMAX, -1, Mat()); // Localizing the best match with minMaxLoc double threshold = 0.99; double minVal; double maxVal; Point minLoc; Point maxLoc; Point matchLoc; minMaxLoc(result, &minVal, &maxVal, &minLoc, &maxLoc, Mat()); if ( (maxVal == 1) && (minVal == 0) ) { // For SQDIFF and SQDIFF_NORMED, the best matches are lower values. For all the other methods, the higher the better if (match_method == CV_TM_SQDIFF || match_method == CV_TM_SQDIFF_NORMED) { matchLoc = minLoc; } else { matchLoc = maxLoc; } // Show me what you got rectangle(m_matching_img, matchLoc, Point(matchLoc.x + tempImg.cols, matchLoc.y + tempImg.rows), S_GREEN, 2, 8, 0); putText(m_matching_img, to_string(label), Point(matchLoc.x-10, matchLoc.y-10), FONT_HERSHEY_SIMPLEX, 1, S_RED, 2); // Fill templet and research rectangle(m_working_img, matchLoc, Point(matchLoc.x + tempImg.cols, matchLoc.y + tempImg.rows), S_WHITE, -1); } else { return 0; } } BOOL chk = IsDlgButtonChecked(IDC_CHECK_MATCH); if (chk != 0) { namedWindow("Matching Image", WINDOW_AUTOSIZE); // Create a window for display imshow("Matching Image", m_matching_img); // Show our image inside it } chk = IsDlgButtonChecked(IDC_CHECK_WORKING); if (chk != 0) { namedWindow("Working Image", WINDOW_AUTOSIZE); // Create a window for display imshow("Working Image", m_working_img); // Show our image inside it } return 1; } void CAIpokerDlg::OnBnClickedButtonMatch() { // TODO: Add your control notification handler code here TemplateMatching(m_original_img, m_template_img, m_match_cnt++); } void CAIpokerDlg::OnBnClickedButtonFindTrump() { // TODO: Add your control notification handler code here Mat spade_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_spade.bmp", IMREAD_COLOR); Mat diamond_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_diamond.bmp", IMREAD_COLOR); Mat heart_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_heart.bmp", IMREAD_COLOR); Mat clover_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_clover.bmp", IMREAD_COLOR); int spade_flag = 1; int diamond_flag = 1; int heart_flag = 1; int clover_flag = 1; int SHAPES_NUM_MAX= 13; while (SHAPES_NUM_MAX--) { if (spade_flag == 1) spade_flag = TemplateMatching(m_original_img, spade_img, 1); if (diamond_flag == 1) diamond_flag = TemplateMatching(m_original_img, diamond_img, 2); if (heart_flag == 1) heart_flag = TemplateMatching(m_original_img, heart_img, 3); if (clover_flag == 1) clover_flag = TemplateMatching(m_original_img, clover_img, 4); } }

같은 문양의 카드는 최대 13장이므로 최대 13번 반복한다.

우선적으로 스페이드, 다이아몬드, 하트, 클로버 순으로 한번씩 템플릿 매칭을 해나간다.

템플릿 매칭 결과 값이 있는 문양은 다음 순에도 찾는다.

2. 실행 결과

1) 원본 이미지

2) 찾을 이미지 (스페이드, 다이아몬드, 하트, 클로버)

3) 결과 이미지

1 : 스페이드, 2: 다이아몬드, 3 : 하트, 4 : 클로버 로 표시

4) 개선 사항

- 카드의 배경이 다른 경우 문양을 오인식한다.

- 문양이 아닌 배경을 오인식하는 경우가 있다.

- 스페이드와 클로바가 서로 틀리는 경우가 있다.

=> ROI 영역 지정과 다른 배경 카드(히든 카드)의 이미지 처리가 필요

컴퓨터 비전과 영상 처리에 대해 독학을 하면서 정리한 걸 적고 있습니다.

전공과 무관하며 전문적인 지식이 아니므로 개인적인 의견과 부족하고 틀린 점이 많습니다.

추가 지식 및 잘못된 점을 지적해주시면 공부하는데 많은 도움이 되겠습니다. 감사합니다^^

- 푸어맨

[Reference]