poorman

[OpenCV 3.2] Template Matching - 트럼프 카드 문양 찾기

matchTemplate 함수를 이용하여 트럼프 카드의 스페이드, 하드, 다이아, 클로버 문양들을 찾아 분류한다.

1. 소스 코드

1) MFC 다이얼로그 꾸미기

2) 소스 코드

class CAIpokerDlg : public CDialogEx public: Mat m_original_img; Mat m_binary_img; Mat m_template_img; Mat m_matching_img; int m_match_cnt; Mat m_working_img; //convert original image for matching template /////////////////////////////////////////////////////// BOOL m_check_original; BOOL m_check_binary; BOOL m_check_template; BOOL m_check_match; BOOL m_check_working; /////////////////////////////////////////////////////// string LoadFilePath(); afx_msg void OnBnClickedButtonOpen(); afx_msg void OnBnClickedButtonBinary(); afx_msg void OnBnClickedButtonOpenTemp(); int TemplateMatching(Mat oriImg, Mat tempImg, int label); afx_msg void OnBnClickedButtonMatch(); afx_msg void OnBnClickedButtonFindTrump(); }; string CAIpokerDlg::LoadFilePath() { CString szFilter = _T("Image (*.BMP, *.PNG, *.JPG, *.JPEG) | *.BMP;*.PNG;*.JPG;*.JPEG | All Files(*.*)|*.*||"); CFileDialog dlg(TRUE, NULL, NULL, OFN_HIDEREADONLY, szFilter); if (IDOK == dlg.DoModal()) { CString strImagePath; strImagePath = dlg.GetPathName(); // Get Image File Path CT2CA strAtl(strImagePath); // CString -> string string strImgPath(strAtl); Mat img; img = imread(strImgPath, IMREAD_COLOR); // Read the file if (!img.data) { cout << "Could not open or find the image" << endl; } else { return strImgPath; } } return ""; } void CAIpokerDlg::OnBnClickedButtonOpen() { // TODO: Add your control notification handler code here string strImgPath = LoadFilePath(); m_original_img = imread(strImgPath, IMREAD_COLOR); // Read the file if (!m_original_img.data) { cout << "Could not open or find the image" << endl; } else { BOOL chk = IsDlgButtonChecked(IDC_CHECK_ORIGINAL); if (chk != 0) { namedWindow("Original Image", WINDOW_AUTOSIZE); // Create a window for display imshow("Original Image", m_original_img); // Show our image inside it } // for matching template m_original_img.copyTo(m_working_img); m_original_img.copyTo(m_matching_img); m_match_cnt = 1; } } void CAIpokerDlg::OnBnClickedButtonBinary() { // TODO: Add your control notification handler code here if (!m_original_img.data) { cout << "Could not open or find the image" << endl; } else { Mat grayImg; cvtColor(m_original_img, grayImg, COLOR_BGR2GRAY); // Convert to gray int threshold_value = 125; int threshold_max = 255; int threshold_type = 0; threshold(grayImg, m_binary_img, threshold_value, threshold_max, threshold_type); // Thretholding BOOL chk = IsDlgButtonChecked(IDC_CHECK_BINARY); if (chk != 0) { namedWindow("Binary Image", WINDOW_AUTOSIZE); // Create a window for display imshow("Binary Image", m_binary_img); // Show our image inside it } } } void CAIpokerDlg::OnBnClickedButtonOpenTemp() { // TODO: Add your control notification handler code here string strImgPath = LoadFilePath(); m_template_img = imread(strImgPath, IMREAD_COLOR); // Read the file if (!m_template_img.data) { cout << "Could not open or find the template image" << endl; } else { BOOL chk = IsDlgButtonChecked(IDC_CHECK_TEMPLATE); if (chk != 0) { namedWindow("Template Image", WINDOW_AUTOSIZE); // Create a window for display imshow("Template Image", m_template_img); // Show our image inside it } } } int CAIpokerDlg::TemplateMatching(Mat oriImg, Mat tempImg, int label) { if (!oriImg.data) // Check for invalid input { cout << "Could not open or find the image" << endl; return -1; } if (!tempImg.data) // Check for invalid input { cout << "Could not open or find the templet image" << endl; return -1; } //0 SQDIFF //1 SQDIFF NORMED //2 TM CCORR //3 TM CCORR NORMED //4 TM COEFF //5 TM COEFF NORMED // Load Method int match_method = 1; Mat result; // Create the result matrix int result_cols = oriImg.cols - tempImg.cols + 1; int result_rows = oriImg.rows - tempImg.rows + 1; //result.create(result_rows, result_cols, CV_32FC1); result.create(result_rows, result_cols, CV_32FC1); //int TRY_CNT = 35; //while (TRY_CNT--) { // Do the Matching and Normalize matchTemplate(m_working_img, tempImg, result, match_method); normalize(result, result, 0, 1, NORM_MINMAX, -1, Mat()); // Localizing the best match with minMaxLoc double threshold = 0.99; double minVal; double maxVal; Point minLoc; Point maxLoc; Point matchLoc; minMaxLoc(result, &minVal, &maxVal, &minLoc, &maxLoc, Mat()); if ( (maxVal == 1) && (minVal == 0) ) { // For SQDIFF and SQDIFF_NORMED, the best matches are lower values. For all the other methods, the higher the better if (match_method == CV_TM_SQDIFF || match_method == CV_TM_SQDIFF_NORMED) { matchLoc = minLoc; } else { matchLoc = maxLoc; } // Show me what you got rectangle(m_matching_img, matchLoc, Point(matchLoc.x + tempImg.cols, matchLoc.y + tempImg.rows), S_GREEN, 2, 8, 0); putText(m_matching_img, to_string(label), Point(matchLoc.x-10, matchLoc.y-10), FONT_HERSHEY_SIMPLEX, 1, S_RED, 2); // Fill templet and research rectangle(m_working_img, matchLoc, Point(matchLoc.x + tempImg.cols, matchLoc.y + tempImg.rows), S_WHITE, -1); } else { return 0; } } BOOL chk = IsDlgButtonChecked(IDC_CHECK_MATCH); if (chk != 0) { namedWindow("Matching Image", WINDOW_AUTOSIZE); // Create a window for display imshow("Matching Image", m_matching_img); // Show our image inside it } chk = IsDlgButtonChecked(IDC_CHECK_WORKING); if (chk != 0) { namedWindow("Working Image", WINDOW_AUTOSIZE); // Create a window for display imshow("Working Image", m_working_img); // Show our image inside it } return 1; } void CAIpokerDlg::OnBnClickedButtonMatch() { // TODO: Add your control notification handler code here TemplateMatching(m_original_img, m_template_img, m_match_cnt++); } void CAIpokerDlg::OnBnClickedButtonFindTrump() { // TODO: Add your control notification handler code here Mat spade_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_spade.bmp", IMREAD_COLOR); Mat diamond_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_diamond.bmp", IMREAD_COLOR); Mat heart_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_heart.bmp", IMREAD_COLOR); Mat clover_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_clover.bmp", IMREAD_COLOR); int spade_flag = 1; int diamond_flag = 1; int heart_flag = 1; int clover_flag = 1; int SHAPES_NUM_MAX= 13; while (SHAPES_NUM_MAX--) { if (spade_flag == 1) spade_flag = TemplateMatching(m_original_img, spade_img, 1); if (diamond_flag == 1) diamond_flag = TemplateMatching(m_original_img, diamond_img, 2); if (heart_flag == 1) heart_flag = TemplateMatching(m_original_img, heart_img, 3); if (clover_flag == 1) clover_flag = TemplateMatching(m_original_img, clover_img, 4); } }

같은 문양의 카드는 최대 13장이므로 최대 13번 반복한다.

우선적으로 스페이드, 다이아몬드, 하트, 클로버 순으로 한번씩 템플릿 매칭을 해나간다.

템플릿 매칭 결과 값이 있는 문양은 다음 순에도 찾는다.

2. 실행 결과

1) 원본 이미지

2) 찾을 이미지 (스페이드, 다이아몬드, 하트, 클로버)

3) 결과 이미지

1 : 스페이드, 2: 다이아몬드, 3 : 하트, 4 : 클로버 로 표시

4) 개선 사항

- 카드의 배경이 다른 경우 문양을 오인식한다.

- 문양이 아닌 배경을 오인식하는 경우가 있다.

- 스페이드와 클로바가 서로 틀리는 경우가 있다.

=> ROI 영역 지정과 다른 배경 카드(히든 카드)의 이미지 처리가 필요

컴퓨터 비전과 영상 처리에 대해 독학을 하면서 정리한 걸 적고 있습니다.

전공과 무관하며 전문적인 지식이 아니므로 개인적인 의견과 부족하고 틀린 점이 많습니다.

추가 지식 및 잘못된 점을 지적해주시면 공부하는데 많은 도움이 되겠습니다. 감사합니다^^

- 푸어맨

[Reference]