poorman

딥 러닝에 대해 독학을 하면서 정리한 걸 적고 있습니다.

전공과 무관하며 전문적인 지식이 아니므로 개인적인 의견과 부족하고 틀린 점이 많습니다.

추가 지식 및 잘못된 점을 지적해주시면 공부하는데 많은 도움이 되겠습니다. 감사합니다^^

- 푸어맨

[Reference]

(MNIST 고급) https://tensorflowkorea.gitbooks.io/tensorflow-kr/content/g3doc/tutorials/mnist/pros/

딥 러닝에 대해 독학을 하면서 정리한 걸 적고 있습니다.

전공과 무관하며 전문적인 지식이 아니므로 개인적인 의견과 부족하고 틀린 점이 많습니다.

추가 지식 및 잘못된 점을 지적해주시면 공부하는데 많은 도움이 되겠습니다. 감사합니다^^

- 푸어맨

[Reference]

(MNIST 초급) https://tensorflowkorea.gitbooks.io/tensorflow-kr/content/g3doc/tutorials/mnist/beginners/

[에러 메세지]

Run-Time Check Failure #2 - Stack around the variable 'a' was corrupted.

[해결 방안]

배열 크기보다 큰 값을 대입했을 때 생긴 에러로 배열 크기를 충분하게 선언하여 해결하였다.

[참고]

http://nsstbg.tistory.com/69

[OpenCV 3.2] Template Matching with Multiple Objects (다중 물체 찾기)

minMaxLoc 함수를 사용하면 단일 물체 찾기는 편하지만 다중 물체 찾기에 이용할려니 매번 matchTemplate 함수를 반복해서 속도가 상당히 느릴 뿐더러 오인식의 경우가 생긴다.

한 이미지에 대해 대응하는 복수의 물체를 찾을 때는 matchTemplate 결과의 배열 값을 직접 분석하는 방법으로 속도와 인식률을 높일 수 있다.

// Mat 값 직접 읽기 Mat array; int col, row; float value = array.at<float>(row, col);  

1. 소스 코드

void CAIpokerDlg::OnBnClickedButtonFindTrump() { // TODO: Add your control notification handler code here Mat spade_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_spade.bmp", IMREAD_COLOR); Mat diamond_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_diamond.bmp", IMREAD_COLOR); Mat heart_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_heart.bmp", IMREAD_COLOR); Mat clover_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_clover.bmp", IMREAD_COLOR); TemplateMatching(m_original_img, spade_img, 1); TemplateMatching(m_original_img, diamond_img, 2); TemplateMatching(m_original_img, heart_img, 3); TemplateMatching(m_original_img, clover_img, 4); } int CAIpokerDlg::TemplateMatching(Mat oriImg, Mat tempImg, int label) { if (!oriImg.data) // Check for invalid input { cout << "Could not open or find the image" << endl; return -1; } if (!tempImg.data) // Check for invalid input { cout << "Could not open or find the templet image" << endl; return -1; } //0 SQDIFF //1 SQDIFF NORMED //2 TM CCORR //3 TM CCORR NORMED //4 TM COEFF //5 TM COEFF NORMED // Load Method int match_method = 1; Mat result; // Create the result matrix int result_cols = oriImg.cols - tempImg.cols + 1; int result_rows = oriImg.rows - tempImg.rows + 1; //result.create(result_rows, result_cols, CV_32FC1); result.create(result_rows, result_cols, CV_32FC1); // Do the Matching and Normalize matchTemplate(m_working_img, tempImg, result, match_method); normalize(result, result, 0, 1, NORM_MINMAX, -1, Mat()); float threshold, minVal, maxVal; float value; int x, y; Point matchLoc; minVal = 0.1; maxVal = 0.9; for (y = 0; y < result.rows; y++) { for (x = 0; x < result.cols; x++) { value = result.at<float>(y, x); if (match_method == CV_TM_SQDIFF || match_method == CV_TM_SQDIFF_NORMED) { threshold = minVal; if (value < threshold) { printf("label[%d] [%d,%d] : %f\n", label, x, y, value); matchLoc.x = x; matchLoc.y = y; // Show me what you got rectangle(m_matching_img, matchLoc, Point(matchLoc.x + tempImg.cols, matchLoc.y + tempImg.rows), S_GREEN, 2, 8, 0); putText(m_matching_img, to_string(label), Point(matchLoc.x - 10, matchLoc.y - 10), FONT_HERSHEY_SIMPLEX, 1, S_RED, 2); } } else { threshold = maxVal; if (value > threshold) { printf("label[%d] [%d,%d] : %f\n", label, x, y, value); matchLoc.x = x; matchLoc.y = y; // Show me what you got rectangle(m_matching_img, matchLoc, Point(matchLoc.x + tempImg.cols, matchLoc.y + tempImg.rows), S_GREEN, 2, 8, 0); putText(m_matching_img, to_string(label), Point(matchLoc.x - 10, matchLoc.y - 10), FONT_HERSHEY_SIMPLEX, 1, S_RED, 2); } } } } BOOL chk = IsDlgButtonChecked(IDC_CHECK_MATCH); if (chk != 0) { namedWindow("Matching Image", WINDOW_AUTOSIZE); // Create a window for display imshow("Matching Image", m_matching_img); // Show our image inside it } return 1; }

2. 실행 결과

1 : 스페이드, 2: 다이아몬드, 3 : 하트, 4 : 클로버 로 표시

실행 결과 속도와 인식률이 개선되었다.

보완할 점으로 하트와 다이아의 경우 인접한 픽셀 값들이 한계값 내에 있어서 중복하여 표시해주는데 좌표 값 사이를 조정하면 쉽게 해결된다.

개선 후의 matchTemplate 함수의 카드 문양 인식률이 상당히 좋아졌다.

다음은 나란히 배열되는 문양의 위치를 ROI (관심영역)로 지정하고 1부터 A까지의 숫자, 문양을 인식하여 현재 보이는 패의 족보와 확률 값을 계산한다.

영상 인식을 통해 족보와 확률 값이 확립되면 컴퓨터에게 포커 및 여러 카드 게임을 가르치고 딥러닝을 이용하여 인공지능 포커 플레이어를 만들 에정이다.

컴퓨터 비전과 영상 처리에 대해 독학을 하면서 정리한 걸 적고 있습니다.

전공과 무관하며 전문적인 지식이 아니므로 개인적인 의견과 부족하고 틀린 점이 많습니다.

추가 지식 및 잘못된 점을 지적해주시면 공부하는데 많은 도움이 되겠습니다. 감사합니다^^

- 푸어맨

[Reference]

[OpenCV 3.2] Template Matching - 트럼프 카드 문양 찾기

matchTemplate 함수를 이용하여 트럼프 카드의 스페이드, 하드, 다이아, 클로버 문양들을 찾아 분류한다.

1. 소스 코드

1) MFC 다이얼로그 꾸미기

2) 소스 코드

class CAIpokerDlg : public CDialogEx public: Mat m_original_img; Mat m_binary_img; Mat m_template_img; Mat m_matching_img; int m_match_cnt; Mat m_working_img; //convert original image for matching template /////////////////////////////////////////////////////// BOOL m_check_original; BOOL m_check_binary; BOOL m_check_template; BOOL m_check_match; BOOL m_check_working; /////////////////////////////////////////////////////// string LoadFilePath(); afx_msg void OnBnClickedButtonOpen(); afx_msg void OnBnClickedButtonBinary(); afx_msg void OnBnClickedButtonOpenTemp(); int TemplateMatching(Mat oriImg, Mat tempImg, int label); afx_msg void OnBnClickedButtonMatch(); afx_msg void OnBnClickedButtonFindTrump(); }; string CAIpokerDlg::LoadFilePath() { CString szFilter = _T("Image (*.BMP, *.PNG, *.JPG, *.JPEG) | *.BMP;*.PNG;*.JPG;*.JPEG | All Files(*.*)|*.*||"); CFileDialog dlg(TRUE, NULL, NULL, OFN_HIDEREADONLY, szFilter); if (IDOK == dlg.DoModal()) { CString strImagePath; strImagePath = dlg.GetPathName(); // Get Image File Path CT2CA strAtl(strImagePath); // CString -> string string strImgPath(strAtl); Mat img; img = imread(strImgPath, IMREAD_COLOR); // Read the file if (!img.data) { cout << "Could not open or find the image" << endl; } else { return strImgPath; } } return ""; } void CAIpokerDlg::OnBnClickedButtonOpen() { // TODO: Add your control notification handler code here string strImgPath = LoadFilePath(); m_original_img = imread(strImgPath, IMREAD_COLOR); // Read the file if (!m_original_img.data) { cout << "Could not open or find the image" << endl; } else { BOOL chk = IsDlgButtonChecked(IDC_CHECK_ORIGINAL); if (chk != 0) { namedWindow("Original Image", WINDOW_AUTOSIZE); // Create a window for display imshow("Original Image", m_original_img); // Show our image inside it } // for matching template m_original_img.copyTo(m_working_img); m_original_img.copyTo(m_matching_img); m_match_cnt = 1; } } void CAIpokerDlg::OnBnClickedButtonBinary() { // TODO: Add your control notification handler code here if (!m_original_img.data) { cout << "Could not open or find the image" << endl; } else { Mat grayImg; cvtColor(m_original_img, grayImg, COLOR_BGR2GRAY); // Convert to gray int threshold_value = 125; int threshold_max = 255; int threshold_type = 0; threshold(grayImg, m_binary_img, threshold_value, threshold_max, threshold_type); // Thretholding BOOL chk = IsDlgButtonChecked(IDC_CHECK_BINARY); if (chk != 0) { namedWindow("Binary Image", WINDOW_AUTOSIZE); // Create a window for display imshow("Binary Image", m_binary_img); // Show our image inside it } } } void CAIpokerDlg::OnBnClickedButtonOpenTemp() { // TODO: Add your control notification handler code here string strImgPath = LoadFilePath(); m_template_img = imread(strImgPath, IMREAD_COLOR); // Read the file if (!m_template_img.data) { cout << "Could not open or find the template image" << endl; } else { BOOL chk = IsDlgButtonChecked(IDC_CHECK_TEMPLATE); if (chk != 0) { namedWindow("Template Image", WINDOW_AUTOSIZE); // Create a window for display imshow("Template Image", m_template_img); // Show our image inside it } } } int CAIpokerDlg::TemplateMatching(Mat oriImg, Mat tempImg, int label) { if (!oriImg.data) // Check for invalid input { cout << "Could not open or find the image" << endl; return -1; } if (!tempImg.data) // Check for invalid input { cout << "Could not open or find the templet image" << endl; return -1; } //0 SQDIFF //1 SQDIFF NORMED //2 TM CCORR //3 TM CCORR NORMED //4 TM COEFF //5 TM COEFF NORMED // Load Method int match_method = 1; Mat result; // Create the result matrix int result_cols = oriImg.cols - tempImg.cols + 1; int result_rows = oriImg.rows - tempImg.rows + 1; //result.create(result_rows, result_cols, CV_32FC1); result.create(result_rows, result_cols, CV_32FC1); //int TRY_CNT = 35; //while (TRY_CNT--) { // Do the Matching and Normalize matchTemplate(m_working_img, tempImg, result, match_method); normalize(result, result, 0, 1, NORM_MINMAX, -1, Mat()); // Localizing the best match with minMaxLoc double threshold = 0.99; double minVal; double maxVal; Point minLoc; Point maxLoc; Point matchLoc; minMaxLoc(result, &minVal, &maxVal, &minLoc, &maxLoc, Mat()); if ( (maxVal == 1) && (minVal == 0) ) { // For SQDIFF and SQDIFF_NORMED, the best matches are lower values. For all the other methods, the higher the better if (match_method == CV_TM_SQDIFF || match_method == CV_TM_SQDIFF_NORMED) { matchLoc = minLoc; } else { matchLoc = maxLoc; } // Show me what you got rectangle(m_matching_img, matchLoc, Point(matchLoc.x + tempImg.cols, matchLoc.y + tempImg.rows), S_GREEN, 2, 8, 0); putText(m_matching_img, to_string(label), Point(matchLoc.x-10, matchLoc.y-10), FONT_HERSHEY_SIMPLEX, 1, S_RED, 2); // Fill templet and research rectangle(m_working_img, matchLoc, Point(matchLoc.x + tempImg.cols, matchLoc.y + tempImg.rows), S_WHITE, -1); } else { return 0; } } BOOL chk = IsDlgButtonChecked(IDC_CHECK_MATCH); if (chk != 0) { namedWindow("Matching Image", WINDOW_AUTOSIZE); // Create a window for display imshow("Matching Image", m_matching_img); // Show our image inside it } chk = IsDlgButtonChecked(IDC_CHECK_WORKING); if (chk != 0) { namedWindow("Working Image", WINDOW_AUTOSIZE); // Create a window for display imshow("Working Image", m_working_img); // Show our image inside it } return 1; } void CAIpokerDlg::OnBnClickedButtonMatch() { // TODO: Add your control notification handler code here TemplateMatching(m_original_img, m_template_img, m_match_cnt++); } void CAIpokerDlg::OnBnClickedButtonFindTrump() { // TODO: Add your control notification handler code here Mat spade_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_spade.bmp", IMREAD_COLOR); Mat diamond_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_diamond.bmp", IMREAD_COLOR); Mat heart_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_heart.bmp", IMREAD_COLOR); Mat clover_img = imread("D:\\vs2015_projects\\OpenCV\\Images\\poker_clover.bmp", IMREAD_COLOR); int spade_flag = 1; int diamond_flag = 1; int heart_flag = 1; int clover_flag = 1; int SHAPES_NUM_MAX= 13; while (SHAPES_NUM_MAX--) { if (spade_flag == 1) spade_flag = TemplateMatching(m_original_img, spade_img, 1); if (diamond_flag == 1) diamond_flag = TemplateMatching(m_original_img, diamond_img, 2); if (heart_flag == 1) heart_flag = TemplateMatching(m_original_img, heart_img, 3); if (clover_flag == 1) clover_flag = TemplateMatching(m_original_img, clover_img, 4); } }

같은 문양의 카드는 최대 13장이므로 최대 13번 반복한다.

우선적으로 스페이드, 다이아몬드, 하트, 클로버 순으로 한번씩 템플릿 매칭을 해나간다.

템플릿 매칭 결과 값이 있는 문양은 다음 순에도 찾는다.

2. 실행 결과

1) 원본 이미지

2) 찾을 이미지 (스페이드, 다이아몬드, 하트, 클로버)

3) 결과 이미지

1 : 스페이드, 2: 다이아몬드, 3 : 하트, 4 : 클로버 로 표시

4) 개선 사항

- 카드의 배경이 다른 경우 문양을 오인식한다.

- 문양이 아닌 배경을 오인식하는 경우가 있다.

- 스페이드와 클로바가 서로 틀리는 경우가 있다.

=> ROI 영역 지정과 다른 배경 카드(히든 카드)의 이미지 처리가 필요

컴퓨터 비전과 영상 처리에 대해 독학을 하면서 정리한 걸 적고 있습니다.

전공과 무관하며 전문적인 지식이 아니므로 개인적인 의견과 부족하고 틀린 점이 많습니다.

추가 지식 및 잘못된 점을 지적해주시면 공부하는데 많은 도움이 되겠습니다. 감사합니다^^

- 푸어맨

[Reference]

[에러 메세지]

ACCESS_MASK is ambiguous

[해결 방안]

opencv의 헤더 파일을 기존 헤더 파일보다 우선시 include 시에 문제가 생김

아래와 같이 #include의 위치를 수정하여 해결

#include "stdafx.h"

#include "AIpoker.h"

#include "AIpokerDlg.h"

#include "afxdialogex.h"

#include <opencv2/core/core.hpp> 

#include <opencv2/imgcodecs.hpp>

#include <opencv2/highgui/highgui.hpp> 

using namespace cv;

#include <iostream> 

using namespace std;

[참고]

[에러 메세지]

error: storage class specified for parameter

error: expected ‘=’, ‘,’, ‘;’, ‘asm’ or ‘__attribute__’ before ‘{’ token

[해결 방안]

헤더 파일의 함수 정의에 세미클론(;) 이 빠져 있어서 붙여줌

[참고]

[OpenCV 3.2] Template Matching - 유사 이미지 모두 찾기

matchTemplate 함수를 이용하여 유사 이미지를 찾아본다.

1. 소스 코드

matchTemplate 결과 이미지에서 minMaxLoc 함수를 이용하여 가장 유사한 이미지를 찾을 수 있다.

가장 유사한 이미지 공간을 백그라운드 색으로 칠한 후에 matchTemplate 함수를 사용하는 방법으로 유사 이미지를 반복하여 찾는다.

2. 실행 결과

MAX_COUNT를 10으로 지정하여 총 10개의 유사 이미지를 찾는다.

유사한 순으로 9,8,7,...,0을 지정하여 숫자가 높을수록 유사도가 높다.

1) 원본 이미지

2) 다이아몬드 템플렛 이미지

3) 하트 템플렛 이미지

4) 별 템플렛 이미지

matchTemplate 함수는 비슷한 크기의 이미지를 찾을 때 상당히 유효하지만 크기의 차이가 크거나 변환 된 이미지에서 유효하지 않다.

컴퓨터 비전과 영상 처리에 대해 독학을 하면서 정리한 걸 적고 있습니다.

전공과 무관하며 전문적인 지식이 아니므로 개인적인 의견과 부족하고 틀린 점이 많습니다.

추가 지식 및 잘못된 점을 지적해주시면 공부하는데 많은 도움이 되겠습니다. 감사합니다^^

- 푸어맨

[Reference]

[Template Matching] http://docs.opencv.org/2.4/doc/tutorials/imgproc/histograms/template_matching/template_matching.html

[Template Similar image] http://stackoverflow.com/questions/34690774/opencv-template-match-similar-object