최근 다양한 분야에서의 빅데이터 분석 시스템이 구축되어 활용되고 있으나, 대부분의 대상 데이터들이 텍스트 기반의 데이터를 한정하고 있다. 그러나, 현재 전 산업 분야에서 이미지(비디오) 데이터가 빅데이터의 핵심으로 부상하면서 이를 분석하기 위한 이미지 마이닝 기술에 대한 관심이 고조되고 있다. 이미지 마이닝 기술은 이미지 프로세싱 기술에 대한 연구가 시작된 시점 1960년대 이후인 1970년대부터 연구되기 시작하였다. 이와 관련된 많은 연구들이 의학적인 분야와 국방 분야에서 많이 연구되어 오다, 최근에는 마케팅 분야를 포함한 다양한 분야에서 연구되어 오고 있으며, 일부 산업 분야에서는 상용기술이 개발되어 실제 산업에 적용되고 있다. 이러한 기술들이 최근 빅데이터 기술에 대한 관심이 증가하면서 이미지(비디오) 데이터 분석에 적용하기 위한 연구들이 집중되고 있다. 이에 이에 이미지 마이닝을 위한 기존의 기술들의 연구 동향과 이러한 기술들을 활용하고 있는 산업 분야의 응용에 대한 동향을 조사 분석하고 향후 발전 방향에 대해 살펴보기로 한다.

1. 빅데이터 분야를 위한 이미지 마이닝
기술 동향 분석 및 산업 동향 고찰
경희대학교 컴퓨터공학과
이정헌
- 1 -

2. 개
요
최근 다양한 분야에서의 빅데이터 분석 시스템이 구축되어 활용되고 있으나,
대부분의 대상 데이터들이 텍스트 기반의 데이터를 한정하고 있다. 그러나, 현재
전 산업 분야에서 이미지(비디오) 데이터가 빅데이터의 핵심으로 부상하면서 이를
분석하기 위한 이미지 마이닝 기술에 대한 관심이 고조되고 있다. 이미지 마이닝
기술은 이미지 프로세싱 기술에 대한 연구가 시작된 시점 1960년대 이후인 1970
년대부터 연구되기 시작하였다. 이와 관련된 많은 연구들이 의학적인 분야와 국
방 분야에서 많이 연구되어 오다, 최근에는 마케팅 분야를 포함한 다양한 분야에
서 연구되어 오고 있으며, 일부 산업 분야에서는 상용기술이 개발되어 실제 산업
에 적용되고 있다. 이러한 기술들이 최근 빅데이터 기술에 대한 관심이 증가하면
서 이미지(비디오) 데이터 분석에 적용하기 위한 연구들이 집중되고 있다. 이에
이에 이미지 마이닝을 위한 기존의 기술들의 연구 동향과 이러한 기술들을 활용
하고 있는 산업 분야의 응용에 대한 동향을 조사 분석하고 향후 발전 방향에 대
해 살펴보기로 한다.
보고서는 다음과 같은 순서로 진행한다.
1. 이미지 마이닝 개요
- 이미지 마이닝이라는 단어가 최근에는 매우 포괄적으로 활용되고 있어 이미
지 마이닝이라는 단어의 정의부터 기본적인 개념을 조사하여 정리한다.
<그림 1> 빅데이터에서의 이미지 마이닝의 목적
- 2 -

3. 2. 이미지 마이닝 프레임워크
- 이미지 마이닝을 진행하기 위해서는 기본적인 프로세스가 존재하는데 이를
위한 기본 단계에 대해 조사 분석하여 소개한다.
<그림 2> 이미지 마이닝 기술이 적용되는 프로세스(예시)
3. 이미지 마이닝 기술 동향
- 이미지 마이닝를 연구해왔던 기술의 발전사와 현재에도 계속적으로 연구되고
있는 기술에 대한 동향을 조사 분석한다.
- 3 -

4. <그림 3> 이미지 마이닝을 위한 기초 기술
4. 이미지 마이닝 산업 동향
- 오랜 시간 이미지 마이닝에 대해 연구해 왔음에도 실제 산업에 적용되어 사
용되고 있는 기술은 그렇게 많지 않다. 그 이유와 실제 시장에서 적용되고
있는 산업분야에서의 적용 사례등을 조사 분석한다.
5. 참고문헌
- 보고서 작성에 사용된 참고문헌 리스트이다.
- 4 -

5. 목
차
1. 이미지 마이닝 개요 ... p.6
1.1 이미지 마이닝의 정의
1.2 데이터 마이닝으로써의 이미지 마이닝
1.3 이미지 마이닝의 중요성
2. 이미지 마이닝 프레임워크 ... p.21
2.1 이슈
2.2 관련 연구
3. 이미지 마이닝 기술 동향 ... p.29
3.1
3.2
3.3
3.4
3.5
프레임워크
기능 중심 이미지 마이닝 프레임워크 모델
정보 중심 이미지 마이닝 프레임워크 모델
지식 중심 이미지 마이닝 프레임워크 모델
자가-성장형 이미지 마이닝 프레임워크 모델
4. 이미지 마이닝 산업 동향 ... p.47
5. 참고문헌 ... p.52
- 5 -

6. 1. 이미지 마이닝 개요
1.1 이미지 마이닝의 정의
◦ Image mining involves basic two processes first is transformation of Image in to some
form of quantitative data; second is efficient method of data mining techniques applied on
the transformed data . The result of this process reveals useful information which we term
it as knowledge. Decision makers in every field like business, public sector, Medical etc. are
trying to get useful and implicit information from the already existing digital data
bases[1,2,3,4]. Image mining is the concept used to extract implicit and useful data from
images stored in the large data bases.[1]
◦ By definition, image mining deals with the extraction of image patterns from a large
collection of images. Clearly, image mining is different from low-level computer vision and
image processing techniques because the focus of image mining is in extraction of
patterns from large collection of images, whereas the focus of computer vision and image
processing techniques is in understanding and/or extracting specific features from a single
image. While there seems to be some overlaps between image mining and content-based
retrieval (both are dealing with large collection of images), image mining goes beyond the
problem of retrieving relevant images. In image mining, the goal is the discovery of image
patterns that are significant in a given collection of images.[2]
◦ Image mining deals with the extraction of image patterns from a large collection of
images. Clearly, image mining is different from low-level computer vision and image
processing techniques because the focus of image mining is in extraction of patterns from
large collection of images, whereas the focus of computer vision and image processing
techniques is in understanding and / or extracting specific features from a single image.
While there seems to be some overlaps between image mining and content-based retrieval
(both are dealing with large collection of images), image mining goes beyond the problem
of retrieving relevant images. In image mining, the goal is the discovery of image patterns
that are significant in a given collection of images.[03]
◦ Advancements in image acquirement and storage technology have led to implausible
growth in very large and detailed image databases.These image if analyzed, can expose
useful information to the human users. Image mining deals with the extracting inherent
and embedded knowledge, image data relationship, or other patterns which is not
explicitly found in the images. Image mining is an interdisciplinary challenge that draws
upon proficiency in computer vision, digital image processing, image extraction, data
mining, machine learning, databases and artificial intelligence.[04]
◦ 이미지 마이닝(image mining)은 많은 이미지들로 부터 주어진 이미지와 유사한 이미지를 추출
하는 것을 말하는 것으로, 내용기반 이미지 검색(content-based image retrieval)이라고도 한다.
이미지 마이닝 멀티미디어 정보의 축적과 이에 대한 활용요구가 커짐에 따라 많은 분야에서
이용될 수 있는 것으로서, 의료진단, 일기예보, 웹에서의 이미지 검색, 전자 상거래 등 많은 분
야에서 응용될 수 있는 기술이다.[05]
- 6 -

7. ◦ 비디오 마이닝(video mining)은 매장에 비디오 카메라를 설치해 놓고 방문객들의 행태를 분석
하여 구매에 연결하는 마케팅 기법. 비디오 카메라를 통해 고객들이 어떤 과정을 거쳐 물건을
구매하게 되는 지를 면밀히 모니터링해 이들의 성별, 나이에 따라 특성을 분석한다. 예를 들어
고객들이 상품을 고르고, 줄을 서서 기다리거나 주문하기 전에 메뉴판을 바라보는 시간 등을
계산해 마케팅에 필요한 수치들을 산출한다.[06]
◦ 이미지 마이닝(비디오 마이닝)은 이미지(비디오) 빅 데이터 안에서 의미있는 정보를 찾아내는
프로세스다. 이미지 마이닝은 초창기에는 이미지 검색(Image Retrieval)이나 의료 분야의 진단
을 위한 응용 기술로 사용되는 협의의 의미로 사용되어 오다, 빅 데이터 처리기술과 CCTV들이
일반화되고 다양한 영상처리 및 인식 기술들이 발전하면서 그 의미가 확장되어 다양한 분야에
서 광의의 의미로 사용되고 있다. 결론적으로, 이미지 마이닝은 영상처리 및 객체인식 기술을
이용하여 영상 내에 포함된 정보를 추출하여 메타데이터화 한 후 그 메타데이터를 수학적 분
석을 이용하여 메타데이터에 있는 패턴 및 트랜드를 찾아내는 프로세스라고 정의할 수 있다.
1.2 데이터 마이닝으로써의 이미지 마이닝
◦ 기본적인 데이터 마이닝은 큰 데이터 집합에서 동작 가능한 정보를 찾는 프로세스이다. 데이
터 마이닝에서는 수학적 분석을 사용하여 데이터에 있는 패턴 및 트랜드를 찾는다. 일반적으로
는 관계가 너무 복잡하거나 데이터가 너무 많아서 전통적인 데이터 탐색으로는 이러한 패턴을
찾을 수 없다. 이러한 패턴과 트랜드를 수집하여 데이터 마이닝 모델로 정의할 수 있다. 예를
들어 텍스트 마이닝 모델은 다음과 같은 특정 비즈니스 시나리오에 적용할 수 있다.
- 판매 예측
- 특정 고객을 대상으로 메일 발송
- 함께 판매될 가능성이 높은 제품 확인
- 고객이 쇼핑 카트에 제품을 추가하는 순서에서 시퀀스 찾기
◦ 이미지 마이닝은 텍스트 마이닝과는 달리 콘텐츠의 의미를 분석하기 위한 데이터를 얻어내는
것이 어렵다. 텍스트 마이닝의 경우 이미 수치화되어 있거나 파싱을 통해 얻어진 의미있는 단
어들을 추출하는 과정을 통하여 정보를 찾아내는 단계로 진행할 수 있지만, 이미지의 경우는
이 단계로 가기위한 수치화나 의미있는 단어들을 추출하는 과정 자체가 복잡하고 정확하지 않
다. 이 부분에 대해서는 다음 장에서 자세히 다루기로 하고, 여기서는 의미 분석을 위한 데이
터가 추출되었다는 가정 하에 다음 단계에 이루어지는 일반적인 마이닝의 단계들에 대해서 살
펴보기로 한다. 최근에는 비정형 데이터를 다루는 빅 데이터 기술이나 시스템들이 개발되어 사
용되고 있지만, 관계형 DBMS를 사용하는 기존의 텍스트 마이닝 시스템들의 절차는 아직까지
도 일반적으로 사용되는 마이닝의 프로세스이다.
◦ 마이닝 모델을 작성하는 것은 데이터에 대해 질문하고 이러한 질문에 답을 해 줄 모델을 만드
는 것부터 모델을 작업 환경에 배포하는 것에 이르기까지 모든 작업을 포함하는 대규모 프로
세스의 일부분이다. 이 프로세스는 다음 6가지 기본 단계로 정의될 수 있다.
① 문제 정의
② 데이터 준비
③ 데이터 탐색
- 7 -

8. ④ 모델 작성
⑤ 모델 탐색 및 유효성 검사
⑥ 모델 배포 및 업데이트
◦ 다음 다이어그램에서는 프로세스의 각 단계 간 관계와 각 단계를 수행하는 데 사용할 수 있는
프로세스를 볼 수 있다.
◦ 다이어그램에서는 프로세스가 순환되는 것처럼 보이지만 각 단계가 반드시 다음 단계로 직접
연결되는 것은 아니다. 데이터 마이닝 모델 생성은 동적이고 반복적인 프로세스이다. 데이터
탐색 후 적절한 마이닝 모델을 만들기에는 데이터가 불충분하여 보다 많은 데이터를 수집해야
한다는 사실을 발견할 수도 있고 여러 모델을 작성한 후에 모델이 정의한 문제를 해결하는 데
충분하지 않아 문제를 다시 정의해야 한다는 사실을 발견할 수도 있다. 또한 모델을 배포한 후
사용 가능한 추가 데이터가 발생하여 모델을 업데이트해야 할 수 있다. 좋은 모델을 만들기 위
해 프로세스의 각 단계를 여러 번 반복해야 할 수도 있다.
◦ 기존의 DBMS 시스템에서는 데이터 마이닝 모델 생성 및 작업을 위해 통합 환경을 제공하기
도 한다. 그러한 환경에서는 다양한 프로젝트에 대한 포괄적인 솔루션 작성을 용이하게 하는
데이터 마이닝 알고리즘 및 도구가 포함되어 있다. 하지만 이러한 데이터 마이닝 프로세스에서
이미지 마이닝은 다양한 데이터 탐색 과정이 복잡하고 다양하다는 점이 다르다고 할 수 있다.
여기에서는 텍스트화 되어 있는 데이터를 사용하므로 이 과정이 단순한다.
1.2.1 문제정의
◦ 데이터 마이닝 프로세스의 첫 번째 단계는 다음 다이어그램에 강조 표시된 바와 같이 비즈니
스 문제를 명확하게 정의하고 문제에 대한 답을 제공할 방법을 고려하는 것이다.
- 8 -

9. ◦ 이 단계에는 비즈니스 요구 사항 분석, 문제 영역 정의, 모델을 평가할 메트릭 정의 및 데이터
마이닝 프로젝트의 구체적 목표 정의가 포함된다. 이러한 태스크를 질문으로 바꾸면 다음과 같
다.
- 찾으려는 것이 무엇인가? 찾을 관계의 유형은 무엇인가?
- 해결할 문제가 비즈니스의 정책 또는 프로세스를 반영하나?
- 데이터 마이닝 모델을 사용하여 예측을 만들 것인가 아니면 주목할 만한 패턴 및 관계만 찾
을 것인가?
- 예측할 데이터 집합 특성은 무엇인가?
- 열 간의 관계가 어떻게 정의되어 있나? 테이블이 여러 개인 경우 테이블 간의 관계는 어떻
게 정의되어 있나?
- 데이터가 어떻게 배포되어 있나? 데이터가 주기적인가? 데이터가 비즈니스의 프로세스를 정
확하게 나타내고 있나?
◦ 이러한 질문에 답하려면 데이터 가용성 및 사용 가능한 데이터에 대한 비즈니스 사용자의 요
구 사항을 조사해야 할 수 있다. 데이터가 사용자의 요구 사항에 부합하지 않으면 프로젝트를
다시 정의해야 할 수 있다.
◦ 모델의 결과를 비즈니스 프로세스를 측정하는 데 사용되는 KPI(핵심 성과 지표)로 통합할 방법
을 고려해야 할 수도 있다. 이 부분에서 이미지 마이닝이 기존 텍스트 마이닝과 다른 부분은
이미지 마이닝에서 RDBMS에서 얻어질 수 있는 정보는 사전에 사용자가 입력한 태그 정보와
이미지 생성시에 이미지 안에 내장되는 태그 정보 정도임을 감안해야 한다는 점이다. 그래서
기존의 이미지 마이닝 시스템들은 정확히 얘기하자면 이미지 텍스트 마이닝인 셈이다. 이미지
분석 부분이 없이 사용자들이 입력한 텍스트 정보를 기초로 분석을 하는 셈인 것이다.
1.2.2 데이터 준비
◦ 데이터 마이닝 프로세스의 두 번째 단계는 다음 다이어그램에 강조 표시된 바와 같이 문제 정
의 단계에서 식별한 데이터를 통합하고 정리하는 것이다.
- 9 -

10. ◦ 데이터가 회사의 여러 부서에 흩어져 서로 다른 형식으로 저장되기도 하고 항목이 잘못되었거
나 항목이 누락되는 등 데이터가 불일치할 수도 있다. 예를 들어 제품이 시장에 공급되기도 전
에 고객이 제품을 구입했다거나 집에서 2,000마일이나 떨어진 매장에서 정기적으로 제품을 구
입한다고 데이터에 표시되어 있을 수 있다.
◦ 데이터 정리는 단지 잘못된 데이터를 제거하는 것만이 아니라 데이터의 숨겨진 상관관계를 찾
아내고, 가장 정확한 데이터 원본을 식별하고, 분석에 사용할 가장 적절한 열을 확인하는 것이
다. 예를 들어 운송 날짜나 주문 날짜를 사용해야 합니까? 수량, 총 가격 또는 할인 가격 중
판매에 가장 큰 영향을 주는 요인은 무엇입니까? 불완전한 데이터, 잘못된 데이터 및 개별적인
것으로 보이지만 실제로는 매우 밀접한 상관관계에 있는 입력은 모델의 결과에 예상치 않은
영향을 줄 수 있다. 따라서 마이닝 모델 작성을 시작하기 전에 이러한 문제를 파악하고 수정
방법을 확인해야 한다.
◦ 그러나 일반적으로 초대형 빅 데이터 집합으로 작업하는 경우 모든 트랜잭션을 살펴볼 수는
없다. 따라서 자동화 기능을 사용하여 데이터를 탐색하고 불일치하는 사항을 찾아내야 한다.
상용화된 도구로는 MS Integration Services와 같은 도구가 데이터 정리 및 통합을 자동화하는
변환을 비롯하여 이 단계를 완료하는 데 필요한 관련 도구를
지원한다.
◦ 데이터 마이닝에 사용하는 데이터를 OLAP(온라인 분석 처리) 큐브나 관계형 데이터베이스에
저장하지 않아도 이 두 가지를 모두 데이터 원본으로 사용할 수 있다. 분석 서비스 데이터 원
본으로 정의된 데이터의 원본을 사용하여 데이터 마이닝을 수행할 수 있다. 여기에는 텍스트
파일, Excel 통합 문서 또는 다른 외부 공급자의 데이터가 포함될 수 있다. 이미지 마이닝의 경
우 이미지를 분석하여 생성된 메타데이터 데이터들이 주로 사용하게 된다.
1.2.3 데이터 탐색
◦ 데이터 마이닝 프로세스의 3번째 단계는 다음 다이어그램에 강조 표시된 바와 같이 준비된 데
이터를 탐색하는 것이다.
- 10 -

11. ◦ 마이닝 모델을 만들 때 적절한 결정을 내리기 위해서는 데이터를 이해해야 한다. 탐색 기술에
는 최소값 및 최대값 계산, 평균 및 표준 편차 계산, 데이터 배포 검토 등이 포함된다. 예를 들
어 최대값, 최소값 및 평균 값을 검토하여 데이터가 고객 또는 비즈니스 프로세스를 대표하지
않는지 확인하고, 그러한 경우 보다 균형 있는 데이터를 가져오거나 예상의 기초가 된 가정을
검토해야 하는지 확인할 수 있다. 표준 편차 및 기타 분포 값은 결과의 안정성과 정확도에 대
한 유용한 정보를 제공할 수 있다. 표준 편차가 크면 다른 데이터를 추가하여 모델을 개선할
수 있다. 표준 분포에서 지나치게 벗어나는 데이터는 왜곡된 것일 수도 있고 실제 문제를 정확
히 나타낸 것일 수도 있지만 이러한 데이터가 있으면 데이터에 맞는 모델을 만들기가 어려워
진다.
◦ 비즈니스 문제를 정확히 이해하고 데이터를 탐색하면 데이터 집합에 결함이 있는 데이터가 있
는지 확인한 다음 문제를 해결할 수 있는 전략을 고안하거나 비즈니스의 일반적인 동작을 보
다 깊이 있게 이해할 수 있어야 한다.
◦ 데이터 원본 뷰 디자이너에는 데이터 탐색에 사용할 수 있는 여러 도구가 포함되어 있어야 한
다. 또한 모델을 만들면 분석 서비스에서 모델에 포함된 데이터의 통계 요약을 자동으로 만들
며 이를 쿼리하여 보고서 또는 추가 분석에 사용할 수 있어야 한다.
◦ 이미지 마이닝의 경우 입력된 데이터에서 추출된 메타데이터가 정확하게 추출되었는지 검정하
기 위한 부분이 만들어져 있어야 한다. 추출된 데이터가 영상분석 오류로 인하여 잘 못된 데이
터가 나오는 경우 이 이후의 프로세스는 모두 의미 없기 때문이다.
1.2.4 모델 작성
◦ 데이터 마이닝 프로세스의 4번째 단계는 다음 다이어그램에 강조 표시된 바와 같이 마이닝 모
델을 작성하는 것이다. 데이터 탐색 단계에서 얻은 정보를 사용하면 모델을 정의하고 만드는
데 도움이 된다.
- 11 -

12. ◦ 모델을 프로덕션 환경에 배포하기 전에 모델의 효율성을 테스트해야 한다. 또한 모델을 작성
할 때는 일반적으로 각기 다른 구성으로 여러 모델을 만들고 모든 모델을 테스트하여 어떤 모
델에서 문제 및 데이터에 대한 최상의 결과가 얻어지는지 확인한다.
◦ 분석 서비스에서는 동일한 데이터에 대한 모든 모델의 성능을 정확하게 평가할 수 있도록 데
이터를 학습 데이터 집합과 테스트 데이터 집합으로 분리하는 데 유용한 도구를 제공한다. 학
습 데이터 집합으로는 모델을 작성할 수 있고 테스트 데이터 집합으로는 예측 쿼리를 만들어
모델의 정확도를 테스트할 수 있다.
◦ 개발 도구에서는 데이터 마이닝 디자이너에 있는 뷰어를 사용하여 알고리즘이 검색한 트랜드
및 패턴을 탐색할 수 있어야 한다. 또한 리프트 차트 및 분류 행렬과 같은 디자이너의 도구를
사용하여 모델의 예측 정확도를 테스트할 수 있어야 한다. 모델이 데이터와 관련되어 있는지
또는 일반적인 모집단에 대해 유추하는 데 사용할 수 있는지 확인하려면 교차 유효성 검사라
는 통계 기법을 사용하여 데이터의 하위 집합을 자동으로 만들고 각 하위 집합에 대해 모델을
테스트할 수 있어야 한다.
◦ 모델 작성 단계에서 만든 모델의 효율성이 모두 떨어지는 경우 프로세스의 이전 단계로 돌아
가서 문제를 다시 정의하거나 원래 데이터 집합의 데이터를 다시 조사해야 할 수 있다.
1.2.5 모델 배포 및 업데이트
◦ 데이터 마이닝 프로세스의 마지막 단계는 다음 다이어그램에 강조 표시된 바와 같이 가장 효
율적인 모델을 프로덕션 환경에 배포하는 것입니다.
- 12 -

13. ◦ 프로덕션 환경에서 마이닝 모델을 배포한 다음에는 필요에 따라 다양한 태스크를 수행할 수
있어야 한다. 다음은 수행할 수 있는 일부 태스크의 예이다.
- 모델을 사용하여 예측 만들기. 이러한 예측을 사용하여 비즈니스상의 결정을 내릴 수 있다.
최근 상용화 도구들에서는 예측 쿼리를 만드는 데 사용할 수 있는 DMX 언어와 쿼리 작성에
도움이 되는 예측 쿼리 작성기를 제공한다.
- 내용 쿼리를 만들어 모델에서 통계, 규칙 또는 수식 검색 기능을 제공한다.
- 데이터 마이닝 기능을 응용 프로그램에 직접 포함한다. 마이닝 구조 및 마이닝 모델의 생성,
변경, 처리 및 삭제를 위해 응용 프로그램에서 사용할 수 있는 개체 집합이 들어 있는 분석
관리 객체를 포함할 수 있다. 또는 분석 서비스 인스턴스에 분석을 위한 XML 메시지를 직접
보낼 수도 있다.
- 통합 서비스를 사용하여 마이닝 모델을 통해 들어오는 데이터를 여러 테이블에 논리적으로
분리하는 패키지 만들어서 예를 들어 잠재적인 고객으로 데이터베이스를 계속 업데이트하는
경우 통합 서비스와 함께 마이닝 모델을 사용하여 들어오는 데이터를 제품을 구매할 가능성
이 높은 고객과 제품을 구매하지 않을 가능성이 높은 고객으로 분할할 수 있다.
- 사용자가 기존 마이닝 모델에 대해 직접 쿼리할 수 있는 보고서 만들 수 있다.
- 검토 및 분석 후 모델 업데이트가 가능하다. 업데이트 시 모델을 다시 처리해야 한다.
- 조직에 더 많은 데이터가 들어올 때 모델을 동적으로 업데이트 한다. 지속적인 변경을 통해
솔루션의 효율성을 높이는 것은 배포 전략의 일부가 되어야 한다.
1.3 이미지 마이닝의 중요성
◦ 스마트폰/스마트패드와 같은 모바일 기기의 성능향상과 고속 무선 네트워크의 보급 및 감성의
중요성으로 인해 이미지/동영상 콘텐츠의 생산 및 이용이 급증하고 있다. 최신 출시되고 있는
스마트폰은 800만~1300만 화소에 이르는 고해상도 화질과 다양한 촬영 기능을 갖추고 있어,
상시 휴대성을 바탕으로 한 이미지/동영상 촬영이 일상의 한 부분이 되고 있다. 특히 과거에는
파일을 각자의 기기에 저장해두고 감상하는 경우가 많았지만, 최근 클라우드 서비스와 다양한
소셜 미디어가 빠르게 이용자들을 끌어들이면서 콘텐츠의 이용행태 또한 변화하고 있다.
◦ 이와 더불어 일반 사용자가 생산하는 이미지 외에 의료분야에서 생산되고 있는 의료 영상의
경우도 빠른 속도로 증가하고 있음을 알 수 있다. Frost & Sullivan의 “미국의 기업용 의요 영
- 13 -

14. 상 아카이빙 시장 보고서”에 따르면, 미국의 의료영상진단 촬상 건수 침체에도 불구하고, 이미
지 데이터의 양은 계속 증가하고 있으며, 평균적으로 진찰에 소요되는 데이터의 양의 증가와
규제의 발전, 환자수의 증가, 의료 산업의 영상진단 의존도 상승 등에 의해 영상의 필요성이
증대되고 있다고 밝히고 있다. 더불어 실제 데이터 양에 대한 요구가 추가 스토리지 수요로 이
어지고 있으며, 백업 수요를 포함해 영상진단에도 빅 데이터의 필요성이 대두되고 있다고 보고
하고 있다.
◦ 이와 같이 이미지 데이터가 다양한 분야에서 폭발적으로 증가하면서 이러한 데이터를 이용하
여 데이터 속에 담겨있는 의미를 찾기 위한 빅 데이터 시스템에서의 이미지 마이닝에 대한 연
구가 다시 중요한 이슈로 떠오르고 있다. 기존의 이미지 마이닝의 경우 사용자의 입력에 의해
생성된 태그 데이터를 기반으로 한 분석에 한정되었으나, 의료 영상과 같은 경우는 영상 속에
포함되어 있는 병변 현상을 찾아주는 기술들이 필요하여 이를 위한 각 병변별로 활발한 연구
들이 진행되고 있다. 더불어, 일반 사용자들이 생산하는 이미지/동영상의 경우 사용자의 성향
및 다양한 비즈니스 영역에서 숨겨진 정보을 찾기 위한 노력의 일환으로 연구들이 진행되고
있다. 구글의 경우도 고글스라는 검색 서비스를 통해 이미지 검색엔진의 개발에 많은 투자를
하고 있으며, 프로젝트 글래스와 같은 새로운 웨어러블 디바이스가 개발되어 지면서 관련된 영
상분석 및 인식과 관련된 기업들을 인수하고 막대한 연구비를 투자하면서 시장을 선점하기 위
한 노력을 기울이고 있다.
- 14 -

15. <그림 1> 빅 데이터 활용을 위해 현재 수집 및 분석 중인 데이터 소스.
◦빅 데이터를 활용하는 기업들은 복잡한 데이터 속에서 패턴을 발견하기 위해 점점 더 고급 능
력을 원하게 된다. IBM 보고서에 의하면 빅 데이터를 활용중인 기업들이 핵심 비즈니스 프로
세스의 개선 방안을 파악하기 위하여 최적화 모델 및 고급 분석을 적용하고 있다. 또한 빅 데
이터 안에서 만나게 되는 수많은 변수들을 분석하기 위해 시뮬레이션 기능도 사용하고 있다.
조사 결과 빅 데이터를 활용 중인 기업들의 50% 정도는 이런 고급 모델링 기능을 사용하고
있는 것으로 밝혀졌다.[07]
◦ IBM 보고서에 따르면 현재 대부분의 기업들은 초기 빅 데이터 활용의 초점을 정형 데이터 분
석에 맞추고 있으나 빅 데이터 활용을 위해서는 많은 기업들이 아직까지 전혀 접해보지 못한
유형을 포함한 여러 가지 다양한 데이터 유형을 분석해야 할 필요가 있다고 보고한다. 빅 데이
터를 활용 중인 기업들 중 절반 이상이 콜 센터 상담과 같은 자연 상태의 텍스트를 분석할 수
있는 고급 기능을 이용하고 있다고 조사됐다. 이런 분석에는 속어나 대화자의 감정, 의도 같은
미묘한 언어 요소들을 해석하고 이해할 수 있는 능력이 필요하며, 지리공간적 위치 데이터나
음성, 비디오와 같은 비정형 데이터 혹은 스트리밍 데이터 등을 분석할 능력을 보유하기 위해
지속적인 노력을 기울이고 있다. 이런 분야의 하드웨어와 소프트웨어는 성숙 단계인 반면, 음
성이나 비디오처럼 극도의 비정형 데이터를 분석하기 위해 필요한 능력을 구비하고 있다고 대
답한 경우는 25%에도 미치지 못했다. 빅 데이터를 활용하기 위한 이런 고급 기술과 분석 기능
을 취득, 발전시키는 것은 빅 데이터를 활용 중인 기업들의 가장 큰 과제가 되고 있다. 고급
분석 기술의 부재야말로 빅 데이터에서 가치를 끌어내는 데 가장 큰 장애요인이기 때문이다.
이러한 이유들로 인하여 이미지 마이닝에 대한 중요성은 더욱 부각되고 있다.[07]
◦ 스마트폰의 일반화와 더불어 ‘스냅챗(Snapchat)’, ‘바인(Vine)’ 등 새로운 서비스가 출현하여 이
미지 데이터 관련 시장의 성장속도가 가속화되고 있으며, ICT 대기업들의 떠오르는 기업에 대
한 인수합병 역시 활발해지고 있다. 그 예로 페이스북은 작년 4월 온라인 사진공유 서비스인
‘인스타그램(Instagram)’을 10억 달러에 인수하여 새로운 성장동력으로 삼고 있다. CEO 교체 이
후 재건을 위해 공격적인 행보를 보이고 있는 야후는 지난 5월 이미지 큐레이션 서비스 ‘텀블
러(Tumblr)’를 11억 달러에 인수한 데 이어, 막강한 현금동원력을 바탕으로 OTT 동영상 서비스
인 ‘훌루(Hulu)’ 인수전에 뛰어들었다. 트위터는 6초짜리 동영상 공유 SNS로 빠르게 이용자를
확보하고 있는 ‘바인(Vine)’을 지난해 말 인수하여 앱스토어와 안드로이드 마켓에 앱을 출시했
다. 뿐만 아니라 페이스북의 경우 페이스북에 올라오는 사용자들의 사진에 자동으로 얼굴인식
기반의 태깅을 할 수 있게 하기 위해 페이스닷컴을 인수하여 시스템에 적용하였으며, 구글의
경우 CMU에 스핀업한 Pittpatt 기업을 인수하여 구글의 안드로이드와 구글 글래스와 같은 디
바이스에 얼굴인식 기술을 삽입하려는 노력들이 진행되고 있다.
- 15 -

16. <그림 2> 미국인의 소셜 미디어 이용 비율 비교 (2011년 vs 2012년)
◦ 이와 같이 시장을 이끌고 있는 기업들이 인수합병에 적극적인 것은 2011년 이후 이미지/동영
상 기반 서비스의 이용자가 급격히 증가하고 있기 때문이다. 작년에는 핀터레스트, 인스타그램,
텀블러 등 이미지 기반 서비스가 두각을 나타낸 데 이어, 최근에는 바인을 필두로 한 동영상
SNS가 빠르게 인기를 얻고 있다. 지난 1월 말 iOS를 통해 출시된 바인의 가입자수는 5개월만
에 1,300만명을 넘었고, 6월초에는 안드로이드 버전을 발표하며 인기몰이를 하고 있다. 6초짜
리 동영상을 기반으로 한 바인의 인기가 심상치 않자 인스타그램은 15초 동영상 기능을 급히
추가하며 견제에 나서기도 했다. 인스타그램의 모기업인 페이스북의 마크 주커버그는 새로운
기능을 소개하는 발표회장에 직접 나서서 “페이스북 모바일 전략에 인스타그램이 매우 중요한
부분을 차지하고 있다”고 강조했고, 야후의 CEO 마리사 마이어 역시 최근 공개석상에서 “향후
동영상 서비스로 전략의 중심축을 바꾸겠다.”는 의지를 천명하는 등 동영상이 모바일 이용 경
험의 중요한 트렌드로 자리잡고 있음을 확인할 수 있다.
◦ 이들과 더불어 최근 가장 주목받고 있는 서비스는 사진과 동영상을 공유하는 모바일 메신저인
‘스냅챗(Snapchat)’이다. 10대와 20대 초반을 중심으로 선풍적인 인기를 얻고 있는 이 앱의 특
징은 상대방이 보낸 이미지 또는 동영상이 지정된 시간(1~10초) 후 자동으로 삭제된다는 점이
다. 이는 영구적 기록을 근간으로 하는 디지털 미디어의 특성을 스스로 부정하는 역설적인 기
능이라고 할 수 있다. 디지털 기록에 대한 부담감을 느끼기 시작한 사람들에게 시스템적으로
안도감을 제공함으로써 더 많은 소통을 유발하고 있는 것이다. 2011년 2명의 스탠포드 학생에
의해 수업 과제로 제작된 이 간단한 메신저 앱은 애초 개발자조차 큰 확산을 기대하지 않았지
만, 개발자의 사촌동생이 다니던 캘리포니아 지역의 한 고등학교 학생들에게 인기를 끌기 시작
하며 널리 알려졌다. 작년 하반기 이후 엄청난 속도로 이용량이 증가하고 있으며, 최근에는 무
려 하루 2억 건에 달하는 이미지가 공유되고 있는 것으로 알려졌다. 스냅챗은 최근 8억 달러의
기업가치를 평가받으며 1억3500만 달러의 투자를 받기도 했는데, 이는 지난 2 월의 기업평가
액이 7천만 달러였었던 것에 비해 무려 10배 이상 급증한 금액이다.
- 16 -

17. <그림 3> 스냅챗 일일 이용량 추이 / 시간설정 화면
◦ 새로운 서비스의 부상으로 인해 소셜 미디어를 통한 이미지/동영상의 생산 및 이용량 증가 추
이에는 가속도가 붙고 있다. 저명한 IT산업 분석가인 메리 미커가 지난 5월 발표한 자료에 따
르면 4개의 주요 소셜 미디어를 통해 매일 5억 장 이상의 이미지가 공유되고 있고, 1분마다
100 시간 이상의 영상이 유튜브에 업로드되고 있다.
※ 출처 : KPCB (2013), ‘Internet Trends‘
<그림 4> 주요 소셜 미디어에서 공유되는 이미지 개수 (단위: 백만개/일)
- 17 -

18. ※ 출처 : KPCB (2013), ‘Internet Trends‘
<그림 5> 유튜브 1분당 업로드 영상 추이 (단위: 시간)
※ 출처: www.cisco.com
<그림 6> CCTV 발전형태
◦ 범죄 예방과 관련된 인식이 사회 전반적으로 높아지면서 범죄를 예방하는 목적으로 CCTV에
대한 관심이 높아지고 있다. CCTV의 효용에 대해서는 많은 사람들의 의견이 분분하지만 실제
로 지역에 설치된 CCTV의 숫자에 따라 범죄의 발생 빈도가 결정된다는 통계도 등장하고 있다.
경찰청이 지난 2010년 서울 지역에서 발생한 살인, 강도, 강간 등의 5대 범죄 13만 8766건 중
10만 913건이 서울 456개 동 중 133개 동에서 집중 되었으며 이러한 이유는 '방법시설의 부재
때문'이라고 밝혔다. 133개 동 지역에는 어린이 대상 범죄가 많이 일어나는 놀이터와 공원 등
에 설치된 CCTV가 서울 전체 1,614대의 8.49%에 해당하는 137대로 적게 분포되어 있다. 결국,
CCTV가 적게 설치된 지역에서 더욱 높은 빈도로 범죄가 발생되는 것으로 보인다. CCTV는 단
순히 범죄를 예방하는 것으로만 그치지 않고 있다. 실제로 발생한 범죄의 경우, CCTV에 촬영
- 18 -

19. 된 기록 영상을 기반으로 사건이 해결되는 경우도 자주 등장하고 있다. 하지만, CCTV의 경우
24시간 365일 촬영하고 있기 때문에 문제 발생시 문제를 해결하기 위해 많은 시간을 소요하고
있는 실정이다. 이러한 시간을 최소화하기 위한 방법을 이미지(비디오) 마이닝 기술에서 찾고
있다. 올해 초 발생한 보스터 마라톤 폭탄 테러의 경우에도 600대가 넘는 CCTV가 촬영한 수만
명의 사람을 추적하여 범인을 잡는데 3일이라는 짧은 시간 안에 가능했던 것도 이러한 이미지
마이닝 기술의 발전 때문이라고 볼 수 있다.
◦ 지금까지 살펴본 바와 같이, 고속 네트워크의 보급과 모바일기기의 성능 향상으로 인해 콘텐
츠의 생산 및 이용 패턴이 이전과는 달라지는 모습을 보이고 있다. 스마트폰은 콘텐츠 소비도
구일 뿐 만 아니라 생산도구로서도 기능하고 있으며, 이를 통해 수많은 콘텐츠의 즉각적인 생
산, 공유, 소비 패턴이 가속화되고 있다. 고품질 영상 콘텐츠에 대한 수요 또한 급격하게 증가
하며 기업들에게 새로운 사업기회를 제공하고 있다. 이를 위하여 구글, 애플, MS, IBM 등은 기
존의 텍스트 기반의 마이닝 기술을 넘어 이미지/동영상 콘텐츠를 대상으로 한 마이닝 기술 개
발을 활발히 진행 중에 있다.
1.3 이미지 마이닝의 특징
① 이미지 마이닝은 대용량의 이미지 자료를 다룬다
- 이미지 마이닝에 사용되는 이미지 자료는 통제되지 않은 상태에서 시간의 흐름에 따라 순차
적으로 축적되며, 자료 분석을 염두에 두지 않고 수집된 자료이다.
② 이미지 마이닝은 이론 보다는 실무위주의 컴퓨터 중심적인 방법이다.
- 기존의 이론에서 해결되지 않는 문제를 강력한 컴퓨터의 처리 속도와 능력을 활용하여 해결
해가는 방법을 채용한 것이 이미지 마이닝이다. 전문가들도 이미지에서 어떠한 유용한 정보
가 나올지 예측할 수 없기 때문에 자동화된 시스템을 통하여 패턴과 지식을 찾아내는 것이
다.
③ 이미지 마이닝은 경험적 방법에 근거하고 있다
- 대부분의 데이터 마이닝 기법들은 이론에 기초하여 개발되었다기보다는 경험에 기초하여 개
발되었다. 텍스트 데이터 조차도 그 특성이 수리적으로 밝혀지지 않는 것이 많은데 이미지
데이터를 대상으로 하는 이미지 마이닝 기법들은 더욱 더 경험적 지식이 필요하다.
④ 이미지 마이닝은 일반화된 결과를 도출하는데 초점을 두고 있다.
- 일반화는 만들어진 예측 모형이 새로운 자료에 얼마나 잘 적용되도록 하는 것인가를 의미한
다. 따라서 일반화는 이미지 마이닝 기법의 비정형성을 어느 정도 해결 또는 보완하여 주는
데 도움을 주고 있다.
⑤ 이미지 마이닝은 다양한 상황 하에서 의사결정 및 상황 판단을 하기 위해서 활용될 수 있다
- 이미지 마이닝 기법들은 통계학, 컴퓨터 과학, 인공지능, 인지공학과 같은 분야에서 개발된
기술을 이용하고 있다. 하지만 이를 활용하는 전문가들은 경영, 관리, 정보기술분야 등에서
실무를 담당하고 결정 및 판단을 해야하는 사람들이다.
⑥ 이미지 마이닝의 결과 도출에는 한번 이상의 전문가의 관여가 이루어진다.
- 이미지 데이터를 기반으로 한 이미지 마이닝의 경우 이미지 안에서 사용자가 원하는 정보가
맞는지를 확인하기 위해서는 도출된 내용에서 최소 한번 이상의 전문가의 판단과 지식 정보
- 19 -

20. 가 추가되어야 한다. 경우에 따라서는 결과물의 형태가 사용자의 시간을 줄여주기 위한 결과
물을 도출하는 경우도 있을 수 있다.
- 20 -

21. 2. 이미지 마이닝 기술동향
2.1 이슈
◦ 다음 그림은 일반적인 이미지 마이닝 프로세스를 나타낸다.
이미지 데이터베이스의 이미지의
품질을 개선하기 위하여 전처리를 한다. 이러한 이미지들로부터 중요한 특징 값을 생성하기 위
하여 다양한 종류의 변환과 특징 값 추출 알고리즘을 적용한다. 생성된 특징 값들은 이용하여
의미있는 패턴을 찾아내기 위한 데이터 마이닝 기법을 적용한다. 결과적으로 생성된 패턴들은
응용분야에 적용하기 위한 최종적인 지식을 얻기 위해 평가되어지고 해석되어 진다.[3]
<그림 7> 일반적인 이미지 마이닝 프로세스
◦ 이미지 마이닝에서 목적은 주어진 이미지 모음안에서 중요한 의미를 가진 이미지 패턴을 발견
하는 것이다. 이미지 마이닝의 가장 일반적인 오해는 이미지에 현존하는 데이터 마이닝의 알고
리즘을 적용하는 것이 의미가 없다는 것이다. 이것은 관계형 데이터베이스와 이미지 데이터베
이스 사이의 차이 때문에 생기는 것은 아니다.
ⓐ 절대적인 값과 상대적인 값의 차이
- 관계형 데이터베이스에 있어서 데이터 값은 의미론적으로 의미가 있다. 예를들어, 나이가 35
라는 수치는 의미론적으로 중요하고 바로 이용이 가능한 수치이다. 그러나, 이미지 데이터베
이스에 있어서 데이터의 값은 그것들은 지원하는 컨텍스트로써 중요한 의미를 가지지 않을
수 있기 때문에 그 자체로써 중요하기 않을 수 있다. 예를들어, 그레이스케일이 46인 픽셀과
그레이스케일이 87인 픽셀에 있어서 주변이 픽셀 값이 높게 있는 경우 수치값이 더 높은 87
인 픽셀이 더 어둡게 보일 수 있다.
ⓑ 공간정보로써 독립적인 위치와 의존적인 위치의 차이
- 관계형 데이터베이스와 이미지 데이터베이스의 또 다른 중요한 차이는 관계형 데이터베이스
- 21 -

22. 에는 요구되지 않는 이미지 안에 포함된 공간정보가 이미지 컨텐츠를 해석하는데 중요하다
는 것이다. 그 결과, 이미지로부터 유용한 패턴을 추출하기 전에 위치 독립적인 특징 값
(position-independent features)을 추출하여 이러한 문제를 극복하기 위한 노력이 시도되고
있다
ⓒ 단일 해석과 다중 해석의 차이
- 세 번째 중요한 차이는 같은 비주얼 패턴에 대해 다양한 해석을 할 수 있다는 이미지의 특
성 때문이다. 하나의 클래스 패턴으로 해석되어 연결되는 전통적인 데이터 마이닝 알고리즘
을 이미지 마이닝에는 적용할 수 없다. 패턴을 발견하는 탐색 알고리즘은 이미지로부터 유용
한 패턴을 발굴하기 위해 비슷한 기능을 가진 수없이 많은 관련된 알고리즘을 수행시켜 보
아애 하며 이들의 결과를 통해서 의미있는 패턴을 찾을 수 있게 된다. 또한, 의미있는 이미
지 패턴을 발견되면 사용자들에게 수치적으로 시각적으로 제시되어야 한다.
◦ 기존의 데이터 마이닝과 는 달리 이미지 마이닝에 있어서는 다음과 같은 이슈가 있다.
ⓐ 이미지 패턴의 표현(representation)
- 컨텍스트 정보, 공간 정보 그리고 중요한 이미지 특성들과 같은 이미지를 표현하기 위하여
어떠한 표현 체계로 표현할 것인가 ?
ⓑ 이미지 특징 값(features)의 선택(selection)
- 마이닝 프로세스 사용되기 위해 발견된 의미있는 패턴들을 표현하기 위한 선택하여야 하는
이미지 특징 값들은 무엇인가 ?
- 의미있는 패턴을 표현하기 위한 이미지 특징 값들이 어느 레벨(저수준, 중수준, 고수준, 의미
수준)에서 사용되는지, 한가지 레벨만을 사용하는지 다중 레벨의 정보를 사용하는가 ?
ⓒ 이미지 패턴의 시각화(visualization)
- 사용자에게 어떻게 마인드 패턴을 제시할 것인가 ?
- 이미지로부터 찾아낸 의미있는 정보가 수치적으로 제시되는 것인지 텍스트로 제시되는 것인
지, 아니면 어떠한 데이터 흐름으로 나타나는 것인가 ?
ⓓ 추출된 데이터의 정확도(accuracy)
- 수집된 이미지 데이터에서 추출된 특징 값들이 정확한 데이터인가 ?
- 다른 특징 값 추출 알고리즘 성능대비 현재 추출된 데이터의 정확도는 얼마인가 ?
2.2 관련 연구
◦ 이미지 마이닝은 기존의 이미지 검색(Image Retrieval)이라는 응용 분야의 개념에서 연구 개발
되어 왔다. 초기에는 이미지 마이닝에 사용된 영상처리 및 인식 기술들이 컴퓨터비젼과는 다른
영역에서 주로 이용되어졌으며, 컴퓨터비젼이 반도체 검사장비 및 군사용 기술 분야에서 연구
되어 졌다면, 이미지 마이닝은 의료분야 및 지리검색 분야에서 주로 연구되어 왔다. 최근에는
구글, 애플, , IBM, MS등과 같은 글로벌 기업들이 영상인식과 관련된 기업들을 인수하여 다양
한 서비스를 시도하면서 이러한 경계들이 허물어지면서 이미지 자체의 컨텍스트를 추출하기
위한 연구들이 진행되고 있으며, CCTV의 활성화로 인해 이미지에서 비디오 분야로 그 영역이
확장되고 있다.[26] 아래에서는 이미지 마이닝이라는 단어를 사용하는 의료분야에서의 이미지
검색에 관련된 연구분야에 대해서 서술하였다.
- 22 -

23. ◦ 이미지 마이닝 분야에서 초기에는 Optimum Clusters 기반 이미지 검색으로 불리는 기술이 유
사성 정보를 이용하여 이미지 검색 시스템과 사용자 상호 작용을 개선하기 위해 제안되었
다.[08] 이 기술은 주어진 쿼리(Query) 이미지와 유사한 이미지를 이미지 데이터베이스에서 찾
아주는 기술이다. 이미지를 검색하기 위한 방법으로 이미지를 이미지 자체가 아닌 일반적인 컬
러 색상 분포를 표현하는 특징 벡터로 표현되는 정보로 표현하여 이미지 데이터베이스의 인덱
스로 생성하였다.[09]
◦ 이러한 초기 연구의 이미지 검색에 있어서 전처리(Pre-processing) 단계에서는 통계적인 방법
을 기초로 단어로는 표현이 어렵지만 특징을 기술하기 위한 텍스쳐(texture) 특징을 추출하였
다. GLCM (Grey Level Co-occurrence Matrix)에서는 이미지로부터 2차 통계를 추출하는데 사
용된다. 엔트로피(entropy), 대조(contrast), 차이점(dissimilarity), 균질성(homogeneity), 표준 편
차(standard deviation), 평균(mean), 분산(variance)과 같은 다른 텍스쳐 파라미터들이 쿼리 이
미지와 타겟(target) 이미지 모두에서 계산되어 추출된다. 그런 다음 이미지 데이터베이스에 전
처리된 이미지는 MLE(Maximum Likelihood Estimation) 추천과 같은 몇 가지 요인(factor)에 기
초하여 저수준 텍스쳐(low-texture), 평균 텍스쳐(average-texture), 고수준 텍스쳐(high-texture)
로 분류된다. 분류된 이미지들은 쿼리 이미지와 타겟 이미지 모두에서 R,G,B의 평균값이 계산
되어 특징으로써 저장되고 고려되어진 컬러 특징(feature) 추출이 다루어지게 된다. 검색된 결
과는 Fuzzy-C means 기술에 의해 사전에 클러스터 된다. 쿼리 이미지와 타겟 이미지 양쪽에서
결과 값들이 Euclidean distance method에 의해 비교된다. 구현은 텍스쳐 특징과 RGB 컬러 공
간을 모두 사용하기 때문에 시간 공간(time space)에서 검색 시간을 줄일 수 있다. 이러한 방
법은 컬러 이미지에서 검색 시간을 줄이는데 효과적이며, 의료 전사(Medical transcription)에
주로 사용되었다.
◦ 의사결정 트리 유도(decision tree induction)는 인공지능(artificial intelligence), 머신러닝
(machine learning), 데이터 마이닝(data mining), 패턴인식(pattern recognition.)과 같은 다양한
도메인에서 잘 알려진 방법이다. 일반적인 이미지 마이닝 접근법은 픽셀-단위(pixel-wise)의 이
미지 특징들을 추출하고 그것을 적용하기 위한 의사결정 트리를 만들어서 사용하는 이미지 데
이터 세그멘트를 위한 의사결정 트리를 기반으로 하고 있다.[10] 픽셀-단위로 추출된 이미지
특징들은 데이터베이스 같은 테이블로 변환된다. 테이블안의 각 튜플(tuple)은 그것의 레이블을
따라 주어진 특징 값들로 구성된 특징 기술자(feature descriptor)를 가진다. 의사결정 트리 방
법은 픽셀의 속성과 그들의 타겟 레이블 사이의 관계를 발견하기 위한 데이터를 마이닝하는데
사용되고, 트레이닝 데이터 세트를 이용하여 이미지 처리를 위한 모델을 만든다. 이 모델은 이
미지 마이닝과 이미지 세그멘테이션에 대해서 매우 효율적이고 효과적인 방법을 제공한다. 그
것은 또한 새로운 이미지 처리 알고리즘을 개발하는데 사용되거나 기존의 알고리즘을 수정하
거나 효과적인 필터로써 동작된다. 오분류(misclassification) 비용은 애플리케이션이 다른 출력
(output) 클래스를 가지고 다른 가중치를 사용할 때 패널티(penalty)를 최소화하기 위해 의사결
정
트리의
트레이닝
과정에서
인위적으로
조정될
수
있다.
의사결정
트리의
제어력
(controllability)은 뉴럴 네트웍(neural network)과 같은 다른 알고리즘을 비해 매우 큰 장점이
다. 의사결정트리는 큰 변화없이 2D에서 3D 이미지 처리로 쉽게 확장할 수 있다. 그리고, 생성
된 모델은 매우 효과적이고 컴팩트한 코드를
생성할 수 있다.
◦ 단지 이 방법의 단점은 제안된 모델이 조정을 통해 특정 케이스를 위한 전문화될 필요가 있다
는 것이다. 의료분야에서 애플리케이션은 CT 뇌 스캔 이미지를 종양을 확인하기 위하여 사용
된다는 점을 고려하여야 한다.[11] NFARM(Novel Fuzzy Association Rule Mining) 방법은 CT
뇌 스캔 이미지로부터 추출된 특징을 포함하는 이미지 데이터베이스에 적용된다. 이 방법은 오
직 최근 마이닝 프로세스 동안 사용된 가장 적절한 특징 값들만 선택한다.[12][13] 게다가 이
- 23 -

24. 접근법은 하나의 특징 값이 선택되고 이산화(discretization)하는 하나의 단계에서 2개의 오퍼레
이션을 수행하도록 최적화되어 있다.[14] 이것은 마이닝 알고리즘을 더욱 빠르게 하고 분류
(Classification) 정확성을 개선한다. 전처리 기술에서 관심 영역인 ROI(Regions of Interest)가
추출되고 속성으로써 저장된다. 각 ROI안의 오브젝트 속성 값은 그것의 픽셀 값에 따라 다르
다. NFARM 알고리즘은 암 세포를 식별하기 위한 데이터 세트에 적용된다. 장점은 NFARM 알
고리즘이 기존의 퍼지 연역적 알고리즘(Fuzzy apriori algorithm)과 비교해서 향상된 효율성을
제공한다는 점이다. 퍼지 연역적 알고리즘은 수치적 분석(numerical analysis)을 잘 지원하지만
[15] 의료 이미지를 분류하는 데에는 덜 효율적이다.[16] 그것은 오직 그레이 스케일 픽셀를 포
함하는 CT 스캔 이미지에 적합한 알고리즘이다.
◦ 생체인식 시스템에서 사용되는 지문(fingerprint), 홍채(iris), 손 느낌 패턴(hand impression
pattern)에서 이미지들은 특징 벡터들로 표현된다.[17] 그 다음 후보 패턴들이 그들의 특징 벡
토들과의 거리를 비교함으로써 데이터베이스로부터 검색된다. 쉐이프(shape), 컬러(color), 텍스
쳐(texture)와 같은 비주얼 특징(feature)들이 이미지를 표현하고 차별화하기 위해서 추출된다.
특징 추출은 선택과 분류 업무에서 사용되는 특징들을 생성하기 위한 과정이다. 이미지를 구분
하기 위한 특징 추출에 있어서 수많은 특징 중 특징 선택은 분류 작업에 제공되는 특징 값들
을 줄이게 되며, 이것은 처리 속도 및 인식의 오류를 줄이는 역할을 한다. 식별(discrimination)
에 도움을 될 가능성이 있는 그러한 특징들은 선택되고 분류 작업에 사용된다.
◦ 전처리 단계에서 이미지는 컬러, 텍스쳐, 쉐이프(shape) 특징의 개념으로 데이터 세트로 표현
되고 변환된다. 컬러 특징은 컬러 히스토그램을 사용하여 추출되고, 텍스쳐 특징은 텍스쳐된
이미지와 비-텍스쳐된 이미지를 분류하기 위해 사용된다. 그 다음 보다 효과적으로 검색하기
위해서 컬러와 같은 다른 비주얼 속성과 결합된다. 텍스쳐 표현 방법은 구조(structural)와 통계
(statistical)라는 두가지 카테고리(categories)로 분류될 수 있다. 쉐이프는 중요한 비주얼 특징이
고 이미지 콘텐츠 설명을 위한 가장 기본적이고 원론적인 특징(primitive features) 중 하나이
다. 쉐이프 기술자(Shape descriptors)는 영역기반(region based)과 형상기반(contour-based) 방
법의 두가지 카테고리로 분류된다. 영역기반 방법은 쉐이프 기술자를 위한 오브젝트의 전체 영
역을 사용한다. 반면에 형상기반 방법은 오직 오브젝트의 윤곽을 표현하는 정보가 중요한 정보
이다.
◦ 가장 일반적으로 사용되는 분류자(classifier)는 Nearest Neighbor 분류자이다. 그것은 데이터베
이스에 저장된 이미지 특징 벡터와 비교의 대상으로 입력받은 프로토타입 이미지의 특징 벡터
를 비교한다. 그것은 프로토타입 이미지와 데이터베이스 사이에 상대적인 거리를 찾아서 얻게
된다. 이 시스템은 생체인식 시스템에서 홍채 패턴을 식별하는데 사용한다. 그럼 어떠한 분류
자를 선택하여야하고 해당되는 데이터베이스에 최적화된 분류 방식은 어떤 수식인지 어떻게
찾아낼 것인가 ? 그 방법중 하나가 개념 격자(concept lattice) 기반의 이미지 마이닝의 프레임
워크이다.[18]
※ 개념 격자(concept lattice)
- 수학적 개념계층모델을 기반으로 하는 데이터클러스터링 기법으로, 개념격자를 나타낸
Hasse Diagram에서는, 각 개념들과 이들 사이의 상하위관계가 링크에 의해 표시되며, 특히,
개념들 간의 링크에 의해 만들어지는 경로에 의해 상위개념으로부터 하위개념으로 속성들이
상속되며, 하위개념으로부터 상위개념으로 해당 객체들이 전파된다.
- 24 -

25. ◦ 주요 사용은 ① 클라우드(cloud) 개념은 언어적 개념의 양적(qualitative)과 질적(quantitative)
특성(characterization)의 수단을 제공한다. 이 방법은 부드러운 경계(soft boundaries)를 유지하
면서 해당 도메인에 있는 데이터의 분포를 반영할 수 있다. ② 하세(hasse) 다이어그램으로부터
연관 규칙(association rule)을 찾을 수 있고, 또한, 연관 규칙에서 찾는 개념 계층구조(concept
hierarchy)를 선택할 수 있다. 개념 격자는 Wille R.에 의해 제안되었다.[19] 그것은 수학 공식
언어(mathematical formal language)를 가지고 인간(human)의 개념 형성(formation) 프로세스
를 반영한다. 이진 관계(binary relationship)에 따라 개념 격자는 개념의 내포와 확장(
intension and extension)의 단일화(unification)를 포함하며, 개념상에서 일반화(generalization)
와 특성화(characterization) 사이의 관계, 오브젝트(objects)와 특성(characteristics) 사이의 관계
를 반영한다. 하세(Hasse) 그래프에 따라 개념 격자는 데이터 개념의 계층구조의 시각화
(visualization)를 구현될 수 있고, 이미지 데이터로부터 잠재적인 개념을 찾는데 적합하다.[19]
◦ 클라우드 모델은 질적 개념과 그들의 정량적인 표현(quantitative expressions) 사이의 변환하
는데 효과적인 도구이다. 클라우드 모델은 연관규칙 마이닝 분야에서 지원(support), 자신감
(confidence), 관계(relationship)를 계산하기 위해 사용된다. 개념 격자의 하세 다이어그램은 컨
텍스트의 개념 계층구조를 보여준다. 이미지 텍스쳐 특징의 연관규칙 마이닝 알고리즘은 다음
과 같이 설명되어 있다. ① 이미지를 읽어들이고 그것을 전처리 한다. ② 전처리된 이미지로부
터 개념 시리즈를 추출하기 위해 클라우드 모델을 사용한다. ③ 트랜잭션(transaction) 데이터베
이스 D를 생성한다. ④ 소스 데이터 세트로써의 D를 선택하여 개념 격자 C를 구축하고 하세
그래프를 그린다. ⑤ 개념 격자 C에 따라 텍스쳐 특징의 연관 규칙을 생성한다. ⑥ 텍스쳐 특
징에 대한 지식으로써 몇 가지 규칙을 선택한다.
◦ 텍스쳐 특징 데이터 마이닝의 방법은 다음에 나오는 컬러 특징 데이터 마이닝, 쉐이프 특징
데이터 마이닝, 공간 관계 특징 마이닝 방법과 유사하고 개념 격자 및 클라우드 모델은 형식
개념 분석을 위한 도구를 제공한다. 알고리즘의 장점은 클라우드 개념은 언어적인 개념의 질적
이고 양적인 특성 모두의 도구를 제공한다는 것이다. 하세 다이어그램은 연관 규칙을 발견한
다.
◦ RGB 컴포넌트를 기반으로 컬러이미지에서 특징별로 모인 클러스터된 공간 이미지들을 찾는
시간을 줄이기 위하여 클러스터로부터 이미지 검색이라고 불리는 기술이 소개되었다.[21] 텍스
쳐 특징을 기반으로 하고 있는 관련 클러스터로부터 주어진 쿼리 이미지가 검색된다. 전처리
단계에서 평균과 미디언 필터를 사용하여 이미지 안에 있는 노이즈는 제거된다. 이미지들은
RGB 컴포넌트를 기반으로 클러스터 된다. 클러스터를 구성하기 위한 각각의 그룹안의 이미지
들의 Red, Blue, Green 컴포넌트의 평균값을 계산한다. 쿼리 이미지가 주어질 때 마다 RGB 컴
포넌트들의 평균값을 계산한다. 그런 다음 저장된 값들과 이 값을 비교한다. 텍스쳐 특징을 기
반으로 한 관련된 클러스터로부터 주어진 쿼리 이미지를 검색한다.
◦ 텍스쳐는 이미지의 에너지 컨텍스트를 표현할 수 있다. 텍스쳐의 특징 값으로 쉐이프 아웃라
인(shape outline)을 사용하여 에너지 컨텍스트를 표현하는 방법이 실시되었다.[22] 쉐이프 아
웃라인 자료는 정규화(normalization)와 입력을 위한 새로운 자료 세트를 생성하기 위하여 고유
벡터(eigenvector) 기반의 방법을 사용한 차원 축소 과정(dimensionality reduction process)을
진행하여 읽어 들인다. 이러한 전처리 과정 이후 데이터는 그들의 쉐이프들을 통해 그룹화 된
다.
◦ 통계 분석을 사용하여 이러한 피크(peak) 수치와 함께 입력 자료는 강력한 분류와 인식과정이
수행된다. 전처리 과정 이후로 이미지 쉐이프 아웃라인 기법은 쉐이프 아웃라인을 시작하기 위
- 25 -

26. 한 초기 포인트(initial point)를 찾기 위한 자동화된 방법으로 사용된다. 아웃라인 입력 자료는
정규화와 차원 축소를 포함하는 변환 과정을 통하여 진행된다. 변환은 패턴 인식 알고리즘과
이미지 마이닝 처리 과정의 계산상의 부하를 줄일 수 있는 고유벡터를 사용한다. 그 다음 데이
터는 쉐이프를 분류화(categorization)하기 위한 과정인 다음 단계로 이동한다. 장점은 검색 시
간 공간을 줄이고 간단히 구현할 수 있다는 것이다. 단점은 RGB를 사용하는 클러스터링인 첫
번째 단계에서 오직 컬러 이미지에만 적용할 수 있다는 것이다. 이미지 안에서 배경을 가지지
않은 오브젝트는 쉐이프 아웃라이너 알고리즘(shape outliner algorithm)을 사용하여 식별할 수
있다.[22] 그 알고리즘은 이미지 안에서 복잡한 모양의 오브젝트를 간단히 식별하고 분류할 수
있다. 알고리즘의 단점은 오직 배경이 없는 이미지에서만 동작한다는 것이다. 그래서, 겹쳐진
이미지들에는 적용할 수 없다는 문제를 갖고 있다.
◦ 이미지 데이터안의 공간적 컨텍스트 정보(spatial contextual information)를 위해 퍼지 클러스
터링 알고리즘(Fuzzy clustering algorithm)이 소개되었다.[23] 자율 클러스터링(Unsupervised
Clustering)에서 특징 공간 정보(feature space information)와 공간적 컨텍스트 정보를 사용하
여 이미지 데이터의 분류가 수행된다. 알고리즘은 3x3 윈도우 안의 중앙 픽셀의 이웃 픽셀들의
영향을 미치는 유사성 인텍스(dissimilarity index)를 사용한다. 윈도우가 비균일 지역에 있는 경
우 중앙의 픽셀에 이웃 픽셀의 영향력이 억제된다. 뿐 만 아니라 중앙 픽셀은 멤버쉽 값과 클
러스터의 중심을 계산하는 동안 그 주변의 이웃 픽셀에 의해 스무드(smooth)된다. 두 클러스트
의 중복영역의 분류 모호성을 해결한다. 그 둘 클러스트의 영역이 매우 많은 중복이 있는 경우
클러스트들은 병합된다. 인위적 이미지와 실제 이미지의 실험 결과는 제안된 알고리즘이 노이
즈에 강하고, 분류 모호성을 보다 잘 해결하고 기존의 퍼지 C-Means 알고리즘에 보다 다른 클
러스터 쉐이프와 크기를 대체한다는 것을 나타낸다. 원격 센서드 이미지(remotely sensed
imagery)의 양과 해상도가 증가함에 따라 자동화된 처리 및 분류 시스템의 개발이 필요해 졌
다.[24]
◦ 베이지안 프레임워크는 고해상도 이미지를 분류하기 위한 공간 정보를 사용한다.[24] 첫째, 각
픽셀에 대한 스펙트럼(spectral)과 텍스쳐 특징이 추출되고 양자화된다. 그 다음 이산화 비모수
밀도 모델(nonparametric density models)을 가진 일련의 베이지안 분류기를 트레이닝한다. 반
복적인 분할 및 병합 알고리즘(iterative split-and-merge algorithm)이 연속된 영역 안에서 픽
셀 레벨 분류를 매핑하는데 사용된다. 그 다음 결과 영역은 그들의 스펙트럼, 텍스쳐, 쉐이프
특성의 통계적 요약을 사용하여 모델링되고, 마지막 분류 맵을 계산하기 위하여 베이시안 분류
기(Bayesian classifier)를 사용한다. 3가지 기반 진실(ground truth) 데이터 세트를 가진 실험은
지역 기반의 공간정보를 강력히 사용하지 않는 전통적인 기술을 넘어서는 제안된 접근방법의
효과를 보여준다. 제안된 영역 레벨 특징과 베이시안 분류기는 전통적인 픽셀 레벨 분류 기술
보다 더 좋은 성능을 수행했다. 수치적인 결과가 이미 상당히 인상적임에도 불구하고, 특징의
차별적인 서브세트(subset)의 선택과 보다 좋은 영역의 세그멘테이션이 얻어진다. 공유 구조
(shared structures)는 오브젝트 클래스에서 반복적으로 발생하는 특징의 일관성(coherence)과
응집성(consistence)을 포함한다.[25] 그것들은 레이블된 이미지 안에 포함된 다양한 오브젝트를
분리하기 위한 차별 정보로써 사용할 수 있다. 그 방법[25]은 산란하게 흩어져있는 오브젝트들
로부터 원본 오브젝트를 분리할 수 있다. 가능성을 극대화하는 단계는 고차원 구조 안에서 공
유구조 학습( shared structure learning), 특징 추출(feature extraction), 클러스터링(clustering),
일관성있는
쌍의
관계
탐구(exploring), 쌍
관계의
결합(combining) 등이
있으며, HOG
(Histogram of Oriented Gradient) 기술자는 다중 스케일의 이미지 특징들을 추출하는데 사용
된다. HOG 기술자는 이미지 안에서 명암 기울기(intensity
gradient)와 에지 방향(edge
direction)의 분포를 사용하여 지역 오브젝트 모양(appearance)과 형태(shape)을 설명한다. 마지
막으로 Caltech 데이터 세트의 정량적인 결과를 제공한다. 같은 클래스에 해당되는 공유 구조
- 26 -

27. 를 결합하는 경우, 오브젝트 위치나 오브젝트 분류는 좀 더 정확해진다. 그리고, 에지와 같은
좀
더
기초적인
특징들은
배경의
혼란(background
clutter)과
쉐이프의
모호성(shape
ambiguity)을 좀 더 개선한다.
◦ 이와 같은 연구들이 지금까지는 의료분야 및 위성영상분야와 같은 비슷한 이미지를 찾아내는
분야를 중심으로 주로 진행되어온 관련 연구들이다. 하지만 최근 고해상도의 카메라가 다양한
분야에서 일반화되고 NUI/NUX 기술 시장 빠르게 성장하면서 아래 그림과 같이 기존의 단순한
영상 매칭기반의 검색에서 컨텍스트 기반의 특징 추출 기술에 대한 연구 개발이 박차를 가하
고 있다.[27] 뿐만 아니라 단일 이미지에 대한 인식뿐만이 아니라 CCTV를 대상으로 하는 사람
의 행동기반 인지를 위한 비디오 마이닝 처리에 대한 연구들이 아래 그림과 같이 개발되면서
핵심 비디오 처리 기술로 부상하고 있다.[28] 현재까지는 빅데이터 기술들이 주로 수치화나 텍
스트화 되어있는 자료들을 대상으로 진행되어 왔으나, 최근에는 이미지를 분석하여 컨텍스트를
텍스트화하여 적용하기 위한 연구들로 발전하고 있다. 그러므로 컨텍스트 추출을 위한 이미지
분석 기술이 더욱 중요한 원천기술로 인지되고 있다.
<그림 8> VOC 2012에서 연구되고 있는 컨텍스트 추출을 위한 오브젝트 인식과 액션 인식 성능
- 27 -

28. <그림 9> 보스턴 마라톤 테러사건에 적용됐던 CCTV Video Synopsis기술의 개념도
- 28 -

29. 3. 이미지 마이닝 프레임워크
3.1 프레임워크
◦ 이미지 마이닝에 있어서 프레임워크는 기존의 데이터 마이닝 프레임워크와는 이미지의 특성에
맞는 새로운 프레임워크에 대한 연구들이 진행되었다. 2장에서 전술한 바와 같이 이미지 데이
터베이스에 있는 원시 이미지 데이터는 마이닝을 위한 원시 데이터로 바로 사용할 수 없다. 그
러므로 기존의 텍스트 데이터를 기반으로 한 데이터 마이닝 프레임워크에는 없는 원시 이미지
데이터로부터 고수준 마이닝 모듈에 사용할 수 있는 형태의 정보를 추출하는 기능이 추가되어
야 한다. 뿐만 아니라 마이닝에서 사용할 수 있는 형태의 정보를 이미지 데이터로부터 추출하
기 위해서는 이미지의 종류와 촬영 장소, 촬영 대상등에 따라 매우 다양한 알고리즘이 적용되
어야 하고, 경우에 따라서는 전혀 다른 종류의 알고리즘을 새로 개발하여 사용해야하는 매우
복잡한 과정이 필요하다. 그리고, 동일한 이미지에 어떠한 알고리즘이 적용되는가에 따라 전혀
다른 정보를 만들어내는 다중 해석이 가능한 특징으로 인해 이미지 마이닝은 현재까지도 매우
제한된 일부 영역에서만 사용되고 있는 것이다. 최근 빅 데이터 처리기술 및 시스템들이 IBM,
오라클, EMC등의 글로벌 기업으로부터 상용화되어 나오고 다양한 연구소에서 실제 응용분야에
적용하려고 시도하고 있지만 아직까지도 이미지(비디오)분야에서는 초보적인 수준에 머물고 있
다.
◦ 이미지 마이닝에서는 이미지 안에 포함되어 있는 의미있는 컨텍스트를 추출하기 위하여 다음
과 같은 일반적인 4단계의 프로세스를 적용하여 왔다.[3] 하지만, 최근에는 보다 복잡하고 다양
한 단계들이 만들어져 사용되고 있다.
① 특징 값 추출(feature extraction)
- 덩어리(blob)과 같은 영역을 설명할 수 있도록 이미지를 영역분할한다. 하나의 덩어리가 하
나의 객체로 표현될 수 있다면 이상적이다. 이 단계를 세그멘테이션(segmentation)이라 부른
다.
② 객체 식별 및 기록 생성(object identification and record creation)
- 하나의 이미지 안에 있는 객체와 다른 모든 이미지안에 있는 객체들을 비교한다. 각각의 객
체들은 ID를 가지고 레이블되어 있다. 이 단계를 전처리 알고리즘(preprocessing algorithm)
이라고 부른다.
③ 보조 이미지 생성(create auxiliary images)
- 다음 단계로부터 얻어진 연관 규칙(associate rules)을 해석할 수 있는 식별된 객체들을 가진
이미지를 생성한다.
④ 데이터 마이닝 알고리즘 적용(apply data mining algorithm)
- 객체 연관 규칙을 생성하기 위한 데이터 마이닝 알고리즘을 적용한다.
◦ 위와 같은 4단계 프로세스는 특정 분야(예로 날씨관련 위성 이미지)에 속하는 이미지를 선택
하고, 선택단계에서 각각의 이미지로부터 객체를 추출하고 그 객체들과 함께 이미지를 트랜잭
션(transaction) 데이터베이스에 인덱싱(indexing)한다. 그 데이터베이스 안에는 이미지의 식별과
그것의 특징 값들을 가진 각 이미지에 속한 객체들을 포함한다. 모든 이미지와 그것의 특징 값
들이 포함된
트랜잭션 데이터베이스가 생성된 이후 객체들 사이의 연관 규칙(associate rules)
- 29 -

30. 을 위해 제안된 데이터 마이닝 방법이 적용된다. 그리고 이러한 것은 예측을 하는데 도움을 준
다. 예를들어, 위성연상 이미지 안에 포함된 검은 구름의 객체가 있다면 그 양을 보고 비가 내
릴 확률을 계산하는 것이다. 예를들어 비가 내릴 확률은 65% 다 라는 식이 된다.
<그림 10> 일반적인 이미지 마이닝 방법의 블록 다이어그램
◦ 이미지 마이닝이 다양한 분야에 적용되어 사용되기 위해서는 이미지로부터 의미있는 컨텍스트
정보를 추출하는 알고리즘을 개발하는 개발자와 이미지를 이용하여 실제 응용분야에서 시스템
을 적용하는 사용자들이 쉽게 접근하고 수정할 수 있는 융통성이 있는 프레임워크가 필요하다.
이러한 프레임워크에는 일반적으로 다음과 같은 기능을 포함한다. 이미지 저장(image storage),
이미지 처리(image processing), 특징 값 추출(feature extraction), 이미지 인덱싱과 검색(image
indexing and retrieval), 패턴과 지식 발굴(patterns and knowledge discovery) 등이다. 현재까
지의 일반적인 이미지 마이닝 프레임워크는 다음과 같은 3가지 형태로 개발되어왔다.[3] 다음
절에서 각각의 모델들에 대해 살펴보기로 한다. 그리고, 끝으로 최근 소프트웨어 기술의 발전
과 더불어 이미지의 특성을 고려한 자가-성장형 이미지 마이닝 프레임워크 모델(Self-Growing
Image Mining Framework Model)에 대해서 설명하기 한다.
ⓐ Function-Driven Image Mining Framework Model
ⓑ Information Driven Image Mining Framework Model
ⓒ Knowledge Driven Image Mining Framework Model
3.2 기능 중심 이미지 마이닝 프레임워크 모델 (Function-Driven
Image Mining Framework Model)
◦ 기능 중심 이미지 마이닝 프레임워크 모델은 일반적으로 서로 다른 기능을 가진 모듈에 의해
- 30 -

31. 구성되어 있다. 두 개의 모듈로 기능 모듈을 분할한다.
① 데이터 획득, 전처리와 저장 모듈 : 주로 이미지 픽업, 원본 이미지 저장 및 검색을 위해 사
용된다.[2]
② 이미지 마이닝 모듈 : 마이닝 이미지 모델과 의미를 위해 사용된다. 이 시스템에는 4개의
모듈이 포함되어 있다.
- image data acquisition : 멀티미디어 데이터베이스로부터 이미지를 얻어온다.
- preprocessor : 이미지 특징(character)를 얻어온다.[29]
- search engine : 매칭 요구에 대해 이미지 특징을 사용한다.
- knowledge discovery module : 이미지를 마이닝한다.
<그림 11> 기능 중심 이미지 마이닝 프레임워크 모델
◦ 이러한 기능 중심 이미지 마이닝 프레임워크 모델을 사용한 시스템이 다이아몬드 아이
(Diamond Eye)이다[30]. 다이아몬드 아이는 과학자들이 대량의 이미지 모음에서 관심있는 객체
를 찾아내어 카탈로깅하는 이미지 마이밍 시스템이다. 이 시스템은 과학자들과 원격 시스템이
다양한 각도의 선험적 지식(priori knowledge)을 기반으로 대량으로 발생하는 과학적인 데이터
세트와 실시간 이미지 스트림안에서 화산과 분화구와 같은 공간적인 객체들과 폭발과 위성의
움직임과 같은 동적인 이벤트들을 찾고 분석하고, 카탈로깅하기 위해 데이터 마이닝과 머신러
닝(machine learning) 기법을 채용하였다. 다이아몬드 아이 시스템의 아키텍쳐는 모듈의 기능을
기반으로 개발되었다.
3.3 정보 중심 이미지 마이닝 프레임워크 모델 (Information Driven
- 31 -

32. Image Mining Framework Model)
◦ 기능 중심 이미지 마이닝 프레임워크가 이미지 마이닝을 수행하기 위해 다른 역할과 임무
(task)를 명확히 하고 구성하는 것을 목적으로 서비스하는 동안, 의미있는 마이닝을 수행하기
전에 이미지 데이터에 필요한 정보 표현의 다른 레벨을 강조하는데 실패하였다. Zhang et. al.
은 다음그림과 같이 표현의 다양한 수준에서 정보의 역할을 강조할 수 있는 목적을 가진 정보
중심 이미지 마이닝 프레임워크 모델을 제안하였다. 이 프레임워크는 아래에 주어진 정보를 4
가지 정보 레벨로 구분한다. 이 모델은 4개의 계층에서 마크와 이미지 데이터의 다양한 배열의
기술 체계를 구현한 다른 이미지 배열에서의 다른 역할을 강조한다.[31]
◦ 정보 중심 이미지 마이닝 프레임워크 모델에서 4가지 정보 레벨은 다음과 같다.
① 픽셀 레벨 (Pixel Level)
- 픽셀 레벨은 이미지 마이닝 시스템에서 가장 낮은 계층이다. 이미지 픽셀들과 컬러, 텍스쳐,
에지 정보와 같은 프리미티브(primitive) 이미지 특징 값으로 구성되어 있다.[29]
② 객체 레벨 (Object Level)
- 객체 레벨은 이미지 안의 객체들과 균일한(homogeneous) 영역 도메인 특화된 특징 값을 식
별하기 위한 것이 초점이다. 객체인식 모듈은 4개의 컴포넌트로 구성되어 있다. 4가지 컴포
넌트는 모델 데이터베이스(model database), 특징 값 검출기(feature detector), 가설 설정자
(hypothesizer), 가설 확인자(hypothesis verifier)이다.
- 모델 데이터베이스는 시스템에서 알 수 있는 모든 모델을 포함한다. 그 모델들은 객체들을
기술하기 위한 중요한 특징 값을 포함한다. 픽셀 레벨에서 검출된 이미지 프리미티브 특징
값은 이미지 안의 객체일 것 같다는 가능성을 할당하는 가설 설정자를 돕기 위해 사용된다.
가설 확인자는 가설을 확인하고 객체 가능성을 세분화하기 위해 모델을 사용한다. 이 시스템
은 결론적으로 올바른 객체로 가장 높은 가능성을 가진 객체를 선택한다.
- 객체 인식의 정확도를 개선하기 위해서, 이미지 세그멘테이션은 랜덤하게 이미지를 세그멘테
이션하는 것보다 부분적으로 인식된 이미지 객체에 대해 수행된다. 그 기술은 이미지들 안에
서 특정하게 알려진 객체가 위치하고 있는 “특성 맵(characteristic maps)”을 포함하고, 기계
학습 기술은 자동으로 인식자(recognizer)를 생성한다. 그리고, 이미지 안에서 일반적인 객체
를 찾기 위해 도메인 전문가에 의해 이미 레이블된 예제 세트를 사용한다.
- 이미지 안에서 객체를 정확하게 식별할 수 있게 되면, 객체 레벨은 “라운드 테이블의 이미지
를 검색”하고 “파란 하늘에 날고 있는 새의 이미지를 검색”과 같은 질의를 처리할 수 있게
된다. 그러나, “졸업식과 관련된 모든 이미지를 검색”이나 “슬픈 분위기를 묘사라는 모든 이
미지를 검색”과 같은 질의에는 답을 할 수 없다.
③ 의미론적 개념 레벨 (Semantic Concept Level)
- 객체가 하나의 이미지 안에서 기본적인 구성 요소이지만, 객체 레벨과 의미론적 개념 레벨사
이에는 의미론적 차이가 있다. 행복, 슬픔, 장면 정보와 같은 추상적인 개념은 객체 레벨에서
캡쳐되지 않는다. 이러한 정보는 장면이나 추상적인 개념을 기술할 수 있는 사용가능한 패턴
- 32 -

33. 을 발견하기 위한 패턴 검색 기술로써 도메인 지식을 요구한다.
- 일반적인 패턴 검색 기술은 영상 분류(image classification), 이미지 클러스터링(image
clustering), 연관 규칙 마이닝(association rule mining)을 포함한다. 의미론적 개념 레벨에서
의미에 대한 고수준 추론과 묘사된 객체와 장면의 목적을 포함하는 질의에 응답할 수 있다.
따라서, “풋볼(football) 경기의 이미지를 검색”나 “행복을 묘사한 이미지를 검색”과 같은 질의
에 응답할 수 있다. 주의 깊은 분석은 이미지에 대한 외부의 도메인 지식으로 누락된 정보에
중요한 조각이 여전히 있다는 것을 알 수 있다. “1달 안에 실명 가능성이 높은 의료 이미지
를 모두 검색”과 같은 질의의 경우 1달 안에 실명 가능성의 의학적인 지식을 가진 의료 이
미지의 연결이 요구된다. 픽셀 레벨, 객체 레벨과 의리론적 개념 레벨도 그러한 질의를 지원
할 수 없다.
④ 패턴과 지식 레벨 (Pattern and Knowledge Level)
- 이 레벨에서는 이미지로부터 유도된 정보뿐 만이 아니라 도메인 관련된 알파뉴메릭
(alphanumeric) 데이터도 관련되어 있다. 여기서 중요한 이슈는 이미지 데이터베이스와 알파
뉴메릭 데이터베이스로부터 발견된 지식의 통합(integration)이다. 포괄적인(comprehensive)
이미지 마이닝 시스템은 대량의 이미지 모음으로부터 유용한 패턴를 추출하는 것뿐만 아니
라 추가 패턴에 대해 알파뉴메릭 데이터와 결과를 통합할 수 있다. 예를 들어, 고차원(high
dimensional) 의료정보 안에서 초기 심장 잘환을 진단하기 위해 제안할 수 있는 규칙을 찾아
내기 위해 심장 관류(heart perfusion) 이미지와 연관된 임상(clinical) 데이터를 결합하는데 사
용된다.
- IRIS(Integrated Retinal Information System)는 당뇨망막병증(diabetic retinopathy)에서 관심
있는 패턴과 트랜드를 발견하기 위해 환자 데이터와 그들에 해당되는 망막 이미지를 통합할
수 있도록 설계되었다.
- 두뇌 이미지(BRAin-Image) 데이터베이스는 인간 뇌의 구조와 기능 사이에 연관규칙을 발견
하기 위해 개발된 또 다른 이미지 마이닝 시스템이다. 이미지 마이닝 프로세스와 뇌의 기능
에 의해 학습한 뇌 양상(modalities)은 환자들과 관련된 기록으로부터 얻을 수 있다. 기능적
인 뇌 매핑을 수행하기 위해 두 종류의 정보가 함께 사용된다. 관계형 데이터베이스와 같은
알파뉴메릭 데이터베이스에 저장된 데이터로부터 지식을 발견하는 것은 데이터 마이닝안에
서 일어나는 많은 작업 중에 핵심이다. 그러나, 이차 저장장치의 용량의 발전과 상대적으로
저가의 스토리지 비용이 결합되면서 더욱 더 비표준 데이터들이 축적되어 쌓이고 있다. 비표
준 데이터의 한 종류는 무료 텍스트, 비디오, 사운드, 등이 포함된 이미지 데이터이다. 이러
한 것들은 마이닝에서 새롭고 가치있는 지식을 발견할 수 있는 이미지 데이터에서 매우 중
요한 모음이다. 이미지 마이닝에서 중심이 되는 연구 이슈는 데이터 마이닝 알고리즘의 응용
을 지원하기 위한 형태로 그들을 표현하기 위해 전처리된 이미지 세트를 만드는 방법이다.
- 33 -

34. <그림 12> 정보 중심 이미지 마이닝 프레임워크 모델
- 특징 값 벡터들의 일반적인 표현은 각 이미지들이 벡터로 표현되는 것이다. 전통적으로 각
벡터는 전역적인 특징 값들의 세트로부터 선택된 특징 값의 어떠한 부분 세트로 표현된다.
사소한 예는 프리미티브 쉐이프와 컬러 쌍으로 표현된 이미지들이다.[32] 예를들어 튜플의
전역 세트가 {{blue square}, {red square}, {yellow square}, {blue circle}, {red circle}, {yellow
circle}}가 있다면 {{blue square}, {red square}, {red circle}}, {{red square}, {yellow square}
{blue circle}, {yellow circle}}, {(red box}, {red circle}, {yellow circle}}와 같은 세트를 이용하여
이미지 세트를 설명하는데 사용할 수 있다. 그러나, 이 작업이 완료되기 전에 관심있는 이미
지 객체를 식별하는 것이 필요하다. 즉, 위의 예에서 나온 것 같은 square과 circle과 같은 것
이다. 이렇게 처리하기 위한 일반적으로 알려진 접근법이 “세그멘테이션”이다. 세그멘테이션
은 하나의 이미지 안에서 일반적인 동질의 특성으로 공유되는 속성을 가지는 보통 객체
(object)로 간주되는 영역을 발견하기 위한 과정이다.[32]
- 이미지 세그멘테이션 과정은 많은 응용 분야에서 처리 과정안에서 사용할 수 있는 특정 응
- 34 -

35. 용분야에 의존적인 도메인 지식이 있다면 더욱 도움이 되거나 향상될 수 있다. 예를들어, 다
음 그림과 같이 MRI를 이용한 뇌 스캔에 있어서 “뇌들보(Corpus Callosum)”을 스캔하기 위
하여 이미지 안에서 특정 특징 값을 사용한다. 뇌들보는 다음과 같은 이유로 인하여 연구자
들에게 관심을 받고 있다.
ⓐ 뇌들보의 크기와 모양이 성별, 나이, (간질(epilepsy)과 같은) 신경퇴행성 질환(neuro
degenerative diseases)과 사람들이 다양한 종류의 편중화된 행동을 하는 질병과 관련되
어 있다.
ⓑ 뇌들보의 크기와 모양이 수학적 또는 음악적인 재능과 같은 인간의 속성에 영향을 주는
것으로 추축된다.
ⓒ 그것은 MRI 뇌 스캔에 있어서 매우 독특한 특징 값이다.
이미지 마이닝 연구들을 통해서 뇌들보의 크기와 모양이 성별, 나이, 뇌 성장과 퇴보, 왼손잡
이와 다양한 종류의 뇌 기능 장래와 관련이 있다는 연구들이 속속 발표되고 있다.
<그림 13>
정중시상(midsagittal) 뇌 MRI 이미지 안에 Corpus callosum
- 살아있는 뇌에서 그러한 연관관계를 찾아내기 위해 MRI(Magnetic Resonance Imaging)는 뇌
들보에 대한 단면적 영역과 모양 정보를 얻기 위한 가장 좋은 방법으로 간주된다. 이러한 이
유로 인하여 이미지 마이닝 기술이 적용한 자동화된 인식 방법에 대한 연구들이 진행 중이
다.[32]
◦ 4가지 정보 레벨은 픽셀 레벨과 객체 레벨은 하위 계층으로 반면에 의미론적 개념 레벨과 패
턴과 지식레벨은 상위 계층으로 두 개의 계층으로 일반화 할 수 있다. 하위 계층은 원본과 추
출된 이미지 정보가 포함되고 주로 이미지 분석(analysis), 처리(processing), 인식(recognition)을
다룬다. 상위 계층은 이미지 빅 데이터로부터 의미론적 개념을 생성하고 지식을 발견하는 것과
같은 고수준 이미지 작업(operation)을 다룬다. 상위 계층에서 정보는 일반적으로 하위 계층과
대비하여 의미론적인 의미를 가리킨다. 정보 흐름 기반의 프레임워크를 제시함으로써 중요한
영역에서 모든 단계에서 작업이 원활하게 협력할 수 있도록 초점을 맞출 수 있다는 것이 명확
해진다. 또한, 이 프레임워크는 이미지로부터 완전히 유용한 도메인 정보를 발견하기에는 아직
도 많은 도전과 연구가 필요하다는 것을 알려주고 있다.
- 35 -

36. 3.4 지식 중심 이미지 마이닝 프레임워크 모델 (Knowledge Driven
Image Mining Framework Model)
◦ 기능 중심 모델은 이미지 마이닝 애플리케이션으로부터 형성되고, 정보 중심 모델은 이미지로
부터 다른 정보 계층을 찾아가는 방법으로 간주된다. 이미지 마이닝의 핵심은 지식을 찾는 것
이다. 앞의 두 모델은 마이닝 지식의 사용을 고려하지 않는다. 게다가, 전체 과정에서 사용자는
마이닝 모듈과 지식을 받기 위한 수동적인 위치에 있다. 이미지 데이터 그 자체가 비구조적이
거나 반구조적 데이터이기 때문에, 마이닝 과정으로부터 최대한의 지식을 발굴하는 방법은 이
미지 마이닝 안에서 재조작하는 것이다. 사용자가 원하는 지식을 아는 것이 매우 중요하다.[33]
① 이미지 선택 (image choosing)
- 이미지 선택의 목적은 사용자 요구사항으로 이미지 데이터베이스에 있는 원본 이미지 데이
터의 이미지 마이닝의 목표를 확실히 하는 것이다.
② 이미지 처리 (image disposal)
- 그것은 디지털 이미지 관리와 이미지 식별하는 것을 나타낸다. 예를들어, 이미지로부터 노
이즈를 제거하거나 아나모픽(anamorphic) 이미지 읽거나, 낮은 정보 이미지를 복구할 수 있
다.
③ 특성 선택 (character pickup)
- 컬러, 쉐이프, 위치와 같은 특성 정보를 선택하고 저장한다. 이미지 데이터의 질의를 지원하
는 것이 중요하기 때문에 특성 기초(character base)는 매우 중요하다.
④ 특성 선택 최적화 (character choosing optimize)
- 이미지 특성의 저장은 과다할 수 있고, 이러한 요인은 특성이 이미지 마이닝 이전에 선택된
특성 때문에 키(key) 마이닝 방법의 동작에 영향을 미칠 수 있다. 고유벡터(eigenvector)를
가진 특성을 표시하면 이 방법은 차원 감소를 호출한다. 게다가 특성 선택은 때때로 데이터
노이즈 감소, 시퀀스 데이터 확산(dispersion)과 데이터 연속체(continuum)를 흩어놓는 것을
포함하는 선택을 최적화한다.
⑤ 이미지 마이닝 (image mining)
- 관련된 모듈을 찾기 위하여 이미지 안의 데이터로부터 발굴하는 이미지 마이닝을 사용한다.
현재, 일반적으로 사용되는 방법은 통계 분석, 연관 규칙 분석, 기계학습등과 같은 전통적인
데이터 마이닝 영역의 모든 부분이다.
⑥ 설명 및 의견 결합 (explain and comment combining)
- 모듈과 지식 기반에서, 이미지의 논리적인 개념을 표현하기 위하여 지식 단위로 저장된다.
잠재적인 모듈이나 지식을 발견하기 위하여 데이터의 통합이 필요하다. 모듈을 마이닝할 때
중복 혹은 필요없는 모듈이 제거되고, 유용한 모듈이 사용자에 의해 이해될 수 있는 지식으
로 변환된다.
⑦ 이미지 예제 훈련 (image sample training)
- 이미지 예제 훈련을 통하여 유효성(validity)과 정확성(veracity) 높게 개선된다.
- 36 -

37. ⑧ 학습 교류 (alternating learning)
- 사용자들은 시스템 마이닝을 통하여 도메인 지식을 배우고, 또한, 비 구상적인(non
figurative) 지식을 지식 단위(unit)로 분할하여 시스템에 도메인 지식을 입력할 수 있다.[33]
⑨ 도메인 지식 (domain knowledge)
- 마이닝 과정에서, 모든 이전의 접근법, 모델, 인식(episteme)은 새로운 시스템의 발견에 사
용될 수 있다.[33]
<그림 14> 지식 중심 이미지 마이닝 프레임워크 모델
3.5 자가-성장형 이미지 마이닝 프레임워크 모델 (Self-Growing Image
- 37 -

38. Mining Framework Model)
◦ 이미지 마이닝은 데이터 마이닝 기술의 진보된 영역이며, 10여년 넘게 연구되어 오면서도 아
직까지도 몇가지 부분에서만 가능성을 보이며, 다양한 시스템의 문제점들을 해결해나가야 하는
매우 큰 도전적인 연구 분야이다.
이미지 마이닝의 주목적은 인간이 기대하는 요구에 따라 데
이터 손실을 제거하고 의미있는 정보를 추출하는 것이다. 프레임워크 모델은 이미지 데이터에
존재하는 다른 레벨의 정보를 찾아내고 각각의 레벨에서 유용한 패턴과 지식을 발견하기 위한
문제가 무엇인지를 해결하기 위한 첫단계이다.
◦ 전술한 3가지 이미지 마이닝 프레임워크 모델에서 보면 알 수 있듯이 각각의 프레임워크 모델
은 특정한 문제를 해결하기 위하여 서로의 장단점을 가지고 있다. 기능 중심 모델의 경우 특정
한 목적의 애플리케이션을 만드는데 빠르고 간단하게 접근할 수 있지만, 찾고자하는 내용과 목
적이 바뀌는 경우 재 개발을 해야하는 문제를 안고 있다. 정보 중심 모델의 경우 이미지 인식
의 과정에 가장 충실하게 구성된 모델이라 볼 수 있다. 하지만 지식 중심 모델과 같이 도메인
지식을 수용할 수 있는 방법이 없다. 지식 중심 모델의 경우는 정보 중심의 모델이 기반으로
갖추어져 있는 경우 더욱더 효율적인 모델이라 할 수 있다.
◦ 기존의 3가지 프레임워크 모델이 확장성과 효용성을 가지기 위해선 정보 중심 모델과 지식 중
심 모델이 결합된 형태를 가지고 있어야 하며, 이에 더하여 스스로 시스템이 확장될 수 있는
구조를 가져야 한다. 그 이유는 이미지 마이닝 과정 중에 사용되는 다양한 특징 값과 추출된
특징 값으로부터 의미를 추출해내는 기술들이 영상처리라고 하는 분야의 연구가 시작되면서
이미지의 특성에 따라 수없이 많은 기술들이 만들어져 하나의 알고리즘과 하나의 기술만으로
는 최적의 결론을 도출할 수 없기 때문이다. 예를 들어, 대부분의 영상 처리 모듈들은 이미지
가 촬영된 현장에서 발생하는 노이즈나 촬영된 객체의 특성을 좀 더 정확히 추출할 수 있도록
동일한 기능이면서 성능이 다른 수없이 많은 알고리즘들이 존재하기 때문이다. 그렇기 때문에
아무리 뛰어난 영상처리 전문가라 하여도 모든 이미지의 최적의 성능을 만들어내는 것이 어렵
다. 대부분의 영상처리 전문가들은 자신들이 공부해오면서 배웠던 알고리즘을 기반으로 문제를
해결하기 때문에 다양한 분야에 확장성을 가질 수 있는 시스템이 될 수 없다.[34][35]
◦ 이미지(비디오) 마이닝 프레임워크가 확장성과 효용성으로 가지고 자가 성장이 가능한 프레임
워크가 되기 위해선 다음과 같은 요구사항을 만족할 수 있어야 한다.
① 쉽고 간편하게 새로운 전처리 및 특징 값 추출, 인식, 지식생성 알고리즘의 추가가 가능해
야한다.
② 새로 추가된 알고리즘이 기존 알고리즘이 유기적으로 연결되어 사용이 가능해야 한다.
③ 기존의 개발된 알고리즘과 새롭게 추가된 알고리즘이 어떠한 환경에서 최적화된 결과를 낼
수 있는지 개발자의 경험치가 저장되어 있어야 한다.
④ 알고리즘을 손쉽게 조합하고 실행해 볼 수 있어야 하며, 바로 수정하여 재실행할 수 있는
환경이 제공되어야 한다.
⑤ 이미지의 종류 및 성격에 따라 알고리즘의 성능을 수치적으로 생성하여 지식화할 수 있는
평가시스템이 있어야 한다.
⑥ 알고리즘 사이의 연결을 위한 표준화된 데이터 형식이 있어야 한다.
⑦ 도메인 지식을 기반으로 해결하고자 하는 문제를 해석하여 자동으로 알고리즘을 조합할 수
있는 기능이 있어야 한다.
⑧ 자동 조합된 알고리즘에서 최적화된 결과가 나올 경우 새로운 알고리즘으로 생성할 수 있
- 38 -

39. 어야 한다.
⑨ 이미지 데이터의 촬영환경 및 동작환경에 대한 도메인 지식으로 표현할 수 있어야 한다.
◦ 다음 그림은 이러한 요구사항을 만족하기 위한 자가-성장형 이미지 마이닝 프레임워크 모델이
다. 이 프레임워크 모델은 기존의 이미지 마이닝 모델과는 달리 사용자, 개발자, 도메인 전문가
가 같이 참여하여 시스템을 성장시키는 구조를 가지고 있다. 이미지 데이터베이스로부터 마이
닝하고자 하는 이미지가 촬영된 환경 정보를 분석하고 사용자가 해결가고자 하는 문제의 도메
인 지식을 분석하여 그 정보를 기반으로 모든 이미지 마이닝 과정이 진행되도록 되어있다. 개
발자/연구자들은 자신의 개발/연구 목적에 맞는 알고리즘을 개발하여 정해진 규격에 따라 알고
리즘 데이터베이스에 등록을 하게되고, 해당되는 알고리즘이 어떠한 환경에서 최적화된 결과를
만들어 낼 수 있는 개발자 지식을 같이 등록하게 된다. 이러한 지식을 기반으로 도메인 문제의
분석과 이미지 촬영환경의 분석과 더불어 전처리 과정을 포함하는 저수준 알고리즘을 선택하
게 되고, 그 알고리즘을 수행하게 된다.
- 39 -

40. <그림 15> 자가-성장형 이미지 마이닝 프레임워크 모델
◦ 저-수준(low-level) 알고리즘은 노이즈를 제거하거나 특징 값 추출을 더욱 정확히 하기 위해 필
요한 처리들을 수행하도록 도와주는 기능으로 지식 중심 프레임워크 모델에서 픽셀 레벨과 유
사하다고 할 수 있다. 기존의 프레임워크 모델과 자가 성장형 프레임워크 모델의 가장 큰 차이
는 평가 기능이 들어있다는 것이다. 전문가들의 도메인 지식 정보를 기반으로 처리된 이미지
결과가 원하는 수준이 아닐 경우 알고리즘을 재선택하여 스스로 성능을 높여주는 방식을 제공
하는 것이다. 뿐 만 아니라 알고리즘이 컴포넌트와 같은 형태를 가지고 있을 경우 컴포넌트들
- 40 -

41. 을 조합하는 기능을 가지고 새로운 컴포넌트를 만들어내어 자가-성장하는 매커니즘이 가능해
진다. 다음 그림은 PASCAL VOC에서 이미지 마이닝에서 올바른 분류를 하기 위해 다양한 저수준 알고리즘이 적용되어 최종적으로 분류에 적용되는 예시를 보여주고 있다.[27]
<그림 16> bag-of-words approach에 따라 객체 분류를 위해 적용된 다양한 알고리즘 예시
◦ 저-수준 알고리즘 처리 과정을 거쳐서 나온 이미지는 의리론적 분석에 필요한 객체와 영역 등
의 의미론적 분석에 필요한 특징 값을 생성하기 위한 중-수준(mid-level) 처리 과정이 진행된
다. 이 과정을 통해 픽셀레벨로 존재하던 기존의 이미지에 이미지의 내용을 분석하기 위해 필
요한 기초적인 추가정보가 생성되게 된다. 에지정보, 영역정보, 컬러분포도와 같은 것들이 여기
에 해당되며, 얼굴인식과 같은 얼굴의 패턴영역, 눈, 코, 입등의 구성요소들도 여기에 해당된다.
이러한 중-수준 처리 기술은 저-수준 처리에서 생성된 이미지를 대상으로 하고 있어 저-수준
알고리즘의 특성에 따라 중-수준 알고리즘의 선택도 달라지게 된다. 윤관선 정보를 추출하기
위한 에지 추출 알고리즘의 경우도 대상 이미지의 상태에 따라 수십가지의 알고리즘이 존재하
기 때문이다.[34][35] 이 단계에서도 평가시스템을 통해 전문가들의 도메인 지식 정보를 기반으
로 처리된 결과가 원하는 수준이하의 경우 알고리즘을 재선택하여 스스로 성능을 높여주는 방
식으로 처리된다. 알고리즘 데이터베이스에 개발자 지식과 같이 등록된 알고리즘은 알고리즘
사용에 관련된 전후 처리에 올 수 있는 알고리즘의 적용에 대한 개발자 지식들이 쌓여 있을
것이다. 이렇게 쌓인 지식들의 전후 관계 정리를 해보면 다음 그림의 (b)와 같은 통합된 전체
컴포넌트 관계도가 만들어 질 수 있다. 물론, 이 관계도가 알고리즘 사용을 위한 절대적인 효
과를 줄 수 없지만, 알고리즘을 이용하여 효과 측정이나 새로운 알고리즘을 발굴하는데 효과적
일 수 있다.[34][35]
- 41 -

42. A
B
#10
#6
#15
#11
#9
#5
#10
#15
#20
C
#9
(# : 알고리즘 데이터베이스 시스템 내부의 알고리즘 관리 인덱스)
(
: 중앙의 알고리즘의 전/후 관계에 사용될 수 있는 지식 정보)
(a) 각 중앙의 알고리즘 정보로부터 생성된 전/후 알고리즘의 정보
B
#6
#11
A
#10
#5
C
#15
#20
#9
(b) (a)의 각 알고리즘의 전후 관계를 합쳐서 만든 전체 알고리즘의 관계
<그림 17> 알고리즘 전후처리 관계를 통한 새로운 알고리즘이 발굴되는 예시
◦ 특징 값 추출이 마무리되게 되면 각 이미지 데이터베이스에 대한 특징 값 데이터베이스
(Feature Database)가 구성되게 되고, 이 특징 값 데이터베이스를 기반으로 이미지안에 의미있
는 정보를 찾기 위한 시멘틱 알고리즘들이 실행하게 된다. 일단 이미지의 배경에 해당되는 특
징 값을 통해 이미지가 촬영된 배경 장소에 대한 정보가 추출되고, 이어서 이미지 안의 의미있
는 데이터가 어떤 종류들이 있는지를 구분하기 위한 분류(classification) 알고리즘이 수행되기
된다. 이 알고리즘을 통해 나온 결과는 이미지 안의 특징 값들의 조합을 통하여 어떠한 종류의
객체들이 존재하는지에 대한 결과와 그 객체들이 의미론적으로 어떤 것들인지, 어떠한 행동을
하고 있는지를 추출하게 된다. 이렇게 추출된 결과는 의미 데이터베이스(Semantic Database)에
저장되게 된다. 이 데이터베이스에 저장되는 데이터들의 정확도를 개선하기 위하여 2005년부
터 현재까지 5개 이상의 글로벌 연구집단이 참여하여 매년 자신들이 개발한 알고리즘을 경쟁
을 하면서 진행하고 있는 연구가 바로 PASCAL VOC Challenge이다.[27] 현재는 2012년까지의
연구결과들이 공개되어 있다. 다음 그림은 추출된 특징 값을 재구성하여 의미있는 객체를 찾아
내는 기술에 대한 예시이다.[27]
- 42 -

43. <그림 18> 이미지 세그멘테이션 기술 따라 변경되는 의미 예시
<그림 19> 모델 컴포넌트의 재사용 예로 말과 기린 사이의 공간적인 레이아웃의 변수의 차를
결합하여 기린을 인식하는 예시.
<그림 20> 3D CAD 데이터로부터 학습된 모델 (a) Collection of 3D CAD models composed of
semantic parts, (b) viewpoint-dependent, non-photorealistic renderings, (c) learned spatial
part layouts, (d) multi-view detection results.
- 43 -

44. <그림 21> 이미지 데이터에서 의미론적으로 추출된 사람에 대한 정보
- 44 -

45. Jumping
Taking Photo
Phoning
Running
Playing Instrument
Riding Horse
Reading
Riding Bike
- 45 -