http://koreascience.or.kr/article/JAKO201507964682874.page

 

Recovering the Colors of Objects from Multiple Near-IR Images -Journal of the Optical Society of Korea | Korea Scie

Abstract This paper proposes an algorithm for recovering the colors of objects from multiple near-infrared (near-IR) images. The International Commission on Illumination (CIE) color coordinates of objects are recovered from a series of gray images captured

koreascience.or.kr

 

추상적인

본 논문은 다중 근적외선(near-IR) 이미지에서 물체의 색상을 복구하는 알고리즘을 제안한다. 개체의 CIE(International Commission on Illumination) 색 좌표는 다항식 회귀를 사용하여 다중 스펙트럼 근적외선 조명에서 캡처한 일련의 회색 이미지에서 복구됩니다. 제안한 알고리즘의 실현 가능성은 연색성 차트의 24개 색상 패치를 사용하여 실험적으로 테스트됩니다. 실험 장치는 IR 차단 필터가 없는 흑백 디지털 카메라와 다중 스펙트럼 근적외선 조명을 방출하는 맞춤형 LED 조명기로 구성되며, 피크 파장은 가시 대역의 빨간색 가장자리 근처, 즉 700, 740, 780 및 860nm. 24개의 모든 패치에 대한 원래 색상과 복구된 색상 간의 평균 색상 차이는 11.1인 것으로 나타났습니다.

 

키워드

• 개체의 색상 복구 ;
• 나이트 비전 ;
• 근적외선 이미지 ;
• 다중 스펙트럼 근적외선 조명 ;
• 보이는 밴드의 빨간색 가장자리

 

 

I. 서론

인간의 눈은 일반적으로 가시광선 대역으로 알려진 범위인 400~700nm 파장의 빛을 감지할 수 있습니다. 인간의 눈에는 이 파장 범위의 에너지를 흡수하여 눈이 볼 수 있도록 하는 세 가지 색상에 민감한 색소가 있는 광수용기가 포함되어 있습니다[1]. 빛이 없으면 관찰되는 장면의 물체의 색상과 모양이 사라집니다.

적외선 이미징 기술의 발달로 우리는 야간 투시력을 갖게 되었습니다. 야간 투시경은 빛이 약하거나 완전히 어두운 상황에서도 볼 수 있는 능력입니다. 이전에는 야간 투시 장치가 군대에서만 사용되었지만 이후 민간용으로 더 널리 보급되었습니다. 나이트 비전 기술은 저조도 이미징, 열 이미징 및 nar-IR 조명의 세 가지 주요 범주로 나눌 수 있으며 각각 장점과 단점이 있습니다. 나이트 비전을 달성하기 위한 대중적이고 때로는 저렴한 기술은 근적외선 조명기와 함께 비가시적 근적외선 복사에 민감한 장치를 사용합니다. 이 기술은 센서가 근적외선 파장을 감지할 수 있기 때문에 대부분의 카메라에서 수행할 수 있습니다. 하지만, 결과 장면은 일상 경험과 일치하지 않는 단색 또는 가색조를 포함하는 흑백 이미지로 나타납니다 [2, 3]. 따라서 인간은 흑백 이미지를 매우 부자연스럽게 경험합니다.

또한 정확한 식별이나 추적 목적과 같이 색상 정보를 얻는 것이 중요한 상황에서는 컬러 이미지가 흑백 이미지보다 훨씬 유리합니다. 지난 20년 동안 근적외선 이미징에서 트루 컬러 이미지를 생성하기 위해 많은 연구가 이루어졌습니다. 이러한 연구의 주요 초점은 해당 주간 이미지를 사용할 수 있을 때 결과가 유망한 기술인 가시광 이미지와 적외선 이미지의 융합을 포함합니다[4-9]. 한편, 적외선만을 사용하여 컬러 이미지를 생성하려는 시도는 근적외선 대역의 서로 다른 파장에 개별적으로 민감한 세 개의 센서 세트를 사용하는 다양한 응용 분야의 개발로 이어졌습니다. 예를 들어, 3개의 근적외선 센서 세트가 있는 새로운 야간 투시 카메라가 최근 AIST(일본 국립 첨단 산업 기술 연구소)에서 개발되었습니다[10]. 이 카메라는 어두운 곳에서도 선명한 하이 프레임 레이트의 컬러 영상을 촬영할 수 있고, 가시광선 아래에서 같은 물체의 색상과 동일하거나 유사한 색상을 재현할 수 있는 것으로 알려졌다. 그러나 색상 정확도에 대한 평가 데이터는 아직 공개되지 않았지만 AIST에서 제시한 사례를 보면 색상 신호 처리 방식의 개선이 필요함을 알 수 있다. 가시광선 아래에서 동일한 물체의 색상과 동일하거나 유사한 색상을 재현할 수 있습니다. 그러나 색상 정확도에 대한 평가 데이터는 아직 공개되지 않았지만 AIST에서 제시한 사례를 보면 색상 신호 처리 방식의 개선이 필요함을 알 수 있다. 가시광선 아래에서 동일한 물체의 색상과 동일하거나 유사한 색상을 재현할 수 있습니다. 
그러나 색상 정확도에 대한 평가 데이터는 아직 공개되지 않았지만 AIST에서 제시한 사례를 보면 색상 신호 처리 방식의 개선이 필요함을 알 수 있다.

본 논문은 다수의 근적외선 영상에서 물체의 색상을 복구하는 알고리즘을 제안한다. 핵심은 700~900nm의 파장 범위에서 가시광선의 적색 가장자리에 가까운 반사율 곡선의 정보를 사용하는 것입니다. II장에서는 제안하는 알고리즘을 흐름도를 통해 설명한다. 물체 색상의 CIE(International Commission on Illumination) 색상 좌표 L*, a*, b*는 다중 스펙트럼 근적외선 조명에서 캡처한 일련의 회색 이미지에서 복구됩니다. 섹션 III에서는 맞춤형 조명기의 분광 출력 분포 및 공간적 균일성과 대상 색상 개체의 분광 반사율과 같은 실험 구성 요소의 광학적 특성에 대해 자세히 설명합니다. 섹션 IV에서는 연색성 차트[11]의 24개 패치를 분석하여 얻은 실험 결과를 제시한다. 제안한 알고리즘의 정확도는 평균 색차 ΔE*ab를 이용하여 평가한다. 마지막으로 V장에서는 결론과 추가 연구 가능성을 제시한다.

 

II. 컬러 복구 알고리즘

그림 1은 각각 빨간색, 녹색, 노란색 및 파란색 페인트로 칠해진 네 가지 색상 패치에 대한 반사율 곡선을 포함하는 예를 보여줍니다. 나이트 비전 기술[12]에서 사용되는 정의에 따르면, 가시 대역은 400~700nm 범위의 파장을 포함하는 것으로 간주되며, 근적외선 영역은 700~1100nm 범위의 파장을 포함하는 것으로 정의되는 반면, IR 파장은 더 긴 파장을 포함하는 것으로 정의됩니다. 1100nm 미만은 장면에서 물체를 감지하는 데 유용한 단파장 IR 대역으로 정의됩니다.

무화과. 1. 빨간색, 녹색, 노란색 및 파란색 페인트로 칠해진 4가지 색상 패치의 반사율 곡선.

그림 1은 몇 가지 주목할 만한 기능을 보여줍니다. 가시 대역의 반사율 곡선은 색상에 따라 달라지는 특정 구조를 가집니다. 그러나 근적외선 대역에서는 4가지 색상의 반사율 곡선이 수렴하는 경향이 있어 단파장 적외선 대역 전체에서 점점 동일해집니다. 이 거동은 많은 다른 재료에서 관찰되었습니다[13].

가시 대역의 반사율 곡선은 인간 관찰자가 인식하는 물체의 색상을 고유하게 설명하기 때문에 특히 중요합니다. 1931년 CIE는 눈의 세 가지 광수용체를 기반으로 CIE X, Y, Z 색 공간을 만들었습니다[14]. X, Y, Z 좌표는 다음과 같이 380~780nm의 파장 범위에서 삼자극 값으로 정의됩니다.

여기서 λ는 나노미터 단위로 측정된 파장, P(λ)는 빛 조명의 분광 출력 분포, RV(λ)는 가시 대역에서 물체의 반사율, , 는 표준 관찰자에 대한 색상 일치 함수입니다. . 이러한 수치 설명은 3개의 선형 광 검출기의 스펙트럼 감도 곡선으로 간주될 수 있습니다. 식에서 (1), , , 는 400nm 미만 및 700nm 초과 파장에 대해 대략 0입니다.

 

1976년 현재 지각적으로 균일한 색 공간으로 사용되는 CIE L*, a*, b* 색 공간은 CIE X, Y, Z 색 공간에서 파생되었습니다[14]. 새 색 공간에서 L*는 밝기를 나타내고 a*는 빨강/녹색 값을 나타내고 b*는 노랑/파랑 값을 나타냅니다. X, Y, Z에서 L*, a*, b*로의 비선형 변환은 다음과 같습니다.

여기서 Xn, Yn, Zn은 기준 흰색의 X, Y, Z입니다. L* = 0은 검은색을 생성하고 L* = 100은 분산된 흰색을 나타냅니다. a* 축을 따라 양수 값은 빨간색의 양을 나타내고 음수 값은 녹색 양을 나타냅니다. 마찬가지로 b* 축에서 양수 값과 음수 값은 각각 노란색과 파란색을 나타냅니다. 두 축 모두에서 0은 중성 회색입니다. CIE L*a*b* 색상 공간의 장점은 두 색상 간의 색상 차이를 다음과 같이 표현할 수 있다는 것입니다.

 

근적외선 대역의 반사율 곡선은 근적외선 대역이 가시광선 대역 밖에 있기 때문에 X, Y, Z 또는 L*, a*, b* 측면에서 색상을 정의하는 데 기여하지 않습니다. 그러나 파장이 700~1100nm인 근적외선 조명 아래 있는 물체의 경우 X, Y, Z에 해당하는 NIR1, NIR2, NIR3은 다음 공식으로 나타낼 수 있습니다.

여기서 P(λ)는 근적외선 조명의 분광 출력 분포이고 RNIR(λ)는 근적외선 대역에서 물체의 반사율이며 nir1(λ), ​​nir2(λ), nir3(λ) 는 3개의 근적외선 센서의 분광 감도 곡선으로 식에서 (1). 또는 Eq. (4) 3개의 스펙트럼 근적외선 조명기와 근적외선 대역의 파장에 반응하는 센서를 포함하도록 재구성할 수 있습니다.

여기서 P1(λ), ​​P2(λ) 및 P3(λ)는 3개의 스펙트럼 근적외선 조명기의 스펙트럼 출력 분포이며 아래 첨자는 피크 파장을 나타내고 S(λ)는 근적외선의 스펙트럼 감도 곡선입니다. -IR 센서. 대부분의 전하 결합 소자(CCD) 또는 CMOS 소자는 가시광선에서 근적외선까지의 파장 범위에 반응합니다. 식에서 NIR1, NIR2, NIR3. (4) 3개의 스펙트럼 근적외선 조명 하에서 순차적으로 캡처되는 삼자극 값을 나타냅니다.

 

제안된 복구 알고리즘을 제시하기 전에 원격 감지 응용 분야에서 일반적으로 사용되는 간단한 조합을 고려합니다[15]. NIR1, NIR2, NIR3 값은 컬러 이미지를 재생하기 위해 R, G 및 B 기본 신호에 각각 할당됩니다. 이러한 값은 발생 순서 또는 가중치 요인에 따라 여러 가능한 조합으로 발생할 수 있습니다. 그러나 모든 조합에 대한 결과 제품은 원래 색상과 유사하지 않은 가색상 이미지로 알려져 있습니다.

제안된 알고리즘의 목적은 3개의 스펙트럼 근적외선 조명 아래에서 캡처된 일련의 회색 이미지에서 물체의 CIE 색상 좌표를 복구하는 것입니다. 이것은 [16] 형식의 다항식 회귀를 사용하여 달성할 수 있습니다.

 

여기서 및 는 각각 CIE 색상 좌표 X, Y, Z 또는 L*, a*, b* 및 근적외선 삼자극 값 NIR1, NIR2, NIR3의 벡터 형식입니다. 색상 매핑 행렬 CMM은 와 사이의 수치 관계를 나타냅니다. CIE 색상 좌표가 알려진 대상 색상 세트의 경우 다음 공식과 함께 MATLAB을 사용하여 근적외선 삼자 극치 NIR1, NIR2, NIR3에서 CMM을 쉽게 계산할 수 있습니다.

 

CMM의 정확도는 대상 색상 간의 상관 정도에 따라 달라집니다. 그러나 가시광선 대역 RV(λ)와 근적외선 대역 RNIR(λ)에서 반사율 곡선의 양상은 그림 1과 같이 상당히 다릅니다. 따라서 와 사이의 상관관계는 낮을 것으로 예상됩니다.

 

복구 성능을 향상시키기 위해 제안된 알고리즘은 대상 색상 세트에서 선택된 높은 상관 색상으로 구성된 각 그룹에 대한 개별 CMM을 획득하도록 설계되었습니다. 그림 2는 NIR1, NIR2, NIR3에서 L*, a*, b*까지 색상 복구 프로세스의 흐름도를 보여줍니다.

그림 2. NIR1, NIR2, NIR3에서 L*, a*, b*로의 색상 복구 프로세스 흐름도.

 

상관관계가 높은 색상을 함께 분류하기 위해 다음과 같이 근적외선 삼자극값 NIR1, NIR2, NIR3에서 새로운 매개변수 세트를 도출합니다.

식에서 (8), Is는 반사율 곡선 RNIR(λ)의 높이를 의미한다. G21과 G32는 각각 인접한 파장 대역 사이의 반사율 곡선 RNIR(λ)의 기울기를 의미합니다. G21 및 G32 모두에 대해 양수 값은 파장이 증가함에 따라 반사율이 증가함을 나타내는 반면 음수 값은 반사율 감소를 나타냅니다.

 

그림 1에서 볼 수 있듯이 근적외선 대역에서 선택된 반사율 곡선은 가파른 기울기를 나타내는 반면 다른 곡선은 완만한 기울기를 나타냅니다. 본 연구에서는 각 대상색상을 반사율곡선의 기울기에 따라 2개의 그룹으로 분류하고 완만한 기울기 그룹을 반사율곡선의 높이에 따라 2개의 그룹으로 추가 분류하였다. 그림 2에 표시된 작업 흐름은 세 가지 경로로 구성됩니다. 대상 색상의 ｜G21｜ + ｜G32｜의 합이 임계값 k1 이상이면 그룹 I에 속하고, 그렇지 않으면 IS의 값이 임계값 k2보다 크다고 판단되면 그룹 I에 속한다. , 색상은 그룹 II에 속하는 것으로 간주되고 그렇지 않으면 그룹 III에 속합니다. 임계값 k1 및 k2는 구성 대상 색상에 따라 적절하게 결정됩니다. 이 방법을 사용하여 각 그룹에 할당된 대상 색상은 서로 높은 상관 관계가 있습니다. 개별 색상 매핑 행렬 CMM1, CMM2, CMM3은 식을 사용하여 개별 그룹에 대해 계산할 수 있습니다. (7). 따라서 같은 그룹에 속하는 색상에 대해 L*, a*, b*의 값은 다음과 같이 복구할 수 있습니다.

 

여기서 및 는 각각 L*, a*, b* 및 Is, G21, G32의 벡터 형식입니다. CMM은 그룹의 개별 색상 매핑 매트릭스를 나타냅니다. 제안된 알고리즘의 성능은 원래 값과 복구된 값 사이의 평균 색상 차이 ΔE*ab를 결정하여 평가됩니다.

 

 

 

III. 실험 설정

 

실험은 어두운 조건에서 수행됩니다. 실험실(천장 및 벽 포함)은 무광택 검정색으로 칠해져 있습니다. 실험 구성은 그림 3에 나와 있습니다. 대상 색상 개체에 부착된 스크린은 다중 스펙트럼 근적외선 조명기에서 0.7m 떨어져 있습니다. 조명기 중앙의 구멍을 통해 그림 3과 같이 흑백 디지털 카메라가 화면을 향하도록 배치됩니다. 카메라에는 1.25M 유효 픽셀이 있는 대각선 1/3인치 CCD 어레이로 구성된 이미지 센서가 있습니다. 스펙트럼 응답 범위는 300~1000nm이며 최대 감도는 580nm에 가깝습니다. 카메라의 소프트웨어를 사용하여 자동 화이트 밸런스 기능과 감마 값을 각각 'off'와 1로 설정합니다. 캡처된 이미지의 16비트 데이터는 TIFF 형식으로 저장됩니다.

무화과. 3. 실험 구성.

 

일루미네이터 및 대상 색상 개체에 대한 자세한 내용은 다음 섹션에서 설명합니다.

 

 

3.1. 다중 스펙트럼 근적외선 조명기

 

6개의 근적외선 LED 어레이 모듈로 구성된 다중 스펙트럼 근적외선 조명기는 맞춤형으로 설계되었습니다. 그림 4(a)는 6개 모듈 중 하나의 개략도를 보여줍니다. 다이어그램에서 Ⓐ, Ⓑ, Ⓒ, Ⓓ는 각각 700, 740, 780, 860nm에서 피크 파장을 갖는 4가지 유형의 근적외선 LED를 나타냅니다. 각 모듈은 이러한 각 유형의 4개의 균일한 배열, 즉 모듈당 총 16개의 LED로 구성됩니다. 그림 4(b)는 6개의 모듈이 있는 조립된 다중 스펙트럼 근적외선 조명기를 보여줍니다. 이 모듈은 해바라기 형태의 중앙 구멍을 향해 약간 기울어져 있습니다. 6개 모듈 모두에서 LED의 광도는 4개의 별도 전원 공급 장치를 사용하여 유형에 따라 제어됩니다. 실험을 위해 700, 780 및 860 nm에서 피크 파장을 갖는 세 가지 유형의 LED를 선택했습니다.
 

무화과. 4. (a) 6개 모듈 중 하나에 대한 개략도 및 (b) 6개 모듈이 있는 조립된 다중 스펙트럼 근적외선 조명기.

 

그림 5는 USB-650 분광계를 사용하여 측정한 세 가지 유형의 LED의 스펙트럼 전력 분포를 나타냅니다. 그림 5에서 P(λ)700, P(λ)780 및 P(λ)860은 세 가지 유형의 LED의 스펙트럼 출력 분포를 나타내며 각각의 최대값은 1로 정규화됩니다.

무화과. 5. 세 가지 유형의 LED의 스펙트럼 출력 분포 700, 780 및 860nm.

 

맞춤 설계된 조명기의 공간적 균일성은 균일한 그레이 카드(X-rite ColorChecker Custom White Balance Card, 테두리를 제외한 사각형의 크기는 27.4 × 17.8cm)를 사용하여 측정되었습니다. 그림 3에서는 화이트 밸런스 카드가 화면에 부착되어 있습니다. 그림 6은 화이트 밸런스 카드의 캡처된 이미지를 보여줍니다. 전체 평면의 균일성은 그림 6(a), (b) 및 (c)에서 한눈에 볼 수 있으며, P(λ)700, P (λ)780 및 P(λ)860이 각각 표시됩니다. 3가지 유형의 LED 각각의 입력 전류 강도를 독립적으로 조정하여 각 이미지의 밝기를 균등화하는 과정을 화이트 밸런스 조정이라고 합니다.
 

무화과. 6. 세 가지 유형의 LED 아래에서 화이트 밸런스 카드의 캡처된 이미지; (a) 700nm (b) 780nm (c) 860nm.

또한 그림 6의 각 이미지의 픽셀 위치는 그레이 카드의 크기(27.4×17.8cm)에 해당합니다. 색상으로 구분된 3개의 영상은 모두 색이 점차 변하는 동심원 고리를 나타내며 중앙부근에서 최대 부호값이 1이다. 회색 카드의 가장자리로 갈수록 x축 중심에서 약 0.7, y축 중심에서 약 0.8로 코드 값이 점차 감소합니다. 그림 6의 세 이미지를 비교하면 P(λ)700, P(λ)780 및 P(λ)860의 불균일 정도가 이미지마다 조금씩 다른 것을 볼 수 있습니다. 조명 불균일의 영향은 그림 6의 코드 값의 역수에 해당하는 값을 촬영된 이미지의 각 픽셀 데이터에 곱하여 최소화했습니다.

3.2. 대상 색상 개체

ColorChecker는 일반적으로 가시 이미징 기술에서 색상 보정 대상으로 사용됩니다. 6 × 4 그리드에 24개의 색상 패치가 포함되어 있으며 각 패치는 2인치 정사각형보다 약간 작으며 매끄러운 종이에 무광택 페인트를 바르고 검은색 테두리로 둘러싸여 있습니다. ColorChecker의 사진은 그림 7에 나와 있으며 가시 광선에 나타나는 원래 색상이 표시됩니다. 6개의 패치는 균일한 회색 밝기 스케일을 형성합니다. 화이트(w), 뉴트럴 8(n8), 뉴트럴 6.5(n6.5), 뉴트럴 5(n5), 뉴트럴 3.5(n3.5), 블랙(bk). 또 다른 6개의 패치는 기본 색상을 나타냅니다. 빨간색(r), 녹색(g), 파란색(b), 청록색(c), 자홍색(m) 및 노란색(y). 나머지 색상에는 인간의 피부 색조(ds 및 ls), 푸른 하늘(bs), 일반적인 잎(f), 파란색 치커리 꽃(bf) 및 청록색(bg)과 같은 자연 색상의 근사치가 포함됩니다. 나머지 색상은 영역을 나타내기 위해 임의로 선택되었습니다: 주황색(o), 자청색(pb), 중간 정도의 빨간색(md), 보라색(p), 노란색 녹색(yg) 및 주황색 노란색(oy). 괄호 안의 문자는 각 톤의 약어를 나타냅니다.

무화과. 7. 가시광선 아래에서 촬영한 ColorChecker 사진.

 

ColorChecker에서 24개의 패치를 절단한 후 Cary 5000 UV-Vis-NIR 분광광도계를 사용하여 각 패치의 분광 반사율을 측정했습니다. 그림 8은 가시광선과 근적외선 대역을 모두 포함하는 파장 범위 400~1100nm의 모든 24개 패치에 대한 누적 반사율 곡선을 보여줍니다. 예상대로 그림 1의 설명에 따라 반사율 데이터는 가시광선 대역(400~700nm)에서 각 색상의 고유한 구조를 보여줍니다. 근적외선 대역에서 균일한 외관을 가정하기 전에 가시광선 대역(700~900nm)의 적색 가장자리 근처에서 반사율 데이터가 증가합니다. 가시 밴드의 빨간색 가장자리에 접근하면(그림 8) 일부 색상의 반사율 데이터가 급격히 증가하고 반사율 곡선이 가파른 기울기를 나타내는 반면 다른 색상은 더 완만한 기울기를 나타냅니다. 가시광선 대역에서 측정된 분광 반사율 데이터를 사용하여 Eq.를 사용하여 광원 D65에 대한 X, Y, Z 값을 계산할 수 있습니다. (1) 또한 식을 사용하여 L*, a*, b* 값을 유도합니다. (2). 결과는 표 1에 나와 있습니다.

무화과. 8. 400~1100nm의 파장 범위에서 모든 24개의 패치에 대한 반사율 곡선.

 

표 1. 발광체 D65에 대한 X, Y, Z 값 및 24개 패치의 도출된 L* , a* , b* 값

 

 

실험 설정에서 볼 수 있듯이, 24개의 절단된 패치는 검은색 테두리가 없는 6×4 격자 형태로 재정렬되어 대상 색상 개체로 사용할 수 있도록 준비되었습니다. 대상 물체는 조명의 불균일성을 보상하기 위해 그림 6의 그레이 카드와 같은 크기로 생성하였다.

 

 

 

IV. 결과

그림 9는 불균일성을 보정한 후 대상 색상 개체에서 실험적으로 얻은 흑백 이미지 세트를 보여줍니다. 그림 9(a), (b) 및 (c)는 각각 P(λ)700, P(λ)780 및 P(λ)860에서의 조명 결과를 보여줍니다. 세 가지 유형의 LED 각각의 입력 전류는 화이트 밸런스를 달성하기 위해 개별적으로 조정되었습니다. 조명의 파장이 길수록 이미지에 대해 관찰되는 밝기가 더 강해집니다. 이러한 경향은 그림 8에 표시된 반사율 곡선에 의해 표시되는 추세와 일치합니다. 화이트 밸런스의 영향으로 인해 대상 색상 개체의 맨 아래 행에 있는 일련의 중간 패치의 밝기는 조명에 따라 변하지 않습니다. .

무화과. 9. (a) P(λ)700, P(λ)780 및 P(λ)860의 조명으로 실험적으로 얻은 대상 색상 물체의 흑백 이미지 세트.

 

그림 9는 대상 색상 개체에 대한 삼자극값 P(λ)700, P(λ)780 및 P(λ)860 세트를 정의하는 데 사용되었습니다. 이 값은 카메라의 감마 함수가 1로 설정되었기 때문에 각각 그림 9(a), (b) 및 (c)의 이미지의 정규화된 픽셀 데이터에 해당합니다. 그림 10은 합성 이미지의 예를 보여줍니다. 간단한 조합 방법을 사용하여 구성되었습니다. 그림 10(a)는 P(λ)700, P(λ)780 및 P(λ)860의 값을 R, G 및 B 기본 신호에 각각 할당하여 구성됩니다. 그림 10(b)와 (c)는 이들 값을 각각 G, B, R 및 B, R, G에 할당하여 유사하게 형성됩니다. 그림 10(a), (b) 및 (c)는 각각 녹색, 파란색 및 빨간색의 모노톤을 보여줍니다. 즉, 원래 색상과 전혀 유사하지 않습니다.

무화과. 10. 단순 합성법을 이용한 합성 이미지의 예 NIR700, NIR780, NIR860은 (a) (R, G 및 B), (b) (G, B 및 R) 또는 (c) (B, R 및 G)에 할당됩니다.

 

 

그림 11은 제안한 알고리즘을 사용하여 그림 9의 3개의 근적외선 이미지에서 복원한 컬러 이미지를 보여준다. 24개의 패치는 MATLAB을 사용하여 제안한 알고리즘이 제시한 기준에 따라 3개의 그룹으로 분류된다. 그림 12(a), (b), (c)는 각각 그룹 I, II, III에 속하는 컬러 패치의 700~900nm에서의 반사율 곡선을 보여줍니다. 푸르스름하거나 초록빛이 도는 패치는 모두 가파른 기울기가 있는 그룹 I에 포함되는 반면, 붉은빛이 도는 노란빛 패치는 완만한 기울기와 큰 반사율 합계가 그룹 II에 포함됩니다. 완만한 ​​경사와 작은 반사율 합계를 갖는 나머지 패치는 그룹 III에 포함됩니다. 개별 색상 매핑 매트릭스 CMM1, CMM2 및 CMM3은 이후 세 그룹 모두에 대해 계산되었습니다. 노이즈 레벨은 각 패치를 구성하는 모든 픽셀에 3 × 20항 [17]의 다항 변환 모델을 적용하여 억제되었습니다. CMM1, CMM2, CMM3을 이용하여 24개 패치 모두의 L*, a*, b* 값을 Eq. (9). 그림 11은 복구된 L*, a*, b* 값을 MATLAB [18]을 사용하여 sRGB로 변환하여 얻은 sRGB 컬러 이미지를 보여줍니다.

무화과. 11. 제안된 알고리즘을 사용하여 3개의 근적외선 이미지에서 복구된 컬러 이미지.

 

 

한눈에 그림 11의 색상은 원래 패치의 색상과 매우 유사하게 보입니다. 그러나 일부 색상은 원본과 크게 다릅니다. 각 패치의 계산된 값(표 1)과 복구된 값 사이의 색상 차이 ΔE*ab는 Eq. (3)과 표 2에 나와 있습니다. 각 그룹의 평균 ΔE*ab도 표 2에 나와 있습니다. 그룹 I과 III의 패치에 대한 평균 ΔE*ab는 각각 3.5와 3.8입니다. 반면, 그룹 II의 패치에 대한 평균 ΔE*ab는 25.9로 다른 그룹의 결과에 비해 매우 높은 값입니다. 각 패치에 대한 색차는 각각 그림 13(a)와 (b)의 a*b* 평면에서 명도 차이 ΔL*와 색도 이동으로 분석된다. 그룹 II(mr, oy, r, y, m, w, 및 n8)은 도 13(a)의 명도 차이와 도 13(b)의 색도 이동 모두에 대해 비교적 큰 값을 나타낸다. Fig. 13(a)의 명도 차이에 대해 mr과 n8로 구성된 한 쌍의 색상이 반대 부호의 비슷한 값을 나타내었고, oy와 r로 구성된 다른 쌍에서도 같은 결과가 나타났다는 점이 흥미롭다. 그리고 세 가지 색상 세트; y, w 및 m은 유사한 결과를 보여줍니다. 이러한 결과는 그림 12(b)에서 볼 수 있는 것처럼 각 쌍의 700~900nm 파장 범위에서 반사율 곡선이 거의 구별할 수 없기 때문에 관찰되었습니다. mr과 n8로 구성된 한 쌍의 색은 반대 부호 값이 비슷한 값을 보였으며, oy와 r로 구성된 다른 쌍에서도 같은 결과가 나타났습니다. 그리고 세 가지 색상 세트; y, w 및 m은 유사한 결과를 보여줍니다. 이러한 결과는 그림 12(b)에서 볼 수 있는 것처럼 각 쌍의 700~900nm 파장 범위에서 반사율 곡선이 거의 구별할 수 없기 때문에 관찰되었습니다. mr과 n8로 구성된 한 쌍의 색은 반대 부호 값이 비슷한 값을 보였으며, oy와 r로 구성된 다른 쌍에서도 같은 결과가 나타났습니다. 그리고 세 가지 색상 세트; y, w 및 m은 유사한 결과를 보여줍니다. 이러한 결과는 그림 12(b)에서 볼 수 있는 것처럼 각 쌍의 700~900nm 파장 범위에서 반사율 곡선이 거의 구별할 수 없기 때문에 관찰되었습니다.

표 2. 원래 색상과 복구된 색상의 색상 차이

무화과. 12. 대상 색상 개체의 반사율 곡선은 각 그룹에 속합니다. (a) 그룹 I, (b) 그룹 II 및 (c) 그룹 III.
 

무화과. 13. (a) 밝기 ΔL의 색차 및 (b) a*b* 평면의 색도 이동.

 

 

24개 패치 모두에 대한 평균 색상 차이 ΔE*ab는 11.1입니다. 그러나 그룹 II에서 반사율 곡선을 구분할 수 없는 패치를 무시하면 평균 색차 ΔE*ab가 4.2로 감소하고 이 값은 디스플레이의 복잡한 이미지에 대한 허용 허용 범위 내에 있습니다[19, 20].

 

 

 

V. 결론

 

다중 근적외선 이미지에서 물체의 색상을 복구하는 알고리즘이 제안됩니다. 물체의 CIE 색상 좌표 L*, a*, b*는 다항식 회귀를 사용하여 다중 스펙트럼 근적외선 조명에서 캡처된 일련의 회색 이미지에서 복구됩니다. 제안한 알고리즘의 실현 가능성은 ColorChecker의 24색 패치를 이용하여 실험적으로 확인하였다. 24개의 모든 패치에 대해 얻은 평균 색상 차이는 ΔE*ab 단위로 11.1입니다. 값이 높은 7개의 패치를 무시하면 평균 색차 ΔE*ab는 4.2로 감소하고 이 값은 디스플레이의 복잡한 이미지에 대한 허용 허용 범위 내에 있습니다.

다음 연구에서는 ColorChecker DC의 무광택 페인트로 만든 169색과 같이 다른 연색성 차트를 사용하여 확장된 수의 색상 패치에 대한 타당성 테스트를 계속할 것입니다. 인공물 및 다양한 재료로 만들어진 자연 물체의 근적외선 반사 거동 또한 추가 연구에서 조사되어야 합니다. 또한, 조명기의 공간적 균일성은 렌즈 및 빔 성형 디퓨저와 같은 구성 요소의 광학 설계를 개선하여 향상될 수 있습니다[21]. 고해상도 카메라와 함께 사용되는 레이저와 같은 반치폭이 좁은 조명기가 제공하는 다중 스펙트럼 조명은 컬러 화질 향상에 도움이 될 것으로 기대된다.

참조

1. DL Schacter, DT Gilbert 및 DM Wegner, 심리학(Worth Publishers, New York, USA, 2009).
2. M. Vilaseca, J. Pujol, M. Arjona 및 FMM Verdu, "근적외선 다중 스펙트럼 이미지를 위한 색상 시각화 시스템", Proc. 2nd CGIV(말레이시아 페낭, 2004년 4월), pp. 431-436.
3. M. Vilaseca, JM de Lasarte, J. Pujol, M. Arjona 및 FMM Verdu, "근적외선 영역에서 자연 및 제조된 물체의 반사율 재구성 및 색상 시각화를 위한 다중 스펙트럼 시스템" Proc. AIC Color 10th Congress(스페인 그라나다, 2005년 5월), pp. 499-502.
4. V. Tsagaris 및 V. Anastassopoulos, "야간 색각을 위한 가시 및 적외선 이미지의 융합," Displays 26, 191-196(2005). https://doi.org/10.1016/j.displa.2005.06.007
5. J. Han 및 B. Bhanu, "움직이는 사람 감지를 위한 컬러 및 적외선 비디오의 융합", J. Elsevier Pattern Recognition 40, 1771-1784(2007). https://doi.org/10.1016/j.patcog.2006.11.010
6. X. Qian, Y. Wang 및 B. Wang, "색상 야간 시력을 위한 효과적인 대비 향상 방법", J. Elsevier Infrared Phys. & 기술. 55, 130-136 (2012). https://doi.org/10.1016/j.infrared.2011.10.007
7. Z. Chen, X. Wang 및 R. Liang, "RGB-NIR 멀티스펙트럼 카메라", J. Opt. Soc. 아메리카 22, 4985-4994 (2014).
8. A. Toet, "멀티밴드 ngihtvision 이미저를 위한 자연색 매핑", J. Info. Fusion 4, 155-166(2003). https://doi.org/10.1016/S1566-2535(03)00038-1
9. SR Dastjerdi, M. Ghanaatshoar 및 T. Hattori, "분할 실린더로 만든 정사각형 격자 광결정의 근적외선 서브파장 이미징 및 초점 분석", J. Opt. Soc. 한국 17, 262-268(2013). https://doi.org/10.3807/JOSK.2013.17.3.262 
10. Y. Nagamune, "이미지 캡처 장치 및 이미지 캡처 방법," 한국특허 제10-1381018호(2014)
11. CS McCamy, H. Marcus 및 JG Davidson, "연색성 차트", J. Appl. 사진 공학 2, 95-99(1976).
12. A. Richards, Alien Vision (SPIE, 벨링햄, 워싱턴, 미국, 2011).
13. T. Haran, "섬유 재료의 단파 적외선 확산 반사율", Physics and Astronomy Theses(Academic, Georgia State University Press, Georgia, USA, 2008).
14. RS Berns, Billmeyer 및 Saltzman의 색상 기술 원리(Wiley-Interscience, 2000).
15. T. Lillesand, RW Kiefer 및 J. Chipman, 원격 감지 및 이미지 해석, 6판. (와일리, 미국, 2007).
16. HR King, Computational Color Technology(SPIE, USA, 2006).
17. YJ Kim과 MR Luo, "디지털 스틸 카메라를 이용한 LCD 컬러 모니터의 특성화", Proc. AIC Color 10th Congress(스페인 그라나다, 2005년 5월), pp. 295-298.
18. S. Westland, C. Ripamonti 및 V. Cheung, MATLAB을 사용한 전산 색상 과학, 2판. (Wiley, 첸나이, 인도, 2012).
19. A. Kim, HS Kim, and SO Park, "다양한 색 품질 척도에서의 인지도 및 수용도 측정", J. Opt. Soc. 한국 15, 310-317 (2011). https://doi.org/10.3807/JOSK.2011.15.3.310 
20. 김도현, 김혜수, 박소, 김영주, "스틸 이미지의 지각적 품질", Proc. CIE 25차 세션(미국 샌디에이고, 2003년 7월), pp. 8-14.
21. 주주, 고재현, "직하형 LED 백라이트 적용을 위한 백색 LED 렌즈 패키지의 색상 균일성 분석", J. Opt. Soc. 한국 17, 506-512(2013). https://doi.org/10.3807/JOSK.2013.17.6.506