Advanced
Time-Frequency Analysis of Broadband Acoustic Scattering from Chub Mackerel Scomber japonicus, Goldeye Rockfish Sebastes thompsoni, and Fat Greenling Hexagrammos otakii
Time-Frequency Analysis of Broadband Acoustic Scattering from Chub Mackerel Scomber japonicus, Goldeye Rockfish Sebastes thompsoni, and Fat Greenling Hexagrammos otakii
Korean Journal of Fisheries and Aquatic Sciences. 2015. Apr, 48(2): 221-232
Copyright © 2015, The Korean Society of Fisheries and Aquatic Science
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial Licens (http://creativecommons.org/licenses/by-nc/3.0/)which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
  • Received : February 19, 2015
  • Accepted : April 10, 2015
  • Published : April 30, 2015
Download
PDF
e-PUB
PubReader
PPT
Export by style
Article
Author
Metrics
Cited by
TagCloud
About the Authors
대재, 이
daejael@pknu.ac.kr

Abstract
Broadband echoes measured in live chub mackerel Scomber japonicus , goldeye rockfish Sebastes thompsoni , and fat greenling Hexagrammos otakii with different morphologies and internal characteristics were analyzed in time and frequency domains to understand the species-specific echo feature characteristics for classifying fish species. The mean echo image for each time-frequency representation dataset obtained as a function of orientation angle was extracted to mitigate the effect of fish orientation on acoustic scattering. The joint time-frequency content of the broadband echo signals was obtained using the smoothed pseudo-Wigner-Ville distribution (SPWVD). The SPWVDs were analyzed for each echo signature of the three fish species. The results show that the time-frequency analysis provided species-specific echo structure patterns and metrics of the broadband acoustic signals to facilitate fish species classification.
Keywords
서 론
일반적으로 해중에 분포하는 어족생물로부터의 음향산란신호는 어종, 사용 주파수, 어류의 형상과 자세, 부레의 유무 및 체적의 변화 등에 따라 매우 불규칙하게 변동한다( Foote, 1980 ; Clay and Horne, 1994 ; Traykoyski et al., 1998 ; Jaffe, 2006 ; Nesse et at., 2009 ; Stanton et al., 2010 ). 특히, 해중에서 어류의 생물학적 습성과 패턴, 내부조직의 기능 등이 서로 독립적으로, 또는 동시에 변화하면, 이들 어류에 의한 음향산란신호의 주파수 성분은 시간에 따라 매우 불규칙하게 변동하는 비정상성(non-stationary) 패턴을 나타낸다. 더욱이 본 연구에서와 같이 어류에 의한 chirp echo 신호로부터 어종의 식별인자를 추출하고자 하는 경우에는 어떤 주파수 성분이 어떤 시간대에 출현하는가가 매우 중요한 요소이지만, 퓨리에 변환(Fourier transform)만에 의해서는 이들 정보를 정확하게 추출할 수 없다. 따라서, 최근에는 이와 같은 비정상성 신호를 해석하기 위해 시간-주파수 해석법이 널리 이용되는 있는데, 이 기법을 이용하면 어종식별에 필요한 음향학적 인자를 정량적으로 추출할 수 있다. 현재, 시간-주파수 해석에 가장 널리 이용되는 기법에는 STFT (short time frequency transform), WVD (Wigner-Ville distribution), SPWVD (smoothed pseudo Wigner-Ville distribution)등이 있다( Rihaczek, 1968 ; Imberger and Boashash, 1986 ; Safizadeh et al., 2001 ; Shui et al., 2007 ; Dong and Cui, 2012 ). 본 연구에서는 SPWVD 기법을 이용하여 chirp 어군 탐지기로부터 출력되는 음향산란신호에 대한 시간 및 주파수 성분을 2차원 전력 스펙트럼 밀도(power spectral density), 즉 spectrogram으로 나타낸 후, 이들 2차원 영상패턴으로부터 어종식별에 필요한 각종의 정보를 추출하였다. 즉, Hanning 윈도우를 chirp echo 신호에 중첩시켜 일정한 시간간격으로 이동시키면서 각 윈도우 세그멘트(segment)에 포함되어 있는 시간 및 주파수 성분을 추출하였다. 이 때, 어류의 chirp echo 신호에 대한 SPWVD의 시간-주파수 응답특성은 pseudo-colored image(pcolor)로서 나타내어 분석, 고찰하였다. 일반적으로 STFT의 spectrogram은 윈도우 길이(폭)에 따라 시간과 주파수 영역에 대한 해상도가 서로 영향을 받는 상충문제(trade-off)가 발생하기 때문에 최적의 윈도우 길이는 매우 중요한 요소가 된다. 이에 비해 SPWVD 기법은 시간과 주파수 윈도우의 길이를 자유롭게 선택할 수 있고, WVD 기법에 대한 교차간섭성분(cross-term interference)를 제거할 수 있는 장점이 있다.
따라서, 본 연구에서는 이와 같은 점에 주목하여 어종의 식별과 관련된 음향학적 파라미터를 정량적으로 추출하기 위한 목적으로, 먼저 chirp 어군탐지기를 이용하여 고등어, 불볼락 및 쥐노래미에 대한 chirp echo 신호를 수록하고, SPWVD 기법을 이용하여 각 어종에 대한 시간-주파수 echo 응답특성을 추출하여 분석하였다. 또한, 이들 응답패턴으로부터 추출된 각 어종 고유의 음향학적 식별인자에 대해서도 분석, 고찰하였다.
재료 및 방법
- 어류의 자세 변화에 따른 광대역 음향산란신호의 변동특성 측정
본 연구에서는 Lee et al. (2015) 이 구축한 chirp 어군탐지기를 사용하여 고등어, 불볼락 및 쥐노래미 등의 3개 어종을 대상으로 chirp echo 신호를 수록하고, 이들 각 음향산란신호에 대한 시간-주파수 응답특성을 분석, 고찰하였는데, 어류에 의한 산란신호의 자세각 의존성을 측정하기 위한 모식도는 Fig. 1 과 같다. 실험에 사용한 어류 중에서 고등어와 불볼락은 부레를 갖지만, 쥐노래미는 부레가 없는 어종이다. 이들 어류를 실험에 사용한 이유는 상업적으로 중요한 어종이라는 점도 있지만, 고등어는 단일 체임버(single chamber)를, 또한, 불볼락은 이중 체임버(double chamber)를 갖고 있기 때문에 부레의 형상에 따른 echo 생성패턴의 차이를 먼저 고찰한 후, 이들의 결과를 부레가 없는 쥐노래미의 echo 응답특성과 비교, 분석함이었다. 특히, 본 연구에서는 어류의 부레가 echo 응답특성에 지배적인 영향을 미친다는 점에 주목하여 어류의 자세, 즉, 부레의 자세 변화에 따르는 산란신호의 변동특성을 중점적으로 분석하였다. 이를 위해 Fig. 1 에서와 같이 각 어류에 대한 시간-주파수 echo 응답패턴을 ±25°의 자세각 범위에서 2.5° 간격으로 측정하여 분석, 고찰하였다. 이 때, 각 어종의 식별에 필요한 음향학적 파라미터는 ±25°의 자세각 범위에 대한 21개의 시간-주파수 응답패턴을 시간과 주파수 영역에서 각각 평균하여 얻은 평균화 echo 응답패턴으로부터 추출하였다.
PPT Slide
Lager Image
(a) Ray diagram for eleven angles of orientation for measuring the broadband echoes from live fish individuals. (b) The lateral and ventral radiographs for fish (goldeye rockfish Sebastes thompsoni) to be measured. The air-filled swimbladder, with double chambers, and the backbone, including the spines and ribs, can be seen as the dark and white shapes, respectively.
- 어류에 의한 광대역 음향산란신호의 시간-주파수 분석
시간에 따라 어류에 의한 음향산란신호의 주파수 성분이 끊임없이 변동하는 비정상성 신호인 경우, 그 신호의 변동패턴을 정확하게 이해하기 위해서는 어떤 주파수 성분이 어떤 시간대에 나타나는가를 추적, 분석하는 것이 매우 중요하다. 또한, 어류로부터의 산란신호와 같이 실수 값만을 갖는 초음파 신호를 주파수 변환하면 음(negative)의 주파수 성분이 나타나지만, 실제 이 음의 주파수 성분은 의미가 없기 때문에 효과적으로 처리할 필요가 있다. 따라서, 어류에 의한 음향산란신호 s ( t )를 Hilbert 변환하여 허수부를 생성하고, 이들 실수부와 허수부의 합으로 구성되는 해석함수 x ( t ) (analytic signal)를 생성하여 시간-주파 수 분석을 수행하였다. 즉, s ( t )의 Hilbert 변환을 H [ s ( t )]라 할 때, 해석함수 x ( t )는 x ( t ) = s ( t )+ jH [ s ( t )]에 의해 구할 수 있다 ( Safizadeh et al., 2001 ). 이와 같이 해석함수를 이용하면 산란 신호의 스펙트럼에서 음의 주파수 성분이 소거되기 때문에 결과적으로 스펙트럼의 음의 영역과 양(positive)의 영역 사이에 나타나는 교차간섭성분이 제거되기 때문에 어종식별정보를 추출하는데 매우 효과적이다. 본 연구에서는 SPWVD 기법을 이용하여 어류에 의한 음향산란신호를 분석할 때, 산란신호의 샘플링 주파수는 1 MHz, 주파수 bin 수는 128개, 평할 윈도우(smoothing window) 함수로서는 Hanning 윈도우를 이용하였는데, 그 윈도우 폭에 상당하는 샘플링 수( N )는 N =64로 설정하였다. 여기서 Hanning 윈도우를 선택한 이유는 Hamming 윈도우에 비해 윈도우 양 끝단(edges)에서의 신호억제효과가 더 우수하고, 또한, 윈도우의 N 값을 크게 할수록 윈도우가 중심 부분으로 더 강하게 집중되는 현상이 있기 때문이다( Schilling and Harris, 2000 ).
일반적으로 시간영역에서의 STFT 함수는 (1)식과 같이 정의 된다( McClellan et al., 1998 ; Costa et al., 2012 ; Han and Kim, 2010 ; Gavrovska et al., 2010 ).
PPT Slide
Lager Image
여기서 x ( t )는 어류에 의한 산란신호이고, t ω 는 시간과 각주파수(angular frequency, ω =2 πf )이다. 또한, w ( t = τ )는 t = τ 주변에 대한 윈도우 함수이다. 한편, (1)식의 시간영역에 대한 STFT를 이산(discrete) 영역으로 변환하면,
PPT Slide
Lager Image
이 되고, 여기서 m n 는 각각 τ t 에 대한 시간 index이고, x ( n )은 이산 어류 echo 신호, w ( n )는 이산 윈도우 함수이다. 따라서, 어류에 의한 산란신호 x ( t )의 전력스펙트럼 밀도, 즉 spectrogram은 (3)식과 같이 정의된다.
PPT Slide
Lager Image
한편, (2)식에 포함되어 있는 이산 윈도우 함수 w ( n )는
PPT Slide
Lager Image
으로 표시되는 Hanning 윈도우로서, N 은 윈도우 폭에 상당하는 샘플 수이다.
일반적으로 STFT 기법에 이용하여 어류에 의한 산란산호의 시간-주파수 분석을 수행할 때, 그 분해능(해상도)은 설정된 윈도우 폭에 의해 결정되고, 이 때, 시간과 주파수 영역의 분해능이 서로 상충되는 문제가 발생한다. 이 때문에 각 어류에 의한 음향산란신호 속에 포함되는 어종식별인자를 정량적으로 추출하기 위해서는 최적의 윈도우 폭을 실험적으로 파악할 필요가 있다. 따라서, 본 연구에서는 시간과 주파수 영역에 대한 분해능을 적정하게 선택하기 위하여 STFT 및 SPWVD 기법에 의한 산란신호의 시간-주파수 분석을 먼저 수행하였다. chirp echo 신호에는 어체의 형상, 내부 조직, 부레의 유무 등의 차이에 따라 매우 다양한 주파수 성분이 포함된다. 일반적으로 WVD 기법은 STFT 기법보다 더 양호한 시간과 주파수 분해능을 얻을 수 있지만, chirp echo 신호 속에 포함된 인접하는 주파수 성분 사이에 교차간섭성분이 발생하여 잡음성의 신호가 광범위하게 출현하는 문제가 있다. 이 때문에 여기서는 chirp echo 신호의 각 주파수 성분 사이에 나타나는 간섭성분을 효율적으로 억제 및 감소시킬 목적으로 SPWVD 기법을 이용하였는데, 최적의 시간 및 주파수 대역폭은 SPWVD 및 STFT 기법으로부터 도출한 시간-주파수 echo 응답특성을 서로 비교, 분석하여 추정하였다.
일반적으로 WVD 기법을 변형한 SPWVD 함수( Blaska and Sedlacek, 2001 ; Dong and Cui, 2012 )는
PPT Slide
Lager Image
에 의해 정의된다. 여기서, *는 시간 t 에 대한 컨벌루션(convolution)이고, 함수 g ( t )는 시간평활 윈도함수(time smoothing window function), h ( τ )는 시간영역에 있어서 주파수 평활 윈도함수(frequency smoothing window function)이다. (5)식의 컨벌루션을 적분으로 나타내면,
PPT Slide
Lager Image
와 같이 표시되고, 이 식을 이산화하여 나타내면( Shui et al., 2007 ),
PPT Slide
Lager Image
이 된다. 여기서 m k 는 각각 τ t 에 대한 시간 index이고, x ( n )은 이산화된 산란신호이다. (7)식을 이용하여 어류에 의한 산란신호의 시간-주파수 분석을 수행할 때, SPWVD 함수에 포함되어 있는 시간과 주파수 평활 윈도 함수 g ( k )와 h ( m )의 윈도폭을 변화시키면, 시간과 주파수 영역에 대한 분해능도 함께 변화한다. 이 때문에 본 연구에서는 chirp 어군탐지기에서 사용하는 chirp 펄스 신호의 sweep 주기( T )와 주파수 대역폭( B )를 바탕으로 어류에 의한 산란신호의 시간-주파수 분석에 필요한 최적의 윈도우 길이(Δ)를 (8)식에 의해 추정하였다( Rihaczek, 1968 ; Imberger and Boashash, 1986 .).
PPT Slide
Lager Image
(8)식에서 Δ는 윈도우 길이(샘플 bin 수)이고, fi ( t )는 순간 주파수 (instantaneous frequency)이며, fi ( t )/ dt 는 순간 주파수의 시간 변화율이다.
- 시간-주파수 echo 응답패턴으로부터 어종 식별정보의 추출
실험에 사용한 각 어류로부터 측정한 chirp echo 신호의 시간-주파수 echo 응답패턴의 모식도는 Fig. 2 와 같다. Fig. 2 의 echo 영상은 ±25°의 자세각 범위에서 2.5° 간격으로 측정한 21개의 시간-주파수 응답특성을 평균하여 얻은 평균 이미지 패턴이다. 따라서, 이 2차원 영상패턴에는 대상 어종에 대한 고유의 생물학적, 형태학적 및 음향학적 정보가 모두 포함되어 있고, 이것은 마치 인간의 얼굴이나 손가락 지문의 image 패턴과 같은 역할을 한다. 따라서, 이 영상패턴을 해당 어종과 결부시켜 해석하기 위해서는 이것이 묘사하고 있는 특징 파라미터, 즉, echo signature를 추출할 필요가 있다. 이 때문에 본 연구에서는 Fig. 2 에 나타낸 시간-주파수 응답패턴으로부터 최소 및 최대주파수, sweep 주파수, 최대 순간주파수의 대역폭(maximum instantaneous bandwidth), 시작시간, 종료시간, echo 응답의 지속시간(duration) 등의 파라미터를 추출한 후, 각 어종에 대한 이들 요소를 비교, 분석하였다.
PPT Slide
Lager Image
Parameters of the echo feature extracted from the timefrequency representation showing the species-dependent characteristics of fish.
결과 및 고찰
- STFT와 SPWVD 기법에 의한 chirp echo 신호의 시간-주파수 응답특성
불볼락으로부터 수록한 chirp echo 신호에 대한 STFT 및 SPWVD의 시간-주파수 echo 응답특성의 일례는 Fig. 3 과 같다. Fig. 3 (a) 에 나타낸 시간-주파수 응답특성, 즉, spectrogram의 윈도우 길이는 시간과 주파수 분해능을 결정하는 매우 중요한 요소이다. 만일, 윈도우의 길이가 너무 짧으면 시간 영역에 나타나는 echo 신호의 주파수 성분들이 서로 이끌려 달라붙은 smearing 현상이 나타나 주파수 분해능이 급격히 저하한다. 이와 반대로, 윈도우 길이가 너무 길면, 주파수 분해능은 매우 향상되나 주파수 대역에 나타나는 echo 신호의 시간 성분들이 서로 이끌려 달라붙은 smearing 때문에 시간 분해능이 급격히 저하한다. 즉, spectrogram에서는 윈도우 길이를 조정하여 시간 분해능을 높이면 주파수 분해능이 저하하고, 그 반대로 주파수 분해능을 높이면 시간 분해능이 저하하는 현상(trade-off)이 필연적으로 나타난다. 본 연구에서는 펄스폭 약 0.3 ms, 주파수 대역폭 220 kHz (75-295 kHz)의 chirp 펄스신호를 이용하여 어류에 의한 산란신호를 수록하였지만, 사용한 음향변환기의 FOM (figure of merit) 특성으로 인해 90 kHz 이하의 저주파수 대역과 230 kHz 이상의 고주파수 대역에 대한 echo 응답 특성이 급격히 저하하는 문제가 발생하였다. 이 때문에 chirp 어군탐지기의 송∙수파 응답특성에 가장 적합한 윈도우 길이를 실험적으로 도출하였다. 즉, FOM 응답신호의 펄스폭과 sweep 주파수 대역폭이 각각 약 0.23 ms와 140 kHz (90-230 kHz)이므로, 이 값을 이용하여 Hanning 윈도우에 대한 최적의 길이(Δ)를 (8)식으로부터 추정한 결과, Δ=57이었다. 이 윈도우 길이를 기준으로 Δ 값을 가감하면서 시간-주파수 응답특성을 측정한 결과, 본 연구의 chirp 어군탐지기에 가장 적합한 윈도우 길이는 Δ= 64인 것으로 확인되었다. Fig. 3 (a) (b) 는 각각 이 윈도우 길이(Δ= 64)을 이용하여 STFT와 SPWVD 기법으로부터 구한 시간-주파수 echo 응답특성이다.
PPT Slide
Lager Image
Time-frequency representations (TFRs) of the broadband echoes from goldeye rockfish Sebastes thompsoni. (a) Short time Fourier transform (Hanning window, h=62 points), (b) Smoothed pseudo Wigner-Ville distribution (Hanning window, g=h=62 points).
Fig. 3 에서 STFT와 SPWVD에 의한 echo 응답특성을 서로 비교, 분석해 볼 때, SPWVD에 의한 응답특성에 대한 시간 및 주파수 분해능이 STFT에 의한 그것보다 더 양호함을 알 수 있었고, 이 결과를 토대로 본 연구에서는 SPWVD 기법에 이용하여 chirp echo 신호의 시간-주파수 분석을 수행하였다.
- 고등어, 불볼락, 쥐노래미에 대한 어종식별정보의 추출
chirp 어군탐지기를 사용하여 Fig. 1 에 나타낸 −25°부터 +25°까지의 자세각 범위에서 고등어에 의한 chirp echo 신호를 2.5°간격으로 수록한 결과는 Fig. 4 와 같다. Fig. 4 에서 종축은 산란신호의 진폭(V), 횡축은 시간(ms)이고, 1~21의 번호는 자세각에 상당하는 산란신호의 수록번호이다. 즉, 번호 1은 자세각 −25° (head-down), 번호 11은 자세각 0° (normal aspect), 번호 21은 자세각 +25° (head-up)에 대한 산란신호이다. 고등어에 대한 X-ray 영상으로부터 산출된 부레 경사각은 11.9°로서, Fig. 4 에서 부레의 길이 축과 수직인 법선 방향, 즉 음파가 부레에 수직으로 입사하는 방향(normal aspect)에 대한 산란신호의 수록번호는 16이다. Fig. 4 에서 알 수 있는 바와 같이 산란신호의 파형은 음파가 부레에 수직으로 입사하는 수록번호 16번 부근에서 가장 큰 진폭을 나타내었고, 이 자세각으로부터 벗어남에 따라 점차 감소하는 경향을 나타내었다. Fig. 4 의 고등어에 의한 chirp echo 신호는 어체 내부의 근육조직, 척추골, 내장기관 및 부레 등과 같은 각 어체 조직으로부터 생성되지만, 그 중에서도 특히 주위의 다른 어체조직과의 음향 임피던스 차이가 가장 큰 부레로부터 강한 echo 신호가 생성된다( Foote, 1980 ). 즉, 어종에 따라 부레와 주변 어체조직 사이의 밀도 및 음속 contrast가 서로 다르기 때문에 각 어류에 대한 echo 응답특성 역시 어종에 따라 서로 다르게 나타난다. 본 연구에서는 이 점에 주목하여 Fig. 4 에 나타낸 음향산란신호의 파형을 분석하였다. 특히, Fig. 4 에서 chirp echo 신호는 부레(어체)의 자세각 변화에 따라 산란신호의 파형에 불규칙한 peak와 null이 나타나지만, 음파가 부레에 수직으로 입사하는 수록번호 16번 부근에 있어서는 peak와 null 패턴의 변화가 둔화되는 경향을 나타내었다. 이와 같은 자세각의 변화에 따른 echo 응답패턴을 더 정량적으로 분석하기 위해 Fig. 4 의 chirp echo 신호에 대한 SPWVD의 시간-주파수 응답패턴을 나타낸 결과는 Fig. 5 와 같다. Fig. 5 에서 종축은 주파수(kHz), 횡축은 시간(ms)이고, 1~21의 번호는 Fig. 4 에서와 같이 자세각에 상당하는 산란신호의 수록번호이다. Fig. 5 에서 적색으로 나타나는 영역은 부레와 그 주변 어체조직들로부터 생성된 수많은 산란신호 성분들이 수파기에 거의 동시에 수신됨으로서 이들 동위상(in phase)의 신호성분들이 서로 보강간섭을 일으켜 echo 응답이 강하게 나타난 부분이다. 이와 반대로 echo 응답패턴에서 불연속적으로 서로 분리되는 경계역이나 그 패턴이 위축, 또는 침식되는 경계역은 각 어체조직으로부터의 산란신호 성분들이 서로 다른 시간대에 수파기에 수신됨으로서 이들 역위상(out of phase)의 신호성분들이 서로 상쇄간섭을 일으켜 echo 응답이 급격하게 약화된 부분이다. 이와 같이 echo 응답이 강하게 출현하는 peak 위치와 약화되어 나타나는 null 위치는 어체나 부레의 자세각에 따라 매우 불규칙하게 나타나기 때문에 각 어종을 대표할 수 있는 시간-주파수 응답패턴을 얻기 위해서는 자세각에 따른 echo 신호의 변동성을 완화시킬 필요가 있다. Fig. 5 에서 알 수 있는 바와 같이 음파가 부레에 수직으로 입사하는 수록번호 16번을 중심으로, 그 전후의 13번~17번에 있어서는 서로 유사하면서도 매우 완만한 시간-주파수 echo 응답패턴을 나타내었지만, 이 입사각 범위를 벗어날수록 echo 응답패턴에는 매우 불규칙한 peak와 null 패턴이 복잡하게 출현하였다.
PPT Slide
Lager Image
Chirp echo waveforms measured as a function of angle of orientation in the dorsal plane of a chub mackerel Scomber japonicus. The strongest echoes occurred when the incident signal was perpendicular to the long axis of the swimbladder (No. 16). The echoes were measured at increments of 2.5° over an angle range of −25° (head-down, No. 21) to +25° (head-up, No. 1).
PPT Slide
Lager Image
Time-frequency representations for the broadband echoes measured over a range of −25° (No. 21) to +25° (No. 1) with 2.5° steps in the dorsal plane of a chub mackerel Scomber japonicus. The echoes showed the highest amplitude and simplest signature when the incident angle was perpendicular to the long axis of the swimbladder (No. 16). The complexity of the echoes in both the time and frequency domains increased as the aspect angle of the swimbladder moved away from the normal aspect (No. 16).
본 연구에서 사용한 chirp 어군탐지기의 송∙수신 모드에 대한 chirp 펄스신호의 응답특성, 즉, FOM 응답특성은 Fig. 6 과 같다. Fig. 6 에서 종축은 주파수(kHz)이고, 횡축은 시간(ms)이며, 응답패턴의 진폭은 0~10 V 범위의 상대진폭 레벨로서 나타내었다. 본 연구에서는 Fig. 6 의 FOM 응답특성을 이용하여 시간-주파수 echo 응답특성에 포함되어 있는 chirp 어군탐지기 자체에 기인하는 성분을 제거함으로서 어류만에 의한 시간-주파수 echo 응답패턴을 추출하였다. Fig. 6 은 시간 bin (Nx)과 주파수 bin (N)의 수를 각각 Nx=512과 N=128, 또한, 시간 평할 윈도우(time smoothing window, g)와 주파수 평할 윈도우(frequency smoothing window, h)의 bin 수를 g=h=64로 설정하여 얻은 결과이다. Fig. 6 의 FOM 응답특성에서 상대진폭 2 V를 역치레벨로 설정했을 경우, Fig. 2 에 나타낸 sweep 주파수는 117.2 kHz, 응답지속시간은 0.183 ms이지만, 역치레벨을 3.5 V로 설정했을 경우에는 sweep 주파수와 응답지속시간은 각각 82.03 kHz와 0.121 ms, 최대 순간 대역폭은 35.16 kHz, 또한, echo 응답패턴의 중심위치좌표는 [0.277 ms, 148.44 kHz]이었다.
PPT Slide
Lager Image
Time-frequency image for the calibrated broadband signal of a chirp echo sounder. The spectrogram was calculated using the smoothed pseudo Wigner-Ville Distribution with a Hanning window (time and frequency smoothing, g=h=64 points and frequency bins N=128 points).
한편, Fig. 5 에 나타낸 −25°부터 +25°까지의 자세각 범위에 대한 21개의 시간-주파수 응답패턴을 평균하여 각 어종에 대한 평균 시간-주파수 echo 응답패턴을 도출하였는데, 그 결과는 Fig. 7 과 같다. Fig. 7 에서 (a1) , (a2) , (a3) 는 각각 고등어, 불볼락, 쥐노래미에 대한 chirp echo 신호의 평균 시간-주파수 응답패턴을 나타낸 결과이다. 또한, (b1) , (b2) , (b3) (a1) , (a2) , (a3) 에 대한 각 어종의 평균응답패턴을 Fig. 6 의 FOM 응답패턴으로 정규화하여 얻은 결과이다. 즉, chirp 어군탐지기 자체의 응답성분을 제거하고 어류만에 의한 시간-주파수 echo 응답패턴(이후 시간-주파수 반사율 응답패턴이라 한다.)을 나타낸 결과이다. 본 연구에서는 Fig. 7 의 시간-주파수 응답패턴으로부터 Fig. 2 에서 정의한 어종식별인자, 즉, 최소 및 최대주파수, sweep 주파수, 최대 순간 주파수 대역폭, 시작시간, 종료시간, echo 응답의 지속시간 등을 역치레벨 3.5 V를 기준으로 추출하여 각 어종에 따른 차이를 분석, 고찰하였다. 먼저, Fig. 7 (a1) 에서 고등어의 경우, echo 응답의 시작 및 종료시간은 각각 0.198 ms와 0.309 ms (응답지속시간 0.111 ms), 최소 및 최대 주파수는 각각 97.66 kHz와 167.97 kHz (sweep 주파수 대역폭 70.31 kHz), 최대 순간 대역폭은 42.97 kHz, echo 응답패턴의 중심위치좌표는 [0.253 ms, 128.91 kHz]이었고, echo 응답의 급격한 감쇠는 [0.270 ms, 152.34 kHz] 부근에서 출현하였다. Fig. 7(a1) 에서 응답레벨이 가장 강하게 출현하는 응답패턴의 중심위치는 부레를 중심으로 모든 어체 조직들로부터 산란된 echo 성분들의 서로 보강간섭을 일으킨 위치로서, 이 위치는 어종에 따라 차이가 있기 때문에 어종식별인자로서 매우 중요한 역할을 한다. 또한, echo 응답이 급격히 감쇠하는 null 위치는 어체의 각 부위로부터의 echo 성분이 서로 상쇄간섭을 일으킨 위치로서, 이 위치정보 역시 어종에 따라 서로 다르기 때문에 어종식별정보로서 매우 중요한 파리미터이다. Fig. 7(a2) 의 불볼락에서는 echo 응답의 시작 및 종료시간이 각각 0.197 ms와 0.291 ms (응답지속시간 0.094 ms), 최소 및 최대 주파수는 각각 101.56 kHz와 164.06 kHz (sweep 주파수 대역폭 62.50 kHz), 최대 순간 대역폭은 35.16 kHz, echo 응답패턴에 대한 제1 및 제2 중심위치좌표는 각각 [0.225 ms, 117.19 kHz]와 [0.253 ms, 140.63 kHz]이었고, echo 응답의 급격한 감쇠는 [0.236 ms, 128.91 kHz]부근에서 출현하였다. 한편, Fig. 7(a3) 에서 쥐노래미의 경우, echo 응답의 시작 및 종료시간은 각각 0.209 ms와 0.273 ms (응답지속시간 0.064 ms), 최소 및 최대 주파수는 각각 125.0 kHz 와 167.97 kHz (sweep 주파수 대역폭 42.97 kHz), 최대 순간 대역폭은 31.25 kHz, echo 응답패턴의 중심위치좌표는 [0.235 ms, 144.53 kHz]이었고, echo 응답의 급격한 감쇠는 [0.197 ms, 125.0 kHz] 부근에서 출현하였다. 이들의 결과로부터 어종식별인자로서 가장 중요한 echo 응답의 지속시간과 sweep 주파수 대역폭, 또한 최대 순간 대역폭은 공통적으로 고등어에서 가장 컸고, 그 다음으로 불볼락, 쥐노래미의 순이었다.
PPT Slide
Lager Image
Time-frequency response patterns of broadband echoes from chub mackerel Scomber japonicus (a1), goldeye rockfish Sebastes thompsoni (a2) and fat greenling Hexagrammos otakii (a3) before (a1, a2, a3) and after removing (b1, b2, b3) the effect of transmitting and receiving characteristics of chirp echo sounder. The regions of x and z indicate the destructive and constructive effects.
한편, Fig. 6 의 FOM 응답패턴이 Fig. 7 의 고등어 (a1) , 불볼락 (a2) , 쥐노래미 (a3) 에 대한 시간-주파수 응답패턴과 중첩되는 영역, 즉, Fig. 7 (b1) , (b2) , (b3) 에 대한 매스킹(masking) 영역에서는 반사율 진폭이 대체적으로 1.5 V 보다 작은 값을 나타내었다. 그러나, Fig. 6 의 FOM 응답패턴이 Fig. 7 의 고등어 (a1) , 불볼락 (a2) , 쥐노래미 (a3) 의 echo 응답패턴과 중첩되지 않는 영역에서는 반사율 진폭이 1.5 V 보다 큰 값을 나타내었다. 즉, 어류에 의한 echo 응답 및 반사율 응답패턴은 어종에 따라 시간과 주파수 영역에서 서로 다른 변동특성을 나타내었다. Fig. 7 의 고등어 (b1) , 불볼락 (b2) , 쥐노래미 (b3) 에 대한 반사율 응답패턴을 살펴 볼 때, 어류에 의한 echo 응답이 FOM 응답 보다 시간과 주파수의 모든 영역에서 더 광범위하게 확산되어 나타났다. 이것은 chirp 펄스신호가 어체 내부에 입사하여 각 내장조직으로부터 산란된 후, 이들 각 산란성분이 수파기에서 보강 및 상쇄간섭을 일으켜 합성될 때, 산란진폭과 위상의 차이에 기인하는 주파수 편위와 시간지연이 동시에 발생하였기 때문이다. 특히, 이와 같은 현상은 어종에 따라 다르게 나타나기 때문에 이들 응답패턴의 차이는 어종을 식별하는데 있어 중요한 음향학적 인자가 된다. 먼저, 고등어 (b1) 의 경우, FOM 응답패턴의 위쪽에서는 [0.183 ms, 109.38 kHz] 부근부터 [0.313 ms, 195.31 kHz] 부근까지, 또한, 아래쪽에서는 [0.247 ms, 105.47 kHz] 부근부터 [0.345 ms, 179.69 kHz] 부근까지의 긴 벨트 모양의 영역에서 고등어 고유의 echo 응답성분이 출현하고 있음을 알 수 있다. 그러나, 불볼락에 대한 echo 응답성분은 고등어의 경우와 약간 다른 패턴으로 출현한다. 즉, FOM 응답패턴의 위쪽에서는 [0.197 ms, 109.38 kHz] 부근부터 [0.249 ms, 160.16 kHz] 부근까지, 또한, 아래쪽에서는 [0.245 ms, 109.38 kHz] 부근부터 [0.339 ms, 179.69 kHz] 부근까지의 영역에서 매우 좁은 띠 모양으로 출현하였다. 한편, 쥐노래미에 대한 어종 고유의 echo 응답성분은 고등어나 불볼락의 경우와는 전혀 다른 패턴으로 출현한다. 즉, FOM 응답패턴의 위쪽 [0.156 ms, 109.38 kHz] 부근에서 하나의 echo 응답성분이 독립적으로 출현하였고, 연이어 [0.186 ms, 132.81 kHz] 부근부터 [0.284 ms, 140.63 kHz] 부근까지, 또한, 아래쪽에서는 [0.222 ms, 109.38 kHz] 부근부터 [0.295 ms, 152.34 kHz] 부근까지의 영역에서 좁은 띠 모양으로 출현하였다. 이들의 결과로부터 볼 때, 고등어, 불볼락, 쥐노래미에 대한 각 어종 고유의 echo 응답패턴은 echo 성분의 집중도, 형상 및 출현위치 등이 어종에 따라 서로 다른 패턴을 나타내고 있는 점으로부터 이들의 파라미터는 어종을 식별하는데 있어 매우 중요한 음향학적 인자로서 활용될 수 있다고 판단된다.
Fig. 7 의 고등어 (a1) , 불볼락 (a2) , 쥐노래미 (a3) 에 대한 시간과 주파수 영역에 대한 echo 응답특성을 서로 구분하여 나타낸 결과는 Fig. 8 과 같다. Fig. 8 (a) 는 시간영역에 대한 echo 응답특성이고, (b) 는 주파수 영역에 대한 echo 응답특성으로서, 종축은 상대진폭레벨, 횡축은 시간(ms)과 주파수(kHz)이다. 먼저, Fig. 8 (a) 에서 고등어, 불볼락, 쥐노래미의 시간응답 peak는 각각 0.245 ms, 0.236 ms, 0.236 ms에서 출현하였고, 그 상대 진폭레벨은 각각 67.4, 66.0, 59.8이었다. 특히, 쥐노래미의 시간응답패턴에서는 echo 생성이 시작되는 0.125~0.19 ms 구간에 대한 레벨이 다른 두 어종에 비해 높았지만, peak 진폭 이후의 시간구간에서는 고등어, 불볼락, 쥐노래미의 순으로 응답레벨이 높았다. 또한, 고등어와 불볼락의 응답패턴에서는 각각 0.27 ms, 0.30 ms에서 일시적인 응답레벨의 변곡점이 출현하였고, peak 진폭에 대한 등가 펄스폭은 각각 0.111 ms, 0.102 ms, 0.089 ms로서, 고등어, 불볼락, 쥐노래미 순으로 컸다.
PPT Slide
Lager Image
Comparison of the echo response patterns for chub mackerel Scomber japonicus, goldeye rockfish Sebastes thompsoni and fat greenling Hexagrammos otakii in the time (a) and frequency domains (b).
한편, Fig. 8 (b) 에 대한 고등어, 불볼락, 쥐노래미의 주파수 응답에서는 2개의 peak 점이 거의 같은 패턴으로 출현하였는데, 제1 peak는 각각 132.81 kHz, 140.63 kHz, 144.53 kHz 에서, 또한, 제2 peak는 각각 117.19 kHz, 113.28 kHz, 113.28 kHz에서 출현하였다. 제1 및 제2의 상대진폭레벨은 각각 433.24, 428.61, 369.16과 419.56, 354.55, 214.82이었고, 순간적인 null 응답, 즉 응답진폭이 일시적으로 급격하게 감소하는 현상은 모든 어종에서 공통적으로 121.09 kHz에서 출현하였다. 이들, 주파수 응답특성에서 peak 레벨에 대한 등가 sweep 주파수 대역폭은 각각 67.39 kHz, 61.14 kHz, 56.33 kHz로서, 고등어, 불볼락, 쥐노래미 순으로 컸다. 이들의 결과로부터 시간과 주파수 응답특성에 대한 음향산란신호의 지속시간과 sweep 주파수 대역폭은 고등어에서 가장 컸고, 그 다음으로 불볼락, 쥐노래미 순이었다. 시간응답에서 보강간섭에 의한 강한 echo 응답은 약 0.24 ms 부근에서 나타났고, echo 응답을 약화시키는 상쇄간섭은 쥐노래미의 경우, 보강간섭의 이전에, 고등어와 불볼락은 그 이후에, 각각 나타남을 알 수 있었다. 주파수 응답에서는 산란신호를 가장 강하게 생성하는 보강간섭은 약 140 kHz와 약 117 kHz 부근에서 이중모드의 패턴으로 나타났고, 응답레벨을 약화시키는 상쇄간섭은 모든 어종에서 공통적으로 121.09 kHz에서 나타났는데, 이들의 파라미터는 어종을 식별하는 데 있어 중요한 음향학적 인자가 될 것으로 판단된다.
한편, 고등어, 불볼락 및 쥐노래미의 −25°와 +25°의 자세각 범위에서 측정한 총 21개의 chirp echo 신호에 대한 시간-주파수 응답특성의 평균 image 패턴은 Fig. 9 와 같다. Fig. 9(a) 에서 응답패턴의 진폭은 0~20 dB의 상대레벨로서 나타내었다. Fig. 9(b) Fig. 9(a) 의 시간-주파수 응답패턴을 3차원 영역의 공간상에서 서로 중첩시켜 나타낸 결과로서, 적색(as), 녹색(bs), 청색(cs)의 echo 응답패턴은 각각 고등어, 불볼락, 쥐노래미에 대한 평균 echo 패턴이다. Fig. 9(c) 는 각 어종별에 대한 Fig. 9(b) 의 3차원의 dataset를 주성분 분석을 통해 2차원 dataset로 축소하여 나타낸 결과로서, PC1은 제1 주성분, PC2는 제2 주성분이다. Fig. 9 (a) (b) 에서 알 수 있는 바와 같이 고등어, 불볼락, 쥐노래미에 대한 2차원 시간-주파수 응답패턴의 color contour map과 3차원의 시간-주파수 응답패턴을 서로 비교하여 볼 때, 12~20 dB 범위에 대한 color contour 영역의 면적은 고등어, 불볼락, 쥐노래미의 순으로 점차 감소하는 특성을 나타내고 있지만, 이들 응답이 출현하는 시간-주파수 영역은 서로 다른 패턴을 나타내었다. 본 연구에서는 주성분 분석을 이용하여 이들 어종별 시간-주파수 응답패턴으로부터 각 어종 고유의 식별인자를 추출하였다. 일반적으로 주성분 분석에서 제1 주성분은 최대의 분산, 즉, 다변량 데이터의 변동성을 가장 잘 설명하는 성분이고, 제 2 주성분은 제1 주성분과 직교하면서 잔여 변동성을 가장 잘 설명할 수 있는 성분이다. 이 점에 주목하여 본 연구에서는 3개 어종에 대한 3차원 echo 응답특성을 1차원 축소시켜 제1 및 제2 주성분으로 표시되는 2차원 scatter map으로 나타내었다. 이 때, 제1과 제2 주성분은 Fig. 9(b) 의 원래의 변수 데이터(시간, 주파수, 진폭) 정보를 99.87%까지 반영하고 있음을 알 수 있었다.
PPT Slide
Lager Image
(a) Spectrograms for broadband echoes measured from live individuals of chub mackerel Scomber japonicus (a1), goldeye rockfish Sebastes thompsoni (a2) and fat greenling Hexagrammos otakii (a3). (b) Scatter plot of the time-frequency dataset (as: chub mackerel, bs: goldeye rockfish, cs: fat greenling) in 3D space, (c) Projections of the points of the dataset on the PC1, PC2 (first and second principal components) plane of 2D space. The spectrograms are indicated as a relative level. The F1, F2 and F3 indicate the locations of center points.
Fig. 9(c) 의 2차원 scatter map으로 나타낸 시간-주파수 응답 특성에 대한 주성분 1 (PC1)과 주성분 2 (PC2)의 산포도에서 고등어, 불볼락, 쥐노래미의 중심좌표는 각각 [267.46, 5.30], [262.25, 5.96] 및 [231.27, 8.25]로서, 고등어와 불볼락에 대한 유클이드 거리(Euclidean distance)는 5.26이었고, 고등어와 쥐노래미에 대해서는 31.07, 불볼락과 쥐노래미의 경우에는 31.07이었다. 만약, 이들 어종 에 대한 유클이드 거리의 임계치를 5로 설정할 경우, 이들 3개 어종에 대한 시간-주파수 응답특성의 유클이드 거리는 모두 임계치보다 크기 때문에 이론적으로 이들 어종들은 서로 식별된다. 현재, 이와 관련된 보다 상세한 어종식별에 관한 이론적 및 실험적 연구는 진행 중에 있다. 한편, Fig. 9 (a) (b) 에 대한 각 어종별 시간-주파수 응답패턴을 이용하여 (a) 로부터는 상대 컬러 contour map을, (b) 로부터는 진폭의 정규화 패턴을 작성한 후, 일정 레벨 이상의 echo 응답이 출현하는 contour 영역의 면적산란계수을 산출하여 비교, 분석하였다. 그 결과, 고등어, 불볼락, 쥐노래미에 대한 면적산란계수의 비율은 각각 1:0.87:0.60이었다. 이들 중 부레를 갖는 고등어와 불볼락에 대한 면적산란계수의 비율을 부레의 체적과 연관시켜 살펴볼 때, 고등어와 불볼락의 부레체적( Lee et al., 2015 )은 각각 13.7 cm 3 과 11.7 cm 3 로서, 그 체적비는 1:0.854이었고, 이 값은 고등어와 불볼락의 시간-주파수 응답패턴에 대한 면적산란계수의 비율과 정확하게 일치하는 결과를 나타내었다. 이들의 결과로부터 고등어와 불볼락에 대한 시간-주파수 응답에 출현하는 echo contour 패턴은 해당 어류의 형태학적 차이, 그 중에서도 특히 부레에 의한 echo 응답특성과 밀접한 관계가 있음을 알 수 있었다. 따라서, 향후에는 chirp 어군탐지기를 사용하여 각 어종으로부터의 시간-주파수 echo 응답패턴을 수록하고, 주성분 분석과 인공 신경망을 바탕으로 한 패턴 인식기법을 도입하여 어종식별연구를 수행할 예정이다.
Acknowledgements
이 논문은 2013년도 정부(미래창조과학부)의 재원으로 한국연구재단의 기초연구사업 지원을 받아 수행된 것임(과제번호 NRF-2013R1A1A2004378).
References
Blaska J , Sedlacek M 2001 Use of the intergral transforms for estimation of instantaneous frequency Measur Sci Rev 1 169 - 172
Clay CS , Horne JK 1994 Acoustic models of fish: The Atlantic cod (Gadus morhua) J Acoust Soc Am 96 1161 - 1668
Costa J , Ortigueira M , Batista A , Paiva T 2012 Slip spindles detection: a mixed method using STFT and WMSD Intern J Bioelectrom 14 229 - 233
Dong Y , Cui Y 2012 Analysis of a new joint time-frequency distribution of suppressing cross-term Res J Appl Sci Eng Technol 4 1580 - 1584
Fassler SMM , Fernandes PG , Semple SIK , Brierley AS 2009 Depthe-dependent swimbladder compression in herring Clupea haengus obserbed using magnetic resonance imaging J Fish Bio http://dx.doi.org/10.1111/j.1095-8649.2008.02130.x 74 296 - 303    DOI : 10.1111/j.1095-8649.2008.02130.x
Foote KG 1980 Importance of the swimbladder in acoustic scattering by fish: A comparison of gadoid and mackerel target strengths J Acoust Soc Am http://dx.doi.org/10.1121/1.384452 67 2084 - 2089    DOI : 10.1121/1.384452
Gavrovska AM , Paskas MP , Reljin IS 2010 Determination of morphologically characteristics PCG segments from spectrogram image Teflor J 2 74 - 77
Han SK , Kim HT 2010 Efficient radar target recognition using a combination of range profile and time-frequency analysis Progress Electrom Res http://dx.doi.org/10.2528/PIER10071601 108 131 - 141    DOI : 10.2528/PIER10071601
Imberger J , Boashash B 1986 Application of the Wigner-Ville distribution to temperature gradient microstructure: A new technique to study small-scale variations J Physic Oceanography http://dx.doi.org/10.1175/1520-0485(1986)016<1997:AOTWDT>2.0.CO;2 16 1997 - 2012    DOI : 10.1175/1520-0485(1986)016<1997:AOTWDT>2.0.CO;2
Jaffe JS 2006 Using multi-angle scattered sound to size fish swimbladders ICES J Mar Sci http://dx.doi.org/10.1016/j.icesjms.2006.04.024 63 1397 - 1404    DOI : 10.1016/j.icesjms.2006.04.024
Lee DJ , Kang HY , Kwak MS 2015 Analysis and classification of broadband acoustic echoes from individual live fish using the pulse compression technique Kor J Fish Aquat Sci http://dx.doi.org/10.5657/KFAS.2015.0207 48 207 - 220    DOI : 10.5657/KFAS.2015.0207
McClellan JH , Schafer RW , Yoder MA 1998 DSP FIRST: A Multimedia Approach Prentice Hall NJ, USA 349 - 368
Nesse TL , Hobek H , Korneliussen RJ 2009 Measurement of acoustic-scattering spectra from the whole and pars of Atlantic mackerel ICES J Mar Sci http://dx.doi.org/10.1093/icesjms/fsp087 66 1169 - 1175    DOI : 10.1093/icesjms/fsp087
Rihaczek AW 1968 Signal energy distribution in time and frequency IEEE Trans Inform Theory IT-14 369 - 374
Safizadeh MS , Lepine A , Forsyth DS , Fahr A 2001 Time-frequency analysis of pulsed eddy current signals J Nondestruct Evaluat http://dx.doi.org/10.1023/A:1012244208475 20 73 - 86    DOI : 10.1023/A:1012244208475
Schilling RJ , Harris SL 2000 Applied Numerical Methods for Engineering Brooks/Cole CA, USA 497 - 500
Shui PL , Shang HY , Zhao YB 2007 Instantaneous frequency estimation based on directionally smoothed pseudo-Wegner-Ville distribution bank IET Radar Sonar Navig http://dx.doi.org/10.1049/rsn:20060123 1 317 - 325    DOI : 10.1049/rsn:20060123
Stanton TK , Chu D , Jech JM , Irish JD 2010 New broadband methods for resonance classification and high-resolution imagery of fish with swimbladders using a modified commercial broadband echosounder ICES J Mar Sci http://dx.doi.org/10.1093/icesjms/fsp262 67 365 - 378    DOI : 10.1093/icesjms/fsp262
Traykovski LVM , O’Driscoll RL , McGehee DE 1998 Effect of orientation on broadband acoustic scattering of Atlantic krill Euphausia superb: Implications for inverting zooplankton spectral acoustic signatures for angle of orientation J Acoust Soc Am http://dx.doi.org/10.1121/1.423726 104 2121 - 2135    DOI : 10.1121/1.423726