Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1225-4517(Print)
ISSN : 2287-3503(Online)
Journal of Environmental Science International Vol.28 No.1 pp.19-35
DOI : https://doi.org/10.5322/JESI.2019.28.1.19

Comparison of Bayesian Methods for Estimating Parameters and Uncertainties of Probability Rainfall Distribution

Youngmin Seo,Jaeho Park,Yunyoung Choi*
Department of Constructional and Environmental Engineering, Kyungpook National University, Sangju 37224, Korea
*Corresponding author: Yunyoung Choi, Department of Constructional and Environmental Engineering, Kyungpook National University, Sangju 37224, Korea Phone: +82-54-530-1443
21/08/2018 25/10/2018 28/11/2018

Abstract


This study investigates the performance of four Bayesian methods, Random Walk Metropolis (RWM), Hit-And-Run Metropolis (HARM), Adaptive Mixture Metropolis (AMM), and Population Monte Carlo (PMC), for estimating the parameters and uncertainties of probability rainfall distribution, and the results are compared with those of conventional parameter estimation methods; namely, the Method Of Moment (MOM), Maximum Likelihood Method (MLM), and Probability Weighted Method (PWM). As a result, Bayesian methods yield similar or slightly better results in parameter estimations compared with conventional methods. In particular, PMC can reduce parameter uncertainty greatly compared with RWM, HARM, and AMM methods although the Bayesian methods produce similar results in parameter estimations. Overall, the Bayesian methods produce better accuracy for scale parameters compared with the conventional methods and this characteristic improves the accuracy of probability rainfall. Therefore, Bayesian methods can be effective tools for estimating the parameters and uncertainties of probability rainfall distribution in hydrological practices, flood risk assessment, and decision-making support.



확률강우분포의 매개변수 및 불확실성 추정을 위한 베이지안 기법의 비교

서영민,박재호,최윤영*
경북대학교 건설환경공학과

    1. 서 론

    현재 수자원 설계 실무에서 사용되고 있는 강우빈도 분석은 빈도학파적 관점의 통계기법에 기초하여 이루어 지고 있다. 즉, 강우확률분포의 매개변수에 대한 불확실 성을 고려하지 않고 상수로 가정하여 수자원 설계에 필 요한 확률강우량을 추정하고 있다(Seo and Park, 2011). 이러한 가정을 기초로 하여 국내 수자원 실무에서는 모멘 트법(Method Of Moment, MOM), 최우도법(Maximum Likelihood Method, MLM), 확률가중모멘트법(Probability Weight Moment, PWM)과 같은 통계학적 매개변수 추 정기법들이 널리 사용되었다. 그러나 확률변수(random variables)와 마찬가지로 확률분포의 매개변수는 불확실 성을 필연적으로 내포하기 때문에 확률론적 또는 통계학 적인 방법을 통해 매개변수의 불확실성이 적절하게 설명 될 필요가 있다(Seo and Park, 2011). 베이지안 기법 (Bayesian method)은 확률분포의 매개변수를 확률변수 로 고려하며, 매개변수의 불확실성을 확률분포 또는 신 뢰구간으로 설명할 수 있다. 따라서 베이지안 기법은 기 존의 매개변수 추정기법들과는 달리 매개변수의 추정 및 불확실성의 정량화가 가능하기 때문에 보다 신뢰성 있는 매개변수 추정기법이 될 수 있다.

    확률수문량 분석에서 베이지안 기법을 적용한 기존 연구들을 살펴보면, Coles and Tawn(1996)은 극치강우 량의 거동을 파악하고 정량화하기 위하여 베이지안 분석 을 적용하였다. Coles and Peicchi(2003)는 극치분포 (extreme value distribution)를 이용한 확률강우 모델링 을 위하여 베이지안 분석을 적용하였다. Reis Jr.(2005) 는 불완전한 역사적 정보와 베이지안 지역회귀분석을 이 용하여 홍수빈도분석을 수행하였다. Muller et al.(2008) 은 강우깊이-지속기간-빈도곡선을 추정하기 위하여 베이 지안 마코프연쇄 몬테칼로(Markov Chain Monte Carlo, MCMC) 기법을 적용하였다. Kim and Lee(2008a)는 저수량 점 빈도분석을 위하여 베이지안 MCMC 기법과 Metropolis-Hastings (MH) 알고리즘을 적용하였다. Kim and Lee(2008b)는 저수량 지역빈도분석을 위하여 베이 지안 다중회귀분석을 적용하였다. Kim and Lee(2008c) 는 수위-유량관계곡선에 대한 불확실성을 정량화하기 위 하여 베이지안 회귀분석을 적용하였다. Kim et al.(2010) 은 극치강우 사상이 포함된 강우자료에 대한 빈도분석과 불확실성 저감을 위하여 베이지안 MCMC를 적용하였 으며, 그 결과를 최우추정치(maximum likelihood estimates)와 비교하였다. Seo and Park(2011)은 강우 확률분포의 매개변수에 대한 불확실성을 정량화하기 위 하여 베이지안 MCMC와 MH 알고리즘을 적용하였다. Seo(2011)는 홍수 위험도 분석에서 확률강우량의 불확 실성을 정량화하기 위하여 베이지안 MCMC 및 MH 알고 리즘을 적용하였으며, 그 결과를 부트스트랩(bootstrap) 기법과 비교하였다. Seo et al.(2011)은 공간통계모델 (geostatistical model)을 이용한 확률강우량의 공간분포 추정에서 매개변수의 불확실성을 정량화하기 위하여 베 이지안 기법을 적용하였다. Chung and Kim(2013)은 정보적 사전분포(informative prior distribution)를 이 용하여 극치강우량에 대한 베이지안 빈도분석을 실시하 였다. Isikwue et al.(2015)은 극치강우량 분포의 매개변 수 추정을 위하여 최우도법과 베이지안 기법을 비교하였 다. Ragulina and Reitan(2017)은 베이지안 기법을 이 용하여 일반화극치(Generalized Extreme Value, GEV) 분포의 형상매개변수에 대한 속성을 조사하였다. Alam et al.(2018)은 연최대유출량에 대한 GEV 모델의 사후 분포를 해밀턴 몬테칼로(Hamiltonian Monte Carlo) 기 법을 이용하여 추정하였다.

    본 연구에서는 확률강우분포의 매개변수 및 불확실성 을 추정하기 위한 베이지안 기법들을 비교하였다. 베이 지안 기법은 Random Walk Metropolis (RWM), Hit-And-Run Metropolis (HARM), Adaptive Mixture Metropolis (AMM), Population Monte Carlo (PMC) 가 적용되었으며, 기존의 매개변수 추정기법인 MOM, MLM, PWM과 매개변수 및 확률강우량 추정 결과를 비 교하였다. 이를 통해 수자원 설계 실무, 홍수위험평가 및 의사결정지원 등에서 확률강우량의 불확실성을 정량화 하기 위한 베이지안 기법들의 적용성을 평가하였다.

    2. 자료 및 방법

    2.1. 분석자료

    본 연구에서는 베이지안 기법을 이용하여 강우확률분 포의 매개변수 및 불확실성을 추정하고 기존 기법과의 비교를 통해 그 적용성을 평가하였다. 적용분석을 위하 여 금호강 유역 내에 위치한 영천 기상대(기상청)에서 관 측된 1973~2014년의 10분 단위 강우량 자료가 수집되 었다. 다음으로 지속기간별(10분, 1시간, 6시간, 12시간, 18시간, 24시간) 최대강우량을 산정하고 MLM을 이용 하여 강우확률분포의 매개변수를 추정하였다. 적합도 검 정 결과 Gumbel 분포가 최적확률분포로 결정되었다. Gumbel 분포로부터 100개의 강우량 값이 모의 발생되 었으며, 모의 발생된 강우량 값을 기존 및 베이지안 기법 에 적용하여 매개변수 및 불확실성을 추정하고 그 결과 를 비교하였다.

    2.2. 분석방법

    2.2.1. 베이지안 패러다임(Bayesian paradigm)

    베이지안 패러다임은 매개변수의 사전분포(prior distribution) 결정, 자료에 대한 확률모델과 사전분포를 이용한 사후분포(posterior distribution)의 모의, 사후분 포를 이용한 매개변수 추정으로 구성되는 베이지안 자료 분석을 위한 베이지안 추론(Bayesian inference)의 기본 구조를 말한다. 사후분포의 모의는 베이지안 패러다임의 가장 핵심적인 부분으로서 사후분포는 베이즈 정리 (Bayes’ theorem)를 이용하여 식 (1)과 같이 나타낼 수 있다.

    p ( θ | y ) = p ( y | θ ) π ( θ ) p ( y )
    (1)

    여기서, θ는 추정하고자 하는 확률분포의 매개변수, y 는 관측자료, p ( θ | y ) θ 에 대한 사후분포, p(y) 는 y에 대한 주변분포(marginal distribution)로서 정규화 상수 (normalizing constant)라고 불리며, π(θ) 는 매개변수 θ 에 대한 사전분포이다. p ( y | θ ) y에 대한 확률밀도함 수로서 보통 L ( θ ) p ( y | θ ) 와 같은 우도함수(likelihood function)로 나타낼 수 있으며, 매개변수에 의존하지 않 는 정규화 상수를 생략하면 식 (1)은 식 (2)와 같이 나타 낼 수 있다.

    p ( θ | y ) p ( y | θ ) π ( θ )
    (2)

    즉, 사후분포는 관측자료 y가 주어졌을 때 매개변수 θ 의 분포를 나타내며, 우도함수와 사전분포를 이용하여 모의하게 된다.

    2.2.2. Random Walk Metropolis (RWM)

    MH 알고리즘은 사후분포를 모의하기 위해 마코프 연쇄 (Markov chain)를 이용하여 종속표본(dependent sample) 을 발생시키는 알고리즘이다. MH 알고리즘 중 가장 널 리 사용되는 알고리즘은 RWM으로서 확률변수(또는 상 태변수) X 의 확률밀도함수가 평형분포(equilibrium distribution) π(x) 로 주어져 있을 때, π(x) 를 따르는 값들을 생성하기 위하여 다음과 같은 반복단계들로 구성 이 된다(Son, 2014).

    • 단계 1. 초기화 단계

      • 1) 제안분포(proposal distribution) q ( y | x ) 를 선택

      • 2) 초기치 X0 값 설정

    • 단계 2. 반복단계(i = 0, 1, …, n)

      • 1) Xi = x 이면 q ( y | x ) 에 의하여 후보값(candidate) y* 값을 생성

      • 2) 난수를 생성하여 α = min [ π ( y * ) π ( x ) , 1 ] 의 확률 로 X i + 1 = y * 라고 설정하고, 1 - α 의 확률로 Xi+1로 설정

    2.2.3. Hit-And-Run Metropolis (HARM)

    HARM 알고리즘은 RWM 알고리즘을 변형한 알고리 즘이다. HARM 알고리즘은 단위구(unit sphere) 상의 방 향을 무작위로 추출하고, 균등분포된 거리에 대하여 무작 위로 선택된 방향으로 제안분포를 생성한다. HARM 알 고리즘은 제안공분산행렬(proposal covariance matrix) 을 사용하지 않고 튜닝 매개변수(tuning parameter)를 필요로 하지 않는다. 따라서 HARM 알고리즘은 구조가 단순하고 처리속도가 매우 빠른 특징을 나타낸다. 특히, 서로 상관된 매개변수의 경우 깁스 샘플러(Gibbs sampler)보다 HARM 알고리즘에 의해 모의된 표본들 의 혼합이 더 양호하게 나타나는 것으로 알려져 있다 (Chen and Schmeiser, 1992;Gilks and Roberts, 1996). HARM 알고리즘은 다음과 같은 반복단계들로 구성된다(Gilks and Roberts, 1996).

    • 단계 1. 단위구 상의 k 차원의 단위벡터 et를 무작위 추출

    • 단계 2. 확률밀도 f ( r ) π ( X t + r e t ) 로부터 스칼라 값 rt를 무작위 추출

    • 단계 3. Xt+1Xt + rtet 로 설정

    2.2.4. Adaptive Mixture Metropolis (AMM)

    AMM 알고리즘은 Adaptive Metropolis (AM) 알고 리즘을 확장한 알고리즘으로서 Roberts and Rosenthal (2009)에 의해 제안되었다. AMM 알고리즘은 누적 현 매개변수(cumulative current parameter)와 그 외적을 이용하여 산점행렬(scatter matrix)을 갱신하며 다변량 정규제안분포(multivariate normal proposal)를 생성한 다. AMM 알고리즘의 이러한 특징은 많은 매개변수를 가질 경우 더욱 효율적인 모의를 가능케 하고 알고리즘 의 실행 속도를 개선하는데 기여한다. 제안분포는 적응 다변량 및 정적/대칭 단변량 제안분포(static/symmetric univariate proposal)라는 혼합요소를 가지는 혼합분포 가 되며, 알고리즘의 각 반복에서 혼합가중치(mixture weight)를 이용하여 결정된다. AM 알고리즘 및 d 차원 의 목표분포(target distribution)를 고려할 경우, AMM 알고리즘은 n번째 반복에서 식 (3) 및 (4)와 같은 제안분 포를 가지는 Metropolis 알고리즘을 수행한다.

    Q n ( x , ) = N ( x , ( 0.1 ) 2 I d / d ) , for n 2 d
    (3)

    Q n ( x , ) = ( 1 β ) N ( x , ( 2.38 ) 2 Σ n / d ) + β N ( x , ( 0.1 ) 2 I d / d ) , for n > 2 d
    (4)

    여기서, Σn은 목표분포에 대한 공분산 구조의 경험적 추정치이고, β는 보통 β = 0.05로 설정되는 양의 상수이 다. AMM 알고리즘에 대한 자세한 내용은 Roberts and Rosenthal(2009)를 참조할 수 있다.

    2.2.5. Population Monte Carlo (PMC)

    PMC 알고리즘은 매개변수와 중요함수(importance function)가 반복과정을 통해 동적으로 적응하는 적응중 요샘플링기법(adaptive importance sampling method) 이다. 기존의 중요샘플링(importance sampling)과는 달 리 PMC 알고리즘은 표본지표(sample index) 및 반복지 표(iteration index)에 따라 이전에 발생된 표본들에 근 거하여 중요분포(importance distribution)가 각각 다르 게 생성된다. 다른 MCMC 알고리즘과 비교하여 PMC 는 훨씬 더 적은 수의 반복실행을 필요로 하고, 수렴 및 에르고딕성(ergodicity)이 문제가 되지 않으며, 사후표본 (posterior sample)이 독립적이다. PMC는 다른 MCMC 알고리즘을 이용하여 얻은 결과를 개선할 수 있으며, 사 후분포의 분산을 감소시킬 수 있다. 반면에 PMC는 다른 MCMC 알고리즘에 비해 훨씬 더 많은 사전정보(prior information)를 필요로 한다. 따라서 MCMC 알고리즘 으로 수렴된 결과를 PMC 알고리즘을 이용하여 갱신하 는 것이 보다 효율적인 PMC 알고리즘의 적용이 될 수 있다. PMC 알고리즘의 주요 단계는 제안분포로부터의 표본추출, 중요가중치(importance weight)의 산정 및 정 규화, 중요가중치에 따른 재표본추출(resampling) 등으 로 구성된다. PMC 알고리즘을 정리하면 다음과 같다 (Cappe et al., 2004).

    t = 1, …, Ti = 1, …, n 에 대하여 다음 단계를 반 복한다.

    • 단계 1. 제안분포 qit를 선택

    • 단계 2. qit (x)로부터 x i ( t ) 를 발생시키고 가중치 ρ i ( t ) = π ( x i ( t ) ) / q i t ( x i ( t ) ) 를 계산 합계가 1이 되도록 ρ i ( t ) 를 정규화 가중치 ρ i ( t ) 를 이용한 복원추출을 통해 x i ( t ) 로부터 n개의 값을 재표본추출하여 표본 ( x 1 ( t ) , , x n ( t ) ) 을 생성

    2.3. 모델구축

    본 연구에서는 베이지안 기법(RWM, HARM, AMM, PMC)을 이용하여 강우확률분포의 매개변수를 추정하 고 그 결과를 기존의 방법(MOM, MLM, PWM)과 비교 하여 그 적용성을 평가하였다. 베이지안 분석을 실행하 기 위해서는 매개변수에 대한 사전분포가 미리 설정되어 야 한다. 사전분포는 크게 무정보적 사전분포(non -informative priors)와 정보적 사전분포(informative priors)로 구분할 수 있다. 사전분포를 구축하기 위한 사 전정보가 부족한 반면에 관측자료가 충분할 경우, 사전 분포보다 관측자료가 사후분포에 훨씬 더 영향을 미치는 경향이 있으며, 이러한 경우 무정보적 사전분포를 적용 하는 것이 보다 합리적이다. 따라서 본 연구에서는 베이 지안 분석을 위하여 무정보적 사전분포를 적용하였으며, 평균 0, 분산 1000을 가지는 정규분포를 사전분포로 설 정하였다. 또한 제안분포는 베이지안 분석에서 일반적으 로 채택되는 다변량 정규분포(multivariate norma1 distribution)를 사용하였다.

    한편, 베이지안 분석을 이용한 사후분포 추정에서 마 코프 연쇄의 초기값의 영향을 최소화하기 위해서는 마코 프 연쇄의 초기 부분을 제거할 필요가 있으며, 이러한 과 정을 번인(burn-in)이라고 한다. 본 연구에서는 마코프 연쇄의 초기값의 영향을 최소화하기 위하여 모의 시작값 으로 각 매개변수의 평균값을 사용하였다. 이러한 평균 값의 사용은 정상분포(stationary distribution)의 서포트 집합(support set) 내에서 마코프 연쇄를 시작할 수 있기 때문에 초기값의 영향을 크게 감소시킬 수 있으며, 따라 서 번인의 크기 또한 감소시킬 수 있다. 그러나 마코프 연 쇄가 초기에 수렴되더라도 충분한 번인을 설정하는 것이 시작값의 영향을 감소시키는데 효과적이기 때문에 본 연 구에서는 번인을 1,000, thinning을 100으로 설정하여 총 1,001,000개의 모의발생된 표본 중에서 10,000개의 표본을 매개변수의 사후분포를 추정하는데 사용하였다. 여 기서, thinning은 사후표본의 자기상관(autocorrelation) 을 감소시키고 사후표본의 개수를 감소시키기 위해 사용 되었다. 마코프 연쇄에서 높은 자기상관이 존재할 경우 정상분포로의 수렴속도가 느려지는 문제점이 발생하며, 정확한 사후분포의 추정을 위해서는 보통 매우 많은 개 수의 표본을 발생시키게 되어 매우 많은 양을 컴퓨터 메 모리를 사용해야 하는 연산 수행상의 문제가 발생하게 된다. 따라서 thinning 설정을 통해 자기상관을 감소시킴 으로써 마코프 연쇄의 수렴속도를 향상시킬 수 있으며 사후표본의 개수를 대폭 감소시킴으로써 원활한 메모리 사용 및 MCMC 효율의 향상을 가져올 수 있다. 본 연구 에서는 thinning 값을 다르게 설정하여 사후표본들을 추 출하고 각 thinning 값에 대한 사후표본의 몬테칼로 표준 오차(Monte Carlo Standard Error, MCSE)를 비교하여 사후요약통계치가 크게 변하지 않으면서 최소 MCSE를 가지는 thinning 값을 선택하였다.

    PMC 알고리즘은 다른 알고리즘에 비해 훨씬 많은 사 전정보를 필요로 한다. 본 연구에서는 PMC 알고리즘에 대하여 정보적 사전분포를 적용하기 어렵기 때문에 PMC 알고리즘을 효과적으로 적용하기 위해 MCMC 알 고리즘을 이용하여 수렴된 결과들을 PMC 알고리즘으로 갱신하는 방식으로 PMC 알고리즘을 적용하였다. 즉, RWM, HARM, AMM 알고리즘으로 수렴된 결과를 각 각 PMC 알고리즘의 모의를 위한 사전분포로 사용하였 다(이하 RWM-PMC, HARM-PMC, AMM-PMC로 각 각 표기).

    3. 결과 및 고찰

    3.1. 매개변수 추정 결과의 비교

    Fig. 1은 베이지안 기법을 이용하여 모의된 지속기간 12시간 강우량의 매개변수에 대한 자취도(trace plot)를 나타낸다. 자취도는 각 매개변수에 대하여 10,000개의 표본으로 구성된 마코프 연쇄의 상태변화를 시각적으로 나타낸다. Fig. 1의 자취도로부터 모든 베이지안 기법들 이 양호하게 혼합된 마코프 연쇄를 나타냄을 알 수 있다. 즉, 각 매개변수에 대하여 반복단계가 진행됨에 따라 마 코프 연쇄의 표본값이 평균값을 중심으로 불규칙적으로 거동하면서 정상분포를 근사함을 확인할 수 있다. 특히, 각 매개변수에 대하여 RWM-PMC, HARM-PMC, AMM-PMC 기법은 RWM, HARM, AMM 기법보다 훨씬 작은 분산을 나타냈다. 이러한 결과로부터 Gumbel 분포에 대한 매개변수 추정 시 RWM-PMC, HARM -PMC, AMM-PMC 기법은 RWM, HARM, AMM 기 법에 비해 매개변수의 불확실성을 크게 감소시킬 수 있 음을 알 수 있다.

    Tables 1~2는 기존 및 베이지안 기법을 이용한 매개 변수의 추정 결과를 정리한 것이고, Figs. 2~3은 베이지 안 기법을 이용하여 추정된 매개변수들의 분포를 상자그 림(boxplot)으로 나타낸 것이다. Table 1로부터 기존 방 법(MOM, MLM, PWM)에 의해 추정된 위치매개변수 (location parameter)에 대한 결과를 살펴보면, 지속기간 10분의 경우 세 기법이 비슷한 오차를 나타냈으며, 지속 기간 1시간, 6시간, 24시간의 경우 MOM, 지속기간 12 시간, 18시간의 경우 MLM이 상대적으로 작은 오차를 나타냈다. Table 2로부터 기존 방법에 의해 추정된 척도 매개변수(scale parameter)에 대한 결과를 살펴보면, 지 속기간 18시간을 제외하고 MLM이 상대적으로 작은 오 차를 나타냈다. 이러한 결과는 기존의 매개변수 추정기 법 중에서 MLM이 상대적으로 가장 정확한 매개변수를 추정함을 나타낸다.

    Table 1의 위치매개변수 추정결과에서 베이지안 기법 들(RWM, HARM, AMM, RWM-PMC, HARM-PMC, AMM-PMC)은 큰 차이를 보이지는 않았으나, 절대오차 측면에서 지속기간 10분의 경우 HARM-PMC, 1시간의 경우 RWM-PMC, 6시간의 경우 AMM, 12시간의 경우 AMM, 18시간의 경우 HARM-PMC, 24시간의 경우 HARM-PMC 기법이 우수한 매개변수 추정 결과를 나 타냈다. 표준편차, 몬테칼로 표준오차(Monte Carlo standard error, MCSE) 및 95% 신뢰구간의 폭(신뢰구 간의 상·하한계의 차) 측면에서는 위치매개변수에 대하 여 PMC 기법들이 RWM, HARM, AMM보다 우수한 결과를 나타냈다. 즉, 위치매개변수에 대하여 PMC 기법 들은 RWM, HARM, AMM보다 표준편차, MCSE, 신 뢰구간의 폭이 훨씬 작게 나타났다. 지속기간 10분의 경 우 AMM-PMC, 1시간의 경우 RWM-PMC, 6시간의 경 우 RWM-PMC, 12시간의 경우 RWM-PMC, 18시간의 경우 RWM-PMC, 24시간의 경우 RWM-PMC 기법이 표준편차, MCSE, 신뢰구간의 폭 측면에서 우수한 결과를 나타냈다.

    한편, Table 2로부터 척도매개변수에 대한 베이지안 추정 결과를 살펴보면, 척도매개변수의 경우 베이지안 기법들 사이에 큰 차이를 보이지는 않았으나, 절대오차 측면에서 지속기간 10분의 경우 AMM, 1시간의 경우 HARM-PMC, 6시간의 경우 HARM-PMC, 12시간의 경우 HARM-PMC, 18시간의 경우 AMM-PMC, 24시 간의 경우 AMM-PMC 기법이 우수한 매개변수 추정 결 과를 나타냈다. 척도매개변수에 대하여 표준편차, MCSE 및 95% 신뢰구간의 폭 측면에서 PMC 기법들은 RWM, HARM, AMM보다 우수한 결과를 나타냈다. 즉, PMC 기법들은 RWM, HARM, AMM보다 척도매 개변수에 대하여 표준편차, MCSE, 신뢰구간의 폭이 훨 씬 작게 나타났다. 지속기간 10분의 경우 AMM-PMC, 1시간의 경우 RWM-PMC, 6시간의 경우 RWM-PMC, 12시간의 경우 RWM-PMC, 18시간의 경우 RWM -PMC, 24시간의 경우 RWM-PMC 기법이 표준편차, MCSE, 신뢰구간의 폭 측면에서 우수한 결과를 나타냈 다. 이러한 결과들로부터 베이지안 기법들은 위치 및 척 도매개변수에 대하여 비슷한 추정결과를 나타낸 반면, PMC 기법들은 RWM, HARM, AMM 기법보다 매개 변수의 불확실성을 크게 감소시킬 수 있음을 알 수 있다.

    Fig. 4는 기존 및 베이지안 기법들의 매개변수 추정 결과로부터 절대오차를 비교한 것이다. 위치매개변수의 경우, 10분~24시간 지속기간에 대하여 종합적으로 고 려했을 때 기존 기법들이 베이지안 기법들보다 절대오차 측면에서 다소 우수한 결과를 나타냈다. 지속기간 10 분~12시간의 경우 베이지안 기법들이 비슷하거나 약간 우수한 절대오차를 보여주었으나, 지속기간 18~24시간 의 경우 기존 기법들이 우수한 절대오차를 나타내었다. 반면에 척도매개변수의 경우, MLM을 제외하고는 베이 지안 기법들이 MOM 및 PWM 기법에 비해 절대오차 측면에서 우수한 결과를 보여주었다. 특히, MOM 및 PWM 기법의 경우, 위치매개변수에 대하여 절대오차 측 면에서 베이지안 기법들보다 우수한 결과를 나타냈으나, 척도매개변수에 대해서는 베이지안 기법들보다 불량한 결과를 나타냈다. 기존 매개변수 추정기법들 중 MLM은 베이지안 기법들과 거의 비슷한 척도매개변수에 대한 절 대오차를 나타냈다. 모든 지속기간을 종합적으로 고려하 였을 때, 베이지안 기법들은 대체로 비슷한 절대오차 결 과를 보여주었으나 PMC 기법이 RWM, HARM, AMM 기법보다 약간 더 우수한 결과를 나타냈다.

    본 연구에서 얻은 매개변수 추정 결과를 종합하였을 때, 베이지안 기법들은 기존 매개변수 추정기법인 MOM 및 PWM 기법보다는 다소 우수하고 MLM 기법과는 비 슷한 매개변수 추정 결과를 보여주었다. 그러나 베이지 안 기법들은 기존 매개변수 추정기법들에서는 불가능한 매개변수의 불확실성을 확률분포 및 신뢰구간의 형태로 설명할 수 있는 장점을 가진다. 또한 베이지안 기법들은 서로 비슷한 매개변수 추정 결과를 나타내었으나, PMC 기법이 RWM, HARM, AMM 기법보다 다소 약간 우수 한 매개변수 추정 결과를 나타냈으며, 특히 PMC 기법은 RWM, HARM, AMM 기법과 비교했을 때 매개변수의 불확실성을 크게 감소시킬 수 있었다.

    3.2. 확률강우량 추정 결과의 비교

    Table 3은 매개변수 추정기법별 확률강우량 추정치에 대한 정확도를 네 가지 통계학적 성능평가지표를 이용하 여 비교한 것이다. 여기서, 통계학적 성능평가지표는 효 율성 계수(Coefficient of Efficiency, CE), 일치지수 (Index Of Agreement, IOA), 평균제곱근오차(Root Mean Square Error, RMSE), 평균절대오차(Mean Absolute Error, MAE)가 사용되었으며, 베이지안 기법들에 대한 확률강우량 추정치들은 각 기법별 매개변수에 대한 사후 표본들로부터 산정된 확률강우량 값들을 평균함으로써 결정되었다. 여기서, CE와 IOA는 1에 가까울수록, RMSE와 MAE는 0에 가까울수록 확률강우량 추정치의 정확도가 우수함을 나타낸다. 통계학적 평가지표에 대한 자세한 내용은 Dawson et al.(2007)을 참조할 수 있다. 한편, Fig. 5는 각 지속기간별로 매개변수와 확률강우량 에 대한 절대오차를 비교한 것이다.

    Table 3으로부터 지속기간 10분의 경우, 베이지안 기법들(RWM, HARM, AMM, RWM-PMC, HARM -PMC, AMM-PMC)은 CE = 0.878~0.891, IOA= 0.967~0.971, RMSE=2.433~2.570, MAE=2.331~2.452, 기존 기법들(MOM, MLM, PWM)은 CE=0.83 0~0.859, IOA=0.954~0.962, RMSE=2.770~3.039, MAE=2.635~2.879로서 베이지안 기법들에 대한 확률 강우량의 성능평가지표는 기존 기법들에 비해 상대적으 로 우수한 것으로 분석되었다. AMM, HARM 및 RWM 은 지속기간 10분에 대하여 다른 기법들보다 우수한 성 능평가지표를 나타냈으며, 특히 AMM의 경우, CE= 0.891, IOA=0.971, RMSE=2.433, MAE=2.331로서 가장 우수한 확률강우량 추정결과를 나타냈다. 베이지안 기법들의 경우, RWM, HARM, AMM이 RWM-PMC, HARM-PMC, AMM-PMC보다 약간 우수한 성능평가 지표를 나타냈으나 큰 차이를 보이지는 않았다. Fig. 5로 부터 베이지안 기법들은 기존 기법들에 비해 상대적으로 작은 확률강우량 추정 오차를 나타냈으며, 베이지안 기 법과 기존 기법들 사이의 오차의 차이는 재현기간이 커 짐에 따라 증가하는 것으로 나타났다. 지속기간 10분에 대하여 위치매개변수의 오차는 대체로 비슷한 반면 척도 매개변수의 오차는 기존 기법들이 베이지안 기법들보다 상대적으로 크게 나타났다. 따라서 지속기간 10분의 경 우, 척도매개변수의 오차가 확률강우량의 오차에 지배적 으로 작용하여 베이지안 기법들에 대한 확률강우량이 기 존 기법들에 비해 상대적으로 정확하게 추정된 것으로 판단된다.

    지속기간 1시간의 경우, MLM, HARM-PMC, RWM-PMC는 다른 기법들보다 우수한 성능평가지표를 나타냈으며, 특히 MLM의 경우, CE=0.983, IOA= 0.996, RMSE=2.173, MAE=2.033으로서 가장 우수한 확률강우량 추정결과를 나타냈다. 기존 기법 중 MOM과 PWM은 베이지안 기법들에 비해 상대적으로 열등한 성 능평가지표를 나타냈다. 특히, MOM은 CE=0.820, IOA=0.963, RMSE=6.973, MAE=6.305로서 지속기 간 1시간에 대하여 베이지안 기법 중 가장 확률강우량 추 정 정확도가 떨어지는 AMM의 CE=0.965, IOA=0.992, RMSE=3.063, MAE=2.838과 비교하더라도 상대적으 로 열등한 성능평가 결과를 나타냈다. 베이지안 기법들 의 경우, RWM-PMC, HARM-PMC, AMM-PMC가 성능평가지표에 기초하여 RWM, HARM, AMM보다 약간 우수한 확률강우량 추정 결과를 나타냈다. Fig. 5로 부터 MLM과 베이지안 기법들은 MOM과 PWM에 비 해 상대적으로 매우 작은 확률강우량 추정 오차를 나타 냈으며, 그 오차의 차이는 재현기간이 커짐에 따라 크게 증가하는 것으로 나타났다. 지속기간 1시간에 대하여 MOM과 PWM에 대한 척도매개변수의 오차는 다른 기 법들에 비해 상대적으로 매우 크게 나타났으며, 그 영향 은 확률강우량의 추정 결과에 지배적으로 작용하여 MLM과 베이지안 기법들의 확률강우량 추정 오차가 MOM과 PWM에 비해 상대적으로 매우 작게 나타난 것 으로 판단된다.

    지속기간 6시간의 경우, MLM, HARM, HARM-PMC 는 다른 기법들보다 우수한 확률강우량 추정결과를 나타 냈다. 특히, MLM의 경우, CE=0.806, IOA=0.960, RMSE=12.758, MAE=11.976으로서 가장 우수한 성능 지표를 나타냈다. MOM 및 PWM은 지속기간 6시간에 대하여 다른 기법들보다 열등한 확률강우량 추정 성능을 나타냈다. 또한 MOM은 CE=0.608, IOA=0.927, RMSE=18.162, MAE=16.795로서 베이지안 기법 중 가장 성능이 떨어지는 AMM-PMC의 CE=0.755, IOA=0.954, RMSE=13.743, MAE=12.820과 비교하 더라도 상대적으로 매우 열등한 확률강우량 추정 정확도 를 나타냈다. 베이지안 기법들은 CE=0.775~0.788, IOA=0.954~0.956, RMSE=13.365~13.743, MAE= 12.505~12.820으로 상대적으로 양호한 확률강우량 추 정 성능을 보여주었으며, 특히 HARM-PMC는 베이지 안 기법 중에서 가장 우수한 확률강우량 추정결과를 나 타냈다. Fig. 5로부터 MLM과 베이지안 기법들은 MOM과 PWM에 비해 상대적으로 매우 작은 확률강우 량 추정 오차를 나타냈으며, 그 오차의 차이는 재현기간 이 커짐에 따라 크게 증가하였다. 지속기간 6시간에 대하 여 MOM과 PWM은 다른 기법들에 비해 상대적으로 척 도매개변수의 오차가 크게 나타났으며, 위치매개변수의 오차는 대체로 비슷하게 나타났다. MOM과 PWM에서 나타나는 상대적으로 큰 척도매개변수 오차는 확률강우 량 추정치에 지배적인 영향을 주었으며, 따라서 MLM과 베이지안 기법들에 비해 확률강우량 추정오차가 상대적 으로 크게 나타난 것으로 사료된다.

    지속기간 12시간의 경우, 기존 기법들은 베이지안 기법 들보다 성능평가지표 측면에서 우수한 결과를 나타냈다. 특히, PWM은 CE=0.998, IOA=0.999, RMSE= 1.869, MAE=1.635로서 지속기간 12시간에 대하여 가장 우수 한 성능평가지표를 나타냈다. 그러나 Fig. 5로부터 기존 기법들 중 MOM은 작은 재현기간에 대해서는 베이지안 기법들에 비해 상대적으로 작은 확률강우량 추정 오차를 나타냈으나 재현기간 150년 이상에 대해서는 상대적으 로 큰 추정오차를 나타냈다. Fig. 5로부터 MOM은 위치 및 척도매개변수에 대한 오차가 다른 기법들에 비해 크 게 나타났으며, 이러한 매개변수의 오차는 재현기간 150 년 이상에 대하여 MOM의 확률강우랑 추정오차를 크게 증가시키는데 기여한 것으로 나타났다. 베이지안 기법들 은 CE=0.985~0.988, IOA=0.996~0.997, RMSE=4.357~4.830, MAE=4.291~4.707로서 대체 로 양호한 성능을 나타냈으며, 특히 HARM -PMC는 베 이지안 기법들 중 가장 우수한 확률강우량 추정결과를 나타냈다.

    지속기간 18시간의 경우, PWM, MOM, AMM-PMC 는 다른 기법들보다 성능평가지표 측면에서 우수한 결과 를 나타냈다. 특히, PWM은 CE=0.989, IOA=0.997, RMSE=4.890, MAE=4.845로서 가장 우수한 확률강우 량 추정결과를 나타냈으며, MLM은 CE=0.983, IOA= 0.996, RMSE=5.977, MAE=5.858로서 비교기법 중 가 장 열등한 결과를 나타냈다. Fig. 5로부터 베이지안 기법 들은 기존 기법들에 비해 상대적으로 큰 위치매개변수 오차를 나타낸 반면, 척도매개변수 오차의 경우 MLM과 HARM-PMC가 상대적으로 크게 나타났다. 이러한 매 개변수 오차의 영향은 확률강우량 추정결과에 영향을 주 어 재현기간이 커짐에 따라 MLM과 HARM-PMC에 대 한 확률강우량 오차의 증가량은 다른 기법들에 비해 증 가하는 것으로 나타났으며, 특히 재현기간 30년 이상부 터 MLM은 다른 기법들에 비해 확률강우량 추정오차가 상대적으로 크게 증가하는 것으로 나타났다. 따라서 지 속기간 18시간의 경우도 마찬가지로 척도매개변수의 오 차는 확률강우량 추정치의 정확도에 지배적인 영향을 미 치는 것으로 나타났다. 베이지안 기법들은 CE=0.984~0.987, IOA=0.996~0.997, RMSE=5.147~5.803, MAE=5.121~5.756으로서 대체로 양호한 성능을 나타 냈으며, 특히 AMM-PMC는 지속기간 18시간에 대하여 베이지안 기법들 중 가장 우수한 확률강우량 추정결과를 나타냈다.

    지속기간 24시간의 경우, 베이지안 기법들은 CE= 0.716~0.731, IOA=0.919~0.923, RMSE=27.987~28.742, MAE=25.672~26.308로서 기존 기법들의 CE =0.548~0.712, IOA=0.869~0.917, RMSE=28.946~36.306, MAE=26.424~32.929보다 우수한 성능평 가지표를 나타냈으며, 기존 기법들은 베이지안 기법들 중 가장 열등한 확률강우량 추정 성능을 나타낸 HARM-PMC보다도 열등한 확률강우량 추정결과를 나 타냈다. 특히, AMM-PMC는 CE=0.731, IOA=0.923, RMSE=27.987, MAE=25.672로서 지속기간 24시간에 대하여 비교기법 중 가장 우수한 확률강우량 추정결과를 나타냈다. Fig. 5로부터 기존 기법들은 베이지안 기법들 에 비해 상대적으로 작은 위치매개변수 오차를 나타냈으 나 척도매개변수의 경우 MLM과 PWM은 약간 큰 척도 매개변수 오차를, MOM은 상대적으로 큰 척도매개변수 오차를 나타내었다. 이러한 척도매개변수의 오차는 확률 강우량 추정오차에 영향을 주어 기존 기법들에 대한 확 률강우량 추정 오차의 증가량은 재현기간이 증가함에 따 라 베이지안 기법에 비해 상대적으로 크게 나타났으며, 특히 MOM과 PWM은 다른 기법들에 비해 매우 큰 확 률강우량 추정 오차를 나타냈다.

    지속기간별 확률강우량의 오차추정 결과로부터 Gumbel 분포에 대한 척도매개변수의 오차는 위치매개 변수에 비해 확률강우량의 오차에 지배적인 영향을 미치 는 것으로 나타났으며, 재현기간이 증가함에 따라 척도 매개변수의 오차로 인한 확률강우량의 오차는 크게 증가 하는 것으로 나타났다. 기존 기법 중 MOM은 지속기간 10분, 1시간, 6시간, 12시간, 24시간에 대하여, MLM은 지속기간 10분, 18시간, 24시간에 대하여, PWM은 지속 기간 10분, 1시간, 6시간, 24시간에 대하여 척도매개변 수에 대한 오차가 다른 기법들에 비해 상대적으로 크게 나타났으며, 이러한 특성은 해당 지속기간에 대하여 기 존 기법들에 대한 확률강우량 추정 오차가 베이지안 기 법들에 비해 크게 나타나는데 기여한 것으로 나타났다. 베이지안 기법들의 경우 지속기간 18시간에 대한 HARM-PMC를 제외하고는 기존 기법들, 특히 MOM 과 PWM에 비해 각 지속기간에 대하여 상대적으로 작은 척도매개변수 오차를 나타냈으며, 이러한 특성은 베이지 안 기법들이 양호한 확률강우량 추정 결과를 나타내는데 기여한 것으로 나타났다.

    Fig. 6은 전체 지속기간에 대하여 매개변수 추정기법별 확률강우량 추정의 정확도를 전반적으로 비교하기 위하 여 Table 3의 결과를 바탕으로 각 지속기간별 매개변수 추정기법들의 성능 순위를 합산한 순위합(rank sum)을 나타낸 것이다. 여기서, 순위합이 작을수록 확률강우량 추정의 정확도가 전체 지속기간에 대하여 전반적으로 우 수함을 나타낸다. 그 결과, 전체 지속기간을 고려했을 때 확률강우량 추정 측면에서 우수한 정확도를 나타내는 상 위 네 개의 기법은 RWM-PMC, HARM-PMC, HARM, MLM의 순으로 나타났으며, 기존 기법 중 MOM과 PWM은 베이지안 기법들에 비해 확률강우량 추정 정확도가 상대적으로 불량한 것으로 나타났다. 전 체 지속기간을 고려했을 때 베이지안 기법들은 MLM을 제외한 기존 기법들보다 우수한 확률강우량 추정 결과를 나타냄을 알 수 있으며, 기존 베이지안 기법들과 PMC 기법의 결합은 확률강우량 추정의 정확도를 향상시키는 데 효과적일 수 있음을 알 수 있다.

    4. 결 론

    확률강우분포의 매개변수 및 불확실성을 정량화하기 위하여 본 연구에서는 네 가지 베이지안 기법(RWM, HARM, AMM, PMC)을 적용하였으며, 그 결과를 기존 수자원 실무에서 널리 적용되고 있는 세 가지 매개변수 추정기법(MOM, MLM, PWM)과 비교하였다. 베이지 안 기법의 적용성 검토를 위하여 금호강 유역의 영천 기 상관측소로부터 수집된 10분 단위 강우량 자료를 이용한 적용 및 비교분석을 수행하였다.

    베이지안 기법들은 Gumbel 분포의 매개변수 추정에 있어서 기존의 MOM, MLM, PWM 기법과 비슷하거나 다소 우수한 결과를 나타냈다. 그러나 베이지안 기법들 은 기존 기법들에서는 불가능한 매개변수의 불확실성을 정량화할 수 있는 장점을 가진다. PMC 기법은 다른 베 이지안 기법들과 비슷한 매개변수 추정 결과를 나타내었 으나 다른 베이지안 기법들에 비해 매개변수의 불확실성 을 크게 감소시킬 수 있었다. 통계학적 성능평가지표 및 절대오차에 기초한 확률강우량 추정결과 비교로부터 모 든 지속기간에 대하여 일괄적으로 최고의 확률강우량 추 정성능을 나타내는 매개변수 추정기법은 존재하지 않았 으며, 지속기간에 따라 최적 기법은 상이하게 나타났다. MLM과 베이지안 기법들은 모든 지속기간에 대하여 대 체로 양호한 확률강우량 추정결과를 나타낸 반면, MOM 과 PWM는 지속기간에 따라 확률강우량 추정성능이 양 호하거나 또는 매우 불량하게 나타나면서 확률강우량 추 정성능이 지속기간에 따라 큰 편차를 보였다. 전체 지속 기간에 걸쳐 확률강우량 추정성능에 대한 순위합을 기초 로 비교한 결과, 확률강우량 추정성능 상위 네 개 기법은 RWM-PMC, HARM-PMC, HARM, MLM의 순으로 나타났으며, RWM-PMC는 모든 비교기법들 중에서 가 장 우수한 확률강우량 추정성능을 나타냈다. 한편, Gumbel 분포의 척도매개변수는 확률강우량 추정 결과 에 지배적인 영향을 미치는 것으로 나타났다. 즉, 척도매 개변수의 오차가 클수록 확률강우량의 오차는 크게 나타 났으며, 재현기간이 증가함에 따라 확률강우량의 오차는 더욱 증가하는 경향을 보였다. 베이지안 기법들은 기존 매개변수 추정기법들에 비해 대체로 척도매개변수에 대 한 정확도가 우수한 것으로 나타났으며, 이러한 특성은 확률강우량 추정치의 정확도를 향상시키는데 기여한 것 으로 판단된다. 반면, 기존 기법 중 MOM과 PWM은 척 도매개변수에 대한 정확도가 베이지안 기법들에 비해 상 대적으로 떨어지는 것으로 나타났다.

    따라서 베이지안 기법은 수자원 설계 실무, 홍수위험 평가 및 의사결정지원 등에서 신뢰성 있는 확률강우분포 의 매개변수 및 불확실성 추정을 위한 효과적인 분석도 구가 될 수 있을 것으로 판단된다. 본 연구는 단일 관측소 로부터 수집된 강우량에 대한 베이지안 확률분포 추정을 다루고 있으며, 무정보적 사전분포에 기초한 베이지안 MCMC의 적용으로 제한된다. 연구결과의 일반성을 강 화하기 위하여 더 많은 분포형과 강우관측소에 대하여 본 연구에서 적용한 기법의 적용성을 검토할 필요가 있 으며, 지역빈도분석에 대한 적용으로 확장할 필요가 있 다. 또한 정보적 사전분포의 구축방법에 대해서도 추가 적으로 연구될 필요가 있다.

    Figure

    JESI-28-19_F1.gif

    Trace plots for location and scale parameters (duration = 12 hr).

    JESI-28-19_F2.gif

    Boxplots for location parameter.

    JESI-28-19_F3.gif

    Boxplots for scale parameter.

    JESI-28-19_F4.gif

    Comparison of absolute errors for location and scale parameters.

    JESI-28-19_F5.gif

    Comparison of absolute errors for parameters and probability rainfalls.

    JESI-28-19_F6.gif

    Comparison of rank sum for the performance of probability rainfall estimation.

    Table

    Comparison of location parameters

    Comparison of scale parameters

    Comparison of performance indices for probability rainfall estimates

    Reference

    1. Alam, M. A. , Farnham, C. , Emura, K. , 2018, Bayesian modeling of flood frequency analysis in Bangladesh using Hamiltonian Monte Carlo techniques , Water, 10, 900.
    2. Cappe, O. , Guillin, A. , Marin, J. M. , Robert, C. , 2004, Population Monte Carlo , J. Comput. Graph. Stat., 13, 907-929.
    3. Chen, M. , Schmeiser, B. , 1992, Performance of the Gibbs, hit-and-run and Metropolis samplers , J. Comput. Graph. Stat., 2, 251-272.
    4. Chung, E. S. , Kim, S. U. , 2013, Bayesian rainfall frequency analysis with extreme value using theinformative prior distribution , KSCE J. Civ. Eng., 17, 1502-1514.
    5. ColesS. G. , TawnJ. A. , 1996, A Bayesian analysis of extreme rainfall data, J. R. Stat. Soc . C-Appl., 45, 463-478.
    6. Coles, S. , Pericchi, L. , 2003, Anticipating catastrophes through extreme value modeling, J. R. Stat. Soc .C-Appl., 52, 405-416.
    7. Dawson, C. W. , Abrahart, R. J. , See, L. M. , 2007, HydroTest: A web-based toolbox of evaluation metrics for the standardized assessment of hydrologicalforecasts . Environ., Model. Softw., 22, 1034-1052.
    8. Gilks, W. R. , Roverts, G. , 1996, Strategies for improving MCMC, in: Gilks, W. R. , Richardson, S. , Spiegelhalter, D. (eds.), Markov chain Monte Carlo in practice, Chapman & Hall, Boca Raton, Florida, 89-114.
    9. Isikwue, M. O. , Onoja, S. B. , Naakaa, D. S. , 2015, Classical and Bayesian Markov chain Monte Carlo (MCMC)modeling of extreme rainfall (1979-2014) in Makurdi, Nigeria , Int. J. Water Res. Environ. Eng., 7, 123-131.
    10. Kim, S. U. , Lee, K. S. , 2008a, At-site low flow frequency analysis using Bayesian MCMC: I. Theoretical background and construction of prior distribution , J.Korea Water Resour. Assoc., 41, 35-47.
    11. Kim, S. U. , Lee, K. S. , 2008b, Regional low flow frequency analysis using Bayesian multiple regression ,J. Korea Water Resour. Assoc., 41, 325-340.
    12. Kim, S. U. , Lee, K. S. , 2008c, Identification of uncertainty in fitting rating curve with Bayesian regression , J. Korea Water Resour. Assoc., 41, 943-958.
    13. Kim, S. U. , Lee, K. S. , Park, Y. J. , 2010, Analysis of uncertainty of rainfall frequency analysis including extreme rainfall events , J. Korea Water Resour. Assoc., 43, 337-351.
    14. Muller, A. , Bacro, J. N. , Lang, M. , 2008, Bayesian comparison of different rainfall depth-duration-frequency relationships , Stoch. Env. Res. Risk A., 22, 33-46.
    15. Ragulina, G. , Reitan, T. , 2017, Generalized extreme value shape parameter and its nature for extreme precipitation using long time series and the Bayesianapproach , Hydrolog. Sci. J., 62, 863-879.
    16. ReisJr., D. S. , 2005, Flood frequency analysis employing Bayesian regional regression and imperfect historical information , Ph. D. Dissertation, Cornell University,New York, USA.
    17. Roberts, G. , Rosenthal, J. , 2009, Examples of adaptive MCMC , Comput. Stat. Data Anal., 18, 349-367.
    18. Seo, Y. M. , 2011, Risk analysis in water resources planning: Flood risk analysis with consideration ofrainfall uncertainty, Ph. D. Disseration, Yeungnam University, Gyeongsan, South Korea.
    19. Seo, Y. M. , Park, K. B. , 2011, Uncertainty analysis for parameters of probability distribution in rainfall frequency analysis by Bayesian MCMC and Metropolis Hastings algorithm , J. Environ. Sci. Int., 20, 329-340.
    20. Seo, Y. M. , Park, K. B. , Kim, S. , 2011, Uncertainty analysis of parameters of spatial statistical model using Bayesian method for estimating spatial distribution of probability rainfall , J. Environ. Sci. Int., 20, 1541-1551.
    21. Son, G. T. , 2014, Introduction to computational statistics using R, Freedom Academy, Inc.