Enhancing VAEs for Collaborative Filtering: Flexible Priors & Gating Mechanisms

학위논문(석사)--서울대학교 대학원 :융합과학기술대학원 융합과학부(디지털정보융합전공),2019. 8. 서봉원.Since Matrix Factorization based linear models have been dominant in the Collaborative Filtering context for a long time in the past, Neural Network based CF Models for recommendation have started to gain attention recently. One branch of research is based on using deep generative models to model user preferences and Variational Autoencoders where shown to give state-of-the-art results. However, there are some potentially problematic characteristics of the current Variational Autoencoder for CF. The first is the too simplistic prior VAEs incorporate for learning the latent representations of user preference, which may be restricting the model from learning more expressive and richer latent variables that could boost recommendation performance. The other is the models inability to learn deeper representations with more than one hidden layer. Our goal is to incorporate appropriate techniques in order to mitigate the aforementioned problems of Variational Autoencoder CF and further improve the recommendation performance of VAE based Collaborative Fil-tering. We bring the VampPrior, which successfully made improvements for image generation to tackle the restrictive prior problem. We also adopt Gat-ed Linear Units (GLUs) which were used in stacked convolutions for lan-guage modeling to control information flow in the easily deepening auto-encoder framework. We show that such simple priors (in original VAEs) may be too restric-tive to fully model user preferences and setting a more flexible prior gives significant gains. We also show that VAMP priors coupled with gating mechanisms outperform SOTA results including the Variational Autoencoder for Collaborative Filtering by meaningful margins on 4 benchmark datasets (MovieLens, Netflix, Pinterest, Melon).최근 뉴럴넷 기반 협업필터링 추천알고리즘이 주목을 받고 있다. 그 중 한 갈래의 연구는 깊은 생성모형 (Deep Generative Model)을 이용해 사용자들의 선호를 모델링하는 방법이다. 이중 Variational Autoencoder를 (VAE) 이용한 방법이 최근 state-of-the-art (SOTA) 성능을 보여주었다. 그러나 VAE를 이용한 협업필터링 알고리즘은 현재 몇 가지의 잠재적인 문제점들을 지니고 있다. 첫 번째는 사용자 선호를 압축하는 잠재변수를 학습하는 과정에서 매우 단순한 사전분포를 사용한다는 것이다. 또 다른 문제점은 모델이 현재 여러 단을 이용한 깊은 인코더와 디코더를 사용하지 못하고 있다는 것이다. 본 연구는 최신기술들을 활용하여 앞선 문제점들을 해결하고 VAE를 이용한 협업필터링 알고리즘의 추천성능을 더욱 높이는 것이 목표이다. 본 연구는 협업필터링 문제에 더 복잡한 사전분포 (Flexible Prior)를 적용한 첫 연구로서, 기존의 단순한 사전분포가 모델의 표현력을 제한할 수 있으며 더 복잡한 사전분포를 정의함으로써 모델의 성능을 더욱 높일 수 있음을 보였다. 이를 위해 이미지 생성 문제에서 좋은 결과를 보인 VampPrior를 이용해 실험을 진행하였다. 또한 VampPrior를 Gating Mechanisim과 함께 사용하였을 때 기존 SOTA를 넘어서는 성능을 보임을 추천알고리즘에서 사용되는 대표적인 데이터셋들을 통해 보여준다.1 INTRODUCTION 1 1.1 Background and Motivation 1 1.2 Research Goal 3 1.3 Enhancing VAEs for Collaborative Filtering 3 1.4 Experiments 5 1.5 Contributions 5 2 RELATED WORK 7 2.1 Collaborative Filtering 7 2.1.1 Traditional methods & Matrix-Factorization based CF 8 2.1.2 Autoencoders for CF 12 2.2 Deep Generative Models (VAE) 17 2.2.1 Variational Bayes 18 2.2.2 Variational Autoencoder 18 2.3 Variational Autoencoder for Collaborative Filtering 20 2.3.1 VAE for CF 21 2.4 Recent research in Computer Vision & Deep Learning 24 2.4.1 VampPrior 24 2.4.2 Gated CNN 25 3 METHOD 28 3.1 Flexible Prior 29 3.1.1 Motivation 29 3.1.2 VampPrior 30 3.1.3 Hierarchical Stochastic Units 31 3.2 Gating Mechanism 32 3.2.1 Motivation 32 3.2.2 Gated Linear Units 34 4 EXPERIMENT 35 4.1 Setup 35 4.1.1 Baseline Models 35 4.1.2 Proposed Models 37 4.1.3 Strong Generalization 37 4.1.4 Evaluation Metrics 38 4.2 Datasets 38 4.3 Configurations 39 4.4 Results 40 4.4.1 Model Performance 40 4.4.5 Further Analysis on the Effect of Gating 44 5 CONCLUSION 45 Bibliography 47 국문초록 51Maste

The Efficiency of Hypermedia Material:Study on Hyperlink and Node that Affect User's Perception

하이퍼미디어 자료를 이용한 교육훈련이 다른 자료의 이용보다 효율적이란 연구는 많이 되어 왔으나 하이퍼미디어 자료의 효율적인 구성에 관한 연구는 미진한 실정이다. 이에 이 연구는 하이퍼미디어의 기본 구성요소인 하이퍼링크와 노드를 처리변수로 하고 사용자의 편의성과 유용성에 대한 인식을 종속변수로 하여 하이퍼링크의 숫자와 노드의 크기가 사용자의 하이퍼미디어 자료에 대한 유용성과 편의성 인식에 어떻게 영향을 미치는지에 대해 밝히고자 했다. 먼저 2×3 팩토리얼 디자인에 따라 각각 다른 처리변수의 조합을 가진 6개의 하이퍼미디어 자료가 구축이 되었으며 경영대 학생들을 대상으로 ?피窩? 하여 자료를 수집했다. 수집된 자료는 타당성 검사와 신뢰성 검사를 거친 뒤 통계적 분석을 하였다. 종속변수에 대한 상관관계가 검사되었으므로 다변량 분산분석으로 처리변수의 종속변수에 대한 통계적 유의성을 검사했으며 단변량 분산분석 중 이원배치분산분석으로 각각의 종속변수에 대한 처리변수의 영향을 검토했다. 인구통계학적 자료의 종속변수에 대한 상관관계가 발견됨에 따라 다변량 공분산분석과 단변량 공분산분석을 통해 인구통계학적 자료의 영향을 조사했다. 마지막으로 평균차이 분석을 통해 실험 참가자들의 선호도를 조사했다. 본 연구의 결과를 요약하면 처리변수는 사용자 인식 편의성과 인식 유용성에 영향을 미치고 하이퍼링크 수와 노드 크기가 하이퍼미디어의 설계에 중요한 요인인 것이 밝혀졌다.Many researches have been done to see if hypermedia training material is much more effective than the traditional training material. Only a few studies, however, on how to design effective hypermedia material have been performed so far. So this study would like to show the implications of the number of hyperlink and the size of node on the users' perceived usefulness and perceived easy of use on hypermedia training material. Six hypermedia training materials developed by 2×3 factorial design which has 6 combinations of each treatment level were used for experiments for the study After checking out the validity and reliability by factor analysis and Cronbach's alpha coefficients, statistical analysis has been done to test hypotheses of the study Multivariate analysis of variance (MANOVA) test was first done, because correlations among the survey items were found, and then univariate analysis of variance (Univariate ANOVA) test were performed to figure out the implications of treatment variables on a dependent variable. Multivariate analysis of co-variance (MANCOVA) and analysis of co-variance (ANCOVA) were tested, because the correlations between demographic data and one of dependent variables were found. Finally, experiment participants' preference was figured out by using the difference analysis of average. The result of the study showed the impotance of the basic components, hyperlink and node, of hypermedia training material for more efficient design.Many researches have been done to see if hypermedia training material is much more effective than the traditional training material. Only a few studies, however, on how to design effective hypermedia material have been performed so far. So this study would like to show the implications of the number of hyperlink and the size of node on the users' perceived usefulness and perceived easy of use on hypermedia training material. Six hypermedia training materials developed by 2×3 factorial design which has 6 combinations of each treatment level were used for experiments for the study After checking out the validity and reliability by factor analysis and Cronbach's alpha coefficients, statistical analysis has been done to test hypotheses of the study Multivariate analysis of variance (MANOVA) test was first done, because correlations among the survey items were found, and then univariate analysis of variance (Univariate ANOVA) test were performed to figure out the implications of treatment variables on a dependent variable. Multivariate analysis of co-variance (MANCOVA) and analysis of co-variance (ANCOVA) were tested, because the correlations between demographic data and one of dependent variables were found. Finally, experiment participants' preference was figured out by using the difference analysis of average. The result of the study showed the impotance of the basic components, hyperlink and node, of hypermedia training material for more efficient design

The Labor Union & its Effects on Human Resource Development Program

조직구성원들의 인적자원개발에 대한 욕구가 높아져 가면서 인적자원개발프로그램을 운영하는 데 있어서 노동조합의 중요성이 더해지고 있다. 본 연구는 인적자본패널자료를 활용하여 인적자원개발프로그램 운영의 효과가 노동조합의 인적자원개발프로그램에 대한 관여도에 따라 어떻게 달라지는 지 분석하여 노동조합의 중요성을 탐색하고자 한다. 인적자원개발프로그램에 대한 투자가 높아질수록 그리고 제공되는 인적자원개발프로그램이 다양해질수록 인적자원개발프로그램의 운영 성과가 향상되어 인적자본에 대한 투자의 긍정적 역할을 입증하였다. 노동조합의 인적개발프로그램 관여도는 인적자원개발프로그램에 대한 투자의 효과를 감소시키는 반면 인적개발프로그램의 다양성의 효과는 증가시켜 노동조합은 인적자원개발프로그램 운영에 일정한 역할을 하고 있다. 현 연구의 분석결과는 기업이 인적자원개발프로그램을 시행함에 있어서 노동조합의 역할과 기능에 대하여 다각도로 고민하여야 한다고 시사한다.The present study explores how labor unions influence the effects of human resource development(HRD) programs. The results of empirical studies reveal the mixed results about the labor union and HRD program effectiveness. On one hand, labor union has negative interactions with HRD investments; on the other hand, labor union improves the effectiveness of HRD programs when HRD programs are provided in various formats. Thus, in unionized workplaces, company managers must put emphasis on the labor unions when they design and implement HRD programs

Kinetic studies of the thermal decomposion of calcium hydride

학위논문(석사) - 한국과학기술원 : 재료공학과, 1976.2, [ [iii], 51 p. ]calcium hydride의 열분해 속도에 관한 연구를 T.G.A 를 사용하여 argon gas 분위기 중에서 행하였다. 770 ℃ ~ 830 ℃의 범위에서 여러가지 반응조건에 따른 열분해 곡선을 구하고 또 이에 미치는 분위기중의 수소분압, total flow rate,sample holder의 영향등을 조사하였다. 또 얻은 실험결과를 여러가지 가상한 reaction model과 비교하여 실제의 reaction mechanism을 추정하였는데 dyanamic argon 중에서 calcium hydride가 분해될때 반응속도를 지배할수 있는 step은 chemical reaction,gas film diffusion,product layer diffusion 등이 있지만 우선적인 mechanism은 여러가지 반응조건에 의해서 결정된다. 실험에서 얻은 결과는 다음과 같다. 1) 길이가 20 mm의 긴 sample holder를 사용했을 경우 분해 속도는 surface gas film을 통한 수소 gas의 확산에 의해서 지배되며 이때의 속도식을 fraction decomposed X와 t로 표시하면 $X=k_2ㆍt$가 되며 이때의 apparent activation energy는 약 47.6kcal/mole 로서 calcium hydride의 분해열과 같은 값이다. 2) 3mm의 짧은 sample holder를 사용했을 경우 반응속도는 계면의 화학반응에 의해 지배되며 속도식은 $1-(1-X)\frac{1}{3} = k_1 (1-P_{H_2}/P_{H_2} ˚)ㆍt$로 표시된다. 이때의 apparent activation energy는 약 60.6kcal/mole로서 분해열과 역반응 즉 $Ca + H_2 → CaH_2$ 반응의 activation energy를 포함한 값이다. 3) 위의 두 결과를 비교하면 역반응 즉 $Ca + H_2 → CaH_2$ 반응의 activation energy는 약 13kcal/mole이다.한국과학기술원 : 재료공학과

A study on the hysteresis phenomena in FeTi-type compounds-hydrogen system

학위논문(박사) - 한국과학기술원 : 재료공학과, 1985.2, [ [iii], 102 p. ]한국과학기술원 : 재료공학과