吉岡 匠哉

土浦 宏紀

小林 広明

山下 毅

山崎 国人

曽根 秀昭

江川 隆輔

English

紀要類（bulletin）departmental bulletin pape

山下, 毅

山崎, 国人

江川, 隆輔

吉岡, 匠哉

土浦, 宏紀

小林, 広明

曽根, 秀昭

Tohoku University Repository (TOUR) / 東北大学機関リポジトリ

『銅酸化物の有効モデルに対する揺らぎ交換近似』コードのSX-ACE 向け最適化著者 山下 毅, 山崎 国人, 江川 隆輔, 吉岡 匠哉, 土浦宏紀, 小林 広明, 曽根 秀昭雑誌名 SENAC : 東北大学大型計算機センター広報巻 50号 1ページ 25-30発行年 2017-01URL http://hdl.handle.net/10097/00124989???????????????????????????SX-ACE??????? ? 1),?? ?? 2),?? ?? 3,4),?? ?? 2),?? ?? 2),?? ?? 4,3),?? ?? 3,4)1) ???? ????????, 2) ???? ????????,3) ???? ?????????????, 4) ???? ??????????yamacta@tohoku.ac.jpPerformance Optimization of “Fluctuation exchangeapproximation for an effective model for cuprates” codefor SX-ACE .Takeshi Yamashita1), Kunito Yamazaki2), Ryusuke Egawa3,4),Takuya Yoshioka2),Hiroki Tsuchiura2),Hiroaki Kobayashi4,3), Hideaki Sone3,4)1) Information Infrastructure Division, Information Department, Tohoku Univ.2) Graduate School of Engineering, Tohoku Univ.3) Cyberscience Center, Tohoku Univ.4) Graduate School of Information Sciences, Tohoku Univ.??FFT???????????????????Windows? Linux??????????? FFTW?????????????????? SX ????????? FFTW ???????????????????????????????????????????? SX-ACE??????????????????ASL????????????????? FFTW???????? SX-ACE??????????????????????????????? FFTW ??????????????????? ASL Wrapper ???? SX-ACE ??????????????SX-ACE??????????????????????????????1 ?????????????????????????????????????????????????????????NEC????????????????? SX-ACE??????????????????????????? NEC?????????????? LX406-Re2 ??????????????????????????????????????????????????????????? 1???????????????????????? 1999???????????????????????????????????????????????????????????????????????????????????????????????????????????????? 1 ? 1999 ?????????????????????????????????????????????????JHPCN??????????????????????????????????HPCI??????????????????????????????? 10 ????????????????????? JHPCN?HPCI????????????????????????????????????????????????????????JHPCN?HPCI ?????????????????????????????????????????????????????????????????????????????????????????????????SX-ACE????????????????［大学 ICT 推進協議会 2016 年度年次大会論文集より］—  25  —SENAC Vol. 50, No. 1（2017. 1）? 1 ???????????????????????????? SX-ACE LX406Re-2CPU?? ?? NEC????????? Intel(R) Xeon(R) E5-2695v2??? 4? 12????????? 276GFLOPS 230GFLOPS?????????? 256GFLOPS -??????? 256GB/sec 4.9GB/secADB / Cache 1MB/?? 30MB (L3)????? CPU? 1? 2????????? 276GFLOPS 460GFLOPS?????????? 256GFLOPS -????? 64GB 128GB??????? 256GB/sec 9.9GB/sec???????? 8GB/sec 7GB/sec?????? CPU? 2,560? 136????????? 706.6TFLOPS 31.3TFLOPS?????????? 655.4TFLOPS -????? 160TB 8.5TB??010203040??199920002001200220032004200520062007200820092010201120122013201420152016????JHPCNHPCI? 1 ?????????2 ????????????? SX-ACE ??????????????????????????????????????????????????????????????????????????????????? Fortran90??????????????? 950????????????????????????????2.1 ??????????????????????????????????????????????????????????????????????? 2 ????????????????????????????????????????? 2??????????????????????????fluctuation-exchangeapproximation????????????????????? Elisashberg??????????????????????????????????????????????????????????????????????????????????????????? [1] ??????????????????????????2.2 ??????????????????? Eliashberg ????????????????????????????????????????Nx ×Ny ×N? ? 3???????? 3?? FFT?????????????????????Nx, Ny, N? ????? 2 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????200K?50K ?? 10K ???? 16 ????????????3?? FFT??????FFTW??????????????????Lapack ????????????????????? Nx = Ny = 64, N? = 2, 048????????????Intel R⃝ Xeon R⃝ CPU E5-2630 v2??????? 7 ???????????????????????????????????????????? Nx, Ny ????? 30????N?????? 10 ???????????????????????????????????????—  26  — SENAC Vol. 50, No. 1（2017. 1）2.3 ???????????FFTW????? [2]??????????????????? FFT ??????????GNU ??????????????????????FFTW??????????????????????????????????? FFT ?????????????????????????????????????????????????? SIMD ??????????Intel R⃝ ? CPU??? Intel R⃝ ??????????????????????????LX406-Re2 ?? Intel R⃝CPU ???????Intel R⃝MKL ??????? FFTW ? Lapack ???????????????? FFTW ??????????????? MKL ??????????????????????????????????????? SX-ACE ???FFTW ????????????????????????????????FFTW ?????????????SX-ACE????????????????????????????? NEC ?? ASL?Advanced Scientific Library?? FFT ????????????????????????ASL Wrapper?????????? FFTW??????????????????????ASL? FFT????????????????3 ASL Wrapper3.1 ??ASL Wrapper? FFTW? Intel(R) MKL? FFT????????????????SX ?????????????????????ASL Wrapper ?Xevolver?????? [3]???????? v1.0r1.2?????????ASL Wrapper ????????FFTW ???? Intel(R) MKL ? FFT ??????????????????? SX-ACE ??????????????????SX ??????????????? ASL ???????????????????????????ASL????????????? 3?????????????????????? ZFC3FB ??????????????? FFTW ????????????? FFT????????????????????????? 2,3,5 ???????????????????????????? SX????????????????????????????????????????????????? ASL Wrapper??????????????????????????? 1??????????? N????? 65??????????????????????3.2 ????ASL Wrapper?????????????????? [4] ?????? tar ?????????????????????????????????????????????????????????????????????????????????????????????????Fortran ?????????????-Ep???????? C??????????????????4 SX-ACE?????????4.1 ????????ASL.V1.0 r1.2.tar ?????????????????????? ($HOME/ASL Wrapper/) ?????SX-ACE???????????????????????????????????????????? Lapack ????????????????? 1???????????????????????????????????????? 1 ASL Wrapper??????1 sxf90 -Ep -I$HOME/ASL_Wrapper/FFTW/include \2 source.f90 -L$HOME/ASL_Wrapper/FFTW/lib \3 -lfftw2asl -lasl -llapack -lblas4.2 FFT???????????????? LX406Re-2 ? SX-ACE ??????????????????????????????????????????????????????1 ?????????????????????????????????????????iTm=200??????????LX406Re-2 ?? Intell R⃝MKL ????????? FFTW ???????? Lapack ??????????????SX-ACE ?? ASL Wrapper ????????FFTW ?????????????FORTRAN90/SX ???????????????????????????????????????Lapack ?????? SX ????????? Math-Keisan ????????????????????? 2 ????ASL Wrapper ???? SX-ACE ??????????????????FFTW??????????????????????????? 2.5?????????SX????????? ASL??—  27  —『銅酸化物の有効モデルに対する揺らぎ交換近似』コードのSX-ACE 向け最適化? 2 ????????????FFT????????? ???? [sec]FFTW (Inlel MKL)on LX406Re-2 1,036FFTW usingASL Wrapperon SX-ACE 707FFTW compiled byFORTRAN90/SXon SX-ACE 1,830???????????ASL Wrapper???? ASL?????????????????????????????? SX-ACE ??????????????5 ???????????????5.1 ??????????????????????????????????????????FTRACE???????????????????????FTRACE ????????????????????????????-ftrace ??????FTRACE ??????????????????????????????????????????????????????ASL?????????? FTRACE?????????????????????????????????????????????????????????????????????????????5.2 ???????????????????? 2 ??????????????????????????????????????????????????????-R5???????????????? REGION A? 2??? 3??????????????????????? 2????????4?16?????DO?????? 1????2?????????????????????????????????????????? 2???????? 1?????????????????????????????????5????? 17 ????????????????????V?????????????????????????? 3????????????????????? complex ?? pointer ???????????????????????????????????????????????????? 4????????????????complex?????????????????????????????????????????????????????????????????? 5 ??????????*??? 2 ??????? W ?????????????? 2 ????????????????????????????????????REGION A? 2?????? 30????????? 2 REGION A???????1 ||| CALL FTRACE_REGION_BEGIN(’REGION A’)2 |||+---> do iw=0,Wm -13 |||| w=dble (2*iw+1)*pi*Tm4 ||||+--> do iky=0,N-15 |||||V-> do ikx=0,N-16 |||||| A Gdd(ikx ,iky ,iw)=(im*w-Ep(ikx ,iky ))&7 |||||| /((im*w-Ed-selfs3(ikx ,iky ,iw)) &8 |||||| *(im*w-Ep(ikx ,iky))-V(ikx ,iky ))&9 |||||| -1.0d0/(im*w-gza)10 |||||V- end do11 ||||+-- end do12 |||+--- end do13 |||14 |||+---> do iw=0,Wm -115 |||| w=dble (2*iw+1)*pi*Tm16 ||||+--> do iky=0,N-117 |||||V-> do ikx=0,N-118 |||||| A Gpp(ikx ,iky ,iw)=(im*w-Ed &19 |||||| -selfs3(ikx ,iky ,iw)) &20 |||||| /((im*w-Ed-selfs3(ikx ,iky ,iw)) &21 |||||| *(im*w-Ep(ikx ,iky))-V(ikx ,iky ))&22 |||||| -1.0d0/(im*w-gza)23 |||||V- end do24 ||||+-- end do25 |||+--- end do26 ||| CALL FTRACE_REGION_END(’REGION A’)??? 3 complex?pointer????????1 integer ,parameter ::N=64,Wm =20482 complex(kind(0d0)),pointer ::Gdd(:,:,:),Gpp(:,:,:)3 complex(kind(0d0)),pointer :: selfs3 (:,:,:)4 allocate(Gdd (0:N-1,0:N-1,0:Wm -1))5 allocate(Gpp (0:N-1,0:N-1,0:Wm -1))6 allocate(selfs3 (0:N-1,0:N-1,0:Wm -1))??? 4 complex??????????1 integer ,parameter ::N=64,Wm =20482 complex(kind(0d0)):: Gdd(0:N-1,0:N-1,0:Wm -1)3 complex(kind(0d0)):: Gpp(0:N-1,0:N-1,0:Wm -1)4 complex(kind(0d0)):: selfs3 (0:N-1,0:N-1,0:Wm -1)??? 5 REGION A?????????1 ||| CALL FTRACE_REGION_BEGIN(’REGION A’)2 |||+---> do iw=0,Wm -13 |||| w=dble (2*iw+1)*pi*Tm4 ||||W--> do iky=0,N-15 |||||*-> do ikx=0,N-16 |||||| A Gdd(ikx ,iky ,iw)=(im*w-Ep(ikx ,iky ))&7 |||||| /((im*w-Ed-selfs3(ikx ,iky ,iw)) &8 |||||| *(im*w-Ep(ikx ,iky))-V(ikx ,iky ))&9 |||||| -1.0d0/(im*w-gza)10 |||||* - end do11 ||||W-- end do12 |||+--- end do13 |||14 |||+---> do iw=0,Wm -115 |||| w=dble (2*iw+1)*pi*Tm16 ||||W--> do iky=0,N-117 |||||*-> do ikx=0,N-118 |||||| A Gpp(ikx ,iky ,iw)=(im*w-Ed &19 |||||| -selfs3(ikx ,iky ,iw)) &20 |||||| /((im*w-Ed-selfs3(ikx ,iky ,iw)) &21 |||||| *(im*w-Ep(ikx ,iky))-V(ikx ,iky ))&22 |||||| -1.0d0/(im*w-gza)23 |||||* - end do24 ||||W-- end do25 |||+--- end do26 ||| CALL FTRACE_REGION_END(’REGION A’)—  28  — SENAC Vol. 50, No. 1（2017. 1）5.3 ?????????????REGION A???? 2??? 3???????????3????????2????? 14??????????????3????? 15????????????????????3 ??????????????????????????????????????????????????????????????????-Chopt??????????????????????-pvctl loopfusion????????????????????????????????????????????????????????????????????????????????6????????????? 3????????????????????????? 6 REGION A????????1 ||| CALL FTRACE_REGION_BEGIN(’REGION A’)2 |||+---> do iw=0,Wm -13 |||| w=dble (2*iw+1)*pi*Tm4 ||||W--> do iky=0,N-15 |||||*-> do ikx=0,N-16 |||||| A Gdd(ikx ,iky ,iw)=(im*w-Ep(ikx ,iky ))&7 |||||| /((im*w-Ed -selfs3(ikx ,iky ,iw)) &8 |||||| *(im*w-Ep(ikx ,iky))-V(ikx ,iky ))&9 |||||| -1.0d0/(im*w-gza)10 |||||| ! end do11 |||||| ! end do12 |||||| ! end do13 ||||||14 |||||| ! do iw=0,Wm -115 |||||| ! w=dble (2*iw+1)*pi*Tm16 |||||| ! do iky=0,N-117 |||||| ! do ikx=0,N-118 |||||| A Gpp(ikx ,iky ,iw)=(im*w-Ed &19 |||||| -selfs3(ikx ,iky ,iw)) &20 |||||| /((im*w-Ed -selfs3(ikx ,iky ,iw)) &21 |||||| *(im*w-Ep(ikx ,iky))-V(ikx ,iky ))&22 |||||| -1.0d0/(im*w-gza)23 |||||* - end do24 ||||W-- end do25 |||+--- end do26 ||| CALL FTRACE_REGION_END(’REGION A’)2??? 3?????????? 3?????????????2???? 25??? 1?????????????????? 2 ?????????????????????????????????? FTRACE ???? 3 ???????????????????A-1??????????A-2????????????A-3??REGION A???????????????????A-2?????????A-1?????? FLOPS??? 2.8???????????????? 64 ?? 256 ???????????????????????????? N=64 ????????2??????????? 64 ? 64=4,096??????????? 256????????????????????????????????NETWORK)???? 32 ??? 2 ??????????????????????????????????????????????????????????????????????? FLOPS??? 2.8?????????????A-3?????????????????????????? FLOPS?? 4%???????5.4 ???????????????????????????? ASL?????? FFT??????????????? 2??????????????????????????N????? 64?? 65???????? 7 ???? FFT ????? REGIONB????????????????2 ???? 5 ?????? FFTW ????????????????ASL Wrapper ??????ASL???????????????? 7 REGION B1 || CALL FTRACE_REGION_BEGIN(’REGION B’)2 || call dfftw_plan_dft_3d(p,N,N,Wm,Gdd ,Gdd , &3 || FFTW_FORWARD ,FFTW_ESTIMATE)4 || call dfftw_execute(p)5 || call dfftw_destroy_plan(p)6 || CALL FTRACE_REGION_END(’REGION B’)? 4? N=64????????B-1?? N=65????????B-2?? FTRACE ????????????? 64 = 26 ????????????????????????? 1%?????????????? 65????????????????? 1/30??????????? 28%?????????FFT???????? REGION B??????? 9??????????????????5.5 ??????????????????????????? 2????????????????N ? 65 ????????????? 5 ???????????Program Information???????????????????????? 4%?????????????????????????????????????????????????? 30%??????????????? FFT ????????????????????????????????????????????????????????????????????? 2?????????????? 6??????????? 2???????????????ASL Wrapper ????? SX-ACE ??????????????? 7????????????????????????? 6.5%??????????—  29  —『銅酸化物の有効モデルに対する揺らぎ交換近似』コードのSX-ACE 向け最適化? 3 FTRACE REGION A?????PROC.NAME		FREQUENCY		EXCLUSIVE							AVER.TIME					MOPS			MFLOPS	V.OP		AVER.				VECTOR	I-CACHE	O-CACHE			BANK	CONFLICT				ADB	HIT																							TIME[sec](		%	)				[msec]																			RATIO	V.LEN						TIME				MISS				MISS	CPU	PORT		NETWORK			ELEM.%	REGION	A-1						2893				81.907(	11.6)					28.312		22048.5		13630.6	99.44		64.0				81.907			0.001			0.001				0.000			31.853				54.92	REGION	A-2						2893				29.389(		4.7)					10.159		61210.9		37988.7	99.83	256.0				29.388			0.000			0.000				0.000				1.707				49.99	REGION	A-3						2893				20.193(		3.3)						6.980		67385.5		39661.6	99.87	256.0				20.193			0.000			0.000				0.000				0.854				49.95? 4 FTRACE REGION B?????PROC.NAME		FREQUENCY		EXCLUSIVE							AVER.TIME					MOPS			MFLOPS	V.OP		AVER.				VECTOR	I-CACHE	O-CACHE			BANK	CONFLICT				ADB	HIT																							TIME[sec](		%	)				[msec]																			RATIO	V.LEN						TIME				MISS				MISS	CPU	PORT		NETWORK			ELEM.%	REGION	B-1							142			138.112(	22.4)			972.621			1408.9				659.4	98.56	213.6			137.976			0.001			0.051				2.425		112.758				33.33	REGION	B-2							142					7.998(		8.1)				56.725		43620.8		17917.9	98.37	230.1					7.895			0.001			0.038				0.177				2.123				70.10? 5 ?????????????????????Program	Information	???? ????	[sec] GFLOPS ????	[%] ???????????????	[%]?????????(CPU	PORT)	[sec]?????????(NETWORK)	[sec]???????? 707.18 2.69 4.20 77.24 98.68 9.99 495.47??????????? 614.98 2.55 3.99 194.56 99.26 9.71 459.71N=65???? 99.01 18.66 29.16 192.30 98.95 1.24 14.77? 6 ????????????????? (N=65)FFT????????? ???? [sec] ????? [?]FFTW (Inlel MKL)on LX406Re-2 986 1.05FFTW usingASL Wrapperon SX-ACE 99.6 7.14FFTW compiled byFORTRAN90/SXon SX-ACE 1,660 1.10???LX406Re-2??????????????????????????????SX-ACE????????????????????????????5.6 ????????????????SX-ACE???? Nx = Ny = 65, N? = 2, 048?????????????????????? 2.4GB?????????????????????????????????????????????????????? Nx = Ny = 2, 000, N? = 20, 480 ????????? 15TB ???????SX-ACE ??256??????????????????????????? MPI ?????????????????????????????????????????????6 ?????????????????????????????????? SX-ACE ???????????????ASL Wrapper????????FFTW??????????????????? SX-ACE ??????????????????? ASL ???????????????????????????????????SX-ACE ????? 30% ?????????????????????????????????????????????????? MPI???????????????????????????????????????????????????????????????????????????????????????[1] ?????????Nd2CuO4?? (T’ ??)????????????????????????????????????????????????? vol.49?No.5?333-344?2014?[2] FFTW?http://www.fftw.org[3] Xevolver?http://xev.arch.is.tohoku.ac.jp/[4] ASLWrapper?http://xev.arch.is.tohoku.ac.jp/software/—  30  — SENAC Vol. 50, No. 1（2017. 1）

『銅酸化物の有効モデルに対する揺らぎ交換近似』コードのSX-ACE 向け最適化

https://tohoku.repo.nii.ac.jp/?action=repository_action_common_download&item_id=127584&item_no=1&attribute_id=18&file_no=1

『銅酸化物の有効モデルに対する揺らぎ交換近似』コードのSX-ACE 向け最適化

Abstract

Similar works

Full text

Available Versions

Tohoku University Repository (TOUR) / 東北大学機関リポジトリ