須恵器3D-RGBA深層学習による導出クラスターおよび考古学型式分類の乖離およびマッチング

　須恵器の「型式」や「年代」は専門家によって判断基準や種類分別が異なる.「ヒトの判断が介在しない」深層学習クラスターモデルにより導出したクラスターと考古学専門家による「ヒトの判断基準による」分類型式との乖離を分析し専門家の分類基準の妥当性を検証することが本研究の目的である.　東京国立博物館所蔵完形・略完形須恵器の蓋および身計108点のスキャナー計測を行い, 深層複合クラスターモデルを開発し, クラスター解析を実行した. 　RGBを除いた形状のみデータでクラスターを出力,須恵器編年を大系化した中村浩氏の型式・年代分類とクラスターの混同行列を作成し論文発表した.クラスター分散は専門家の同じ型式分類で固まる傾向にある.横方向は専門家による型式分類, 縦方向はクラスター群を表す混同行列を作成した.　クラスターID3には専門家分類型式2-4,特に2-5が多く集中し,同様にクラスターID5には専門家分類型式2-1と2-2が集中する傾向が明らかとなった.一方その他のクラスターでは専門家分類型式が離散し,クラスターと専門家分類の大きな乖離がみられる.　モデルの畳込み計算で特徴量と誤差補正量を掛け合わせたGrad-CAMという可視化指標を用いて,須恵器のどの部分の指標が高いか検証した.いずれの資料も型式2-5である身底部中央緩やかな突起形状でクラスター化された可能性が高い.さらに代表者と協力者は自然言語モデルによる解析も進めている.今後は深層複合クラスターモデルの改良,専門家議論を自然言語モデルで取入れるAI評価モデルにより,型式学とAIが融合した新たな研究手法を開発する.（注）本要旨と掲載された発表資料は2022年8月16日にフランス・トゥール市にて発表された仏日考古研究会講演内容を同6月25日に開催された考古文化財ディープラーニング研究会の補足資料とする目的でリポジトリ公表され

須恵器スキャンデータの3D-RGBA 128x128x128解像度Voxelデータによる教師付き分類の試行

教師付き機械学習により、考古資料の分類を可能とすることを目的とする。東京国立博物館所蔵6世紀の完形・略完形須恵器の蓋および身計108点をスキャン解像度0.5mmにて計測を行った。それぞれのデータはRGBを除いた形状のみの3D-A 1283の解像度のVoxelデータに変換された。第46回大会発表「須恵器マルチヘッド・マルチタスク3D-2D-CNNモデルの開発」（以下「前回発表」）では計算資源の問題で低い解像度（643）の3Dデータを用いたのに対し、本発表は高解像度の3Dデータを用いた。データ拡張をほどこしたうえで『東京国立博物館所蔵須恵器集成』Ⅰ～Ⅲを参考に型式・年代分類を行って混同行列を作成した。結果は型式の正解率約53.8％、年代の正解率69.2％となり、ともに前回発表（型式約47.1％、年代約65.4％）よりも５％程度正解率の向上がみられた。ただし、資料数が少ないⅡ-１型式とⅡ-２型式については精度が悪い。すなわち、各型式・年代の資料数には偏りがあり、このことが結果に影響を与えたことが考えられる。そのため、少数派のデータクラスに対し損失関数に重み付けを行うことによって，それらが誤分類されたときの損失が大きくなるよう調整する（Weighted Loss Function）ことにより、解決を試みた。これにより、型式の正解率は約58.7％、年代については約71.2％となり、前回発表ならびに損失関数の重み付けを行わない結果よりも精度の向上がみられた。ただし、依然として資料数が少ない型式年代については精度が十分ではなく、今後不均衡データ対策など学習方法について改善を行う必要がある

須恵器坏3D-RGBA 128x128x128Voxelデータによる疑似ラベル教師付き分類+深層クラスターと専門家型式・年代分類との比較

考古学の研究基盤である実測図は、作図者の図化表現力に左右され、同じ遺物でも型式認定にブレが生じる原因となっている。本研究は実測図に依存しないデータサイエンスに基づく評価手法を確立することを目的とする。東京国立博物館所蔵6世紀の完形・略完形須恵器坏の蓋49点および身59点を光学スキャナー解像度0.5mmにて計測を行った。スキャン後にメッシュ出力されたデータをそのまま1283解像度Voxelデータに変換したデータに加え、読み取り時に生じたメッシュデータの穴等欠測部の補完を行ったデータも作成した。解析に供試されたデータは3D-RGBA（色情報あり・補完なし）、3D-A（色情報なし形状のみ・補完なし）および3D-A（色情報なし形状のみ・補完あり）の3種類である。エルボー法グラフ出力では3データ共にクラスター数6で顕著に折れ曲がることを確認し、クラスタ数を6とした。それぞれのデータを疑似ラベル教師付き分類+深層クラスターモデルによりクラスターを出力、須恵器編年を大系化した中村浩氏の型式・年代分類との混同行列を作成、導出クラスターの中村浩氏分類クラス散布図による解析も行なった。須恵器身の型式データではメッシュ補完前の色付きデータおよび色なしデータ共に、専門家分類の型式Ⅱ-4およびⅡ-5から成るクラスター、さらに型式Ⅱ-1およびⅡ-2から成るクラスターが導出されたが、メッシュ補完後データでは型式Ⅱ-1およびⅡ-2から成るクラスターが消滅した。このことは須恵器身口縁部のメッシュ形成時欠損構造がクラスターの特徴として認識されたものと推測される。須恵器身の年代データクラスター解析では全ての3種類データに専門家分類後葉のみで構成されるクラスターが導出された。また色なし補完なしデータで出現した前葉のみのクラスターは補完データでは消失し、型式クラスターと同様の事象が確認された。さらに型式・年代ともに色情報ありデータは色なしデータより、最も集中する行列セルのデータ数増加が認められた

統計的画像処理と機械学習による文化財のデジタル画像復元

　文化財は紫外線・赤外線等の照射エネルギー、温湿度の変化に由来した有機質素材の変質、作品表面への埃等異質物の沈着等さまざまな原因で褪色（経年劣化）する。それは、作品表層のオリジナルの着色・染色部分と肉眼との間に夾雑物が介在し可視領域が物理的に遮断されるためである。それをクリーニングすることが修理であるが、文化財に負荷をかけるだけでなく莫大なコストがかかる。このため褪色した文化財の大半は、調査研究や展示公開、修理されることなく収蔵庫内に死蔵されてきた。本発表では、実物作品に負荷をかけずに褪色前の復元画像を生成する方法を提案する。それは、①文化財画像を対象に無相関ストレッチによって色空間（カラープロファイル）を変更し、褪色した文化財のモチーフを鮮明化する。②色空間が変更された画像と褪色が進んでいない類似作品の画像を相互に真偽判定させる機械学習（CycleGAN）を通して、褪色前の文化財の復元画像を生成する。という２つの要素技術で構成される。　デジタル画像は、各ピクセルごとに光の３原色（RGB）の強さを数値化したもので表され、その光信号の強さは互いに相関性を持つ。これに、主成分分析と同じ理論に基づく統計的画像処理である無相関ストレッチによって画像解析することでモチーフを鮮明化する。しかし、色空間を人為的に変換するため、オリジナルの文化財の色彩情報も同時に変換され、文化財が持つ固有の美術的、資料的価値が失われてしまう。そこで、「教師無し学習」である機械学習によって変換前と変換後の色空間を一致させ、文化財の推定復元画像を生成することが可能になる。　この方法を検証するため、14万件の文化財情報と9万枚の画像を登録するColBase（国立文化財機構所蔵品統合検索システム）から、対象作品画像の収集と無相関ストレッチ解析を自動化するプログラムを開発し、紺紙金字経について実践した。それを踏まえた方法論的な課題と将来展望を紹介する