Kouji Sasaki

Mitsuru Ohkura

Mitsuru Shiono

オオクラ ミツル

ササキ コウジ

シオノ ミツル

佐々木 浩士

塩野 充

大倉 充

佐々木, 浩士

ササキ, コウジ

Sasaki, Kouji

大倉, 充

オオクラ, ミツル

Ohkura, Mitsuru

塩野, 充

シオノ, ミツル

Shiono, Mitsuru

AROUS Academic Repository of Okayama University of Science / 岡山理科大学学術リポジトリ

新聞画像のレイアウト解析に関する研究佐々木浩士＊・大倉充*＊・塩野充*＊＊岡山理科大学大学院工学研究科修士課程情報工学専攻＊*岡山理科大学工学部情報工学科（1998年10月５日受理））１．まえがき情報化社会の現代において，情報を入手する方法には様々なものがある。その例として，新聞や雑誌,ＴＶ，ラジオ等が挙げられる。最近ではコンピュータネットワークからの情報の入手が盛んになりつつあり，このため新聞を代表とする紙で流通していた`情報が，電子媒体を通して利用されることが多くなってきている。その新聞などの文書をコンピュータ上で作成する場合には，ワードプロセッサなどのハードウェア的な支援環境の発展は著しく，それらを利用し多くの人が容易に印刷文書並の文書を作成できるようになっている。特に，様々なエディタなどのソフトウェア的な処理環境は着実に発展している。ところが，作成された文書の利用（読む）のための支援環境に関しては，種々のＯＣＲが開発されているが，まだまだ研究段階にあると考えられる''2)。そこで本研究では，新聞画像を対象としてそこから記事中のキーとなる情報を自動的に抽出し分類するための，レイアウト解析について基礎的な検討を行う3)。２．使用データ本研究では,工業技術院電子技術総合研究所作成の文書画像データベースJEIDA93に含まれる，以下に示す４つのデータを使用した。朝日新聞第一面600dpil2925×9512pixels朝日新聞経済面600dpil3071×9504pixels毎日新聞第一面600dpil3052×9520pixels毎日新聞経済面600dpil3057×9544pixe1ｓこれらのデータは非常に大きいため，必要に応じて縮小して処理を行っている。図１に使用した朝日新聞第一面の新聞画像を示す。３．解析における問題点一般的に，新聞はページごとに異なったレイアウト構造を持っている。記事の構成にしても，見出しや文書，写真，表，グラフ等様々な領域を含んでいる。そのためこれらの領佐々木浩士・大倉充・塩野充398特殊な見出し＝￣マ…ﾏｰｰＢ〆・へ００」０ 繍蠅搬雛Imil■g1HHo：,.趣nmm 鼻息》鉄氏で`趣iIMi纏畷 鵜グラフ天気図ﾛ蝉!|甑鯏！図１朝日新聞第一面 図２新聞面像の特徴域の正確な抽出及び分類が必要である。また本研究で用いた新聞画像には広告の領域が含まれているために,この領域と上述した記事を構成する領域との区別が必要となってくる。広告の多くは新聞の下部に位置するが，記事内に含まれるものも存在するため，その区別は容易ではない。図２に新聞画像の特徴を示す。４．レイアウト解析の概要本研究におけるレイアウト解析では，新聞画像に対して(1)外接矩形の抽出，(2)各種領域の判定，(3)レイアウト状況の表示の順序で処理を行う。以下，各処理について説明を行う。４．１外接矩形の抽出入力された新聞画像に対して，雑音除去処理を行いその画像から８連結の黒画素に対してラベリング処理4)を行う。そしてラベル付けされた連結成分に外接する矩形を求める。方形領域の作成は図３に示すように，連結している黒画素の横方向の最小点sx，最大点ｅｘ，縦方向の最小点ｓｙ，最大点ｅｙを求めることによって行う。作成された方形領域から，矩形データとして図３と表ｌに示す左上のｘ座標，右下のｘ座標，左上のｙ座標，右下のｙ座標，矩形の高さ，幅，面積，矩形中の画素数という８種類のデータを取得する。後述の処理は，極力この矩形データにアクセスすることにより処理の高速化を計る。図４に朝日新聞第一面の外接矩形の抽出結果を示す。抽出される矩形数は約6000であり，図４の画像の場合は矩形数6227である。新聞画像のレイアウト解析に関する研究 399表１ 矩形データＸ特徴名 記号Ⅲ一口あ 左上のｘ座標 SＸ右下のｘ座標 ｅｘＳｅ 左上のｙ座標 sｙ右下のｙ座標 eｙ矩形の幅 ｗｄ矩形の高さ hｇ矩形の面積 ａｒｅａ矩形中の面素数 dnstｙ図３外接矩形特徴ロ‐ず 麺－，両仁iｉ 蕊＄●●白の」広げ■。ｂ》●》牙払マ企■》鷲鍵概 ■■・Ｆロ・■■・【日田弔奇．■・■ 屍．読蝿帆鞠卵Ⅲ醐醐咄箙！図４矩形抽出結果（ラベル数6227）４．２各種領域の判定前処理によって入手した外接矩形のデータを基に，直線，外接矩形のデータを基に，直線，広告，写真，見出しなどの各領域ごとの特徴を利用して抽出を行う。４．２．１直線領域新聞画像に限らずレイアウト解析を行う場合，文書を区分する直線は非常に有効なものである。しかし本研究では，画像の縮小方法として直線を重視せずに他の見出しや写真などが鮮明に表示される方法を選択している。そのため，縮小した画像中には有効な佐々木浩士・大倉充・塩野充400直線部分がほとんど失われている。このため直線の領域は不必要なものと判断し，矩形データより高さまたは幅の値が０になる領域を直線として除去する。また直線だけでなく罫線も途中で途切れているものが存在するため，矩形の面積と矩形中の画素数を比較することにより除去を行う。４．２．２下部の広告領域新聞には，紙面の下部に広告が含まれることが多い。広告が含まれている場合には，通常，記事部分とは直線によって区分されている。直線で区分されていない場合においても，明らかに記事の部分とはある程度の間隔が設けられている。このことを利用して下部の広告領域の抽出を行う。まず図５に示す直線領域を除去した矩形データに対して，横一列が全て白画素の部分の有無を調査する。横一列が全て白画素の部分がある程度連続する場合には，その部分を記事と広告領域を区分する空白と見なし，その空白部分から下部を広告領域と決定する。さらにその広告領域は何種類かに分かれている場合があるので，その領域中の縮小データから縦方向の周辺分布を求める。その周辺分布の状況によって，広告領域内を分割する。図６には，広告領域中の周辺分布によって，その座標に存在する画素数が０になる部分を示している。４．２．３写真領域新聞に含まれる写真は，主にそのページの中で重要な項目に付属して比較的大きく扱われている。矩形データからも，矩形の高さや幅が一定の大きさを持ち矩形内の黒画素数もかなり多いことがわかる。このことを利用して写真領域の抽出を行う。まず矩形の●ｅ￣■■■￣■~■■①ロ‐ﾛ句J1畷 鱸 I鑿|蕊空白図５直線領域を除去した画像 図６広告領域中の分割位置新聞画像のレイアウト解析に関する研究 401データから矩形の高さや幅が一定値以上の大きさを持ち，矩形内部の黒画素の数が面積の半分以上のものを写真領域の候補として選択する。選択きれた矩形データに対して，その矩形中の縮小データから，矩形の高さまたは幅で長い側を基準とした周辺分布を求める。このときの周辺分布は黒画素に対するものではなく，後述の白抜き見出し領域と区別するために，白画素に対しての周辺分布を用いる。図７に示すように，周辺分布の状態が連続的，つまり白画素のヒストグラムが急激な増減をしておらず，矩形の高さと幅の比率が一定値以下であれば写真領域として抽出する。４．２．４白抜き見出し領域白抜き見出しとは,黒を下地にして白抜きの文字で書かれている見出しのことである。そのページの中で最も重要な項目に付けられることが多く，写真と同様に大きく扱われる。また見出しは文字によって構成されているため，幅か高さのどちらかの方向に細長くなり偏る傾向がある。矩形データからも，矩形の高さや幅が一定の大きさを持ち，高さと幅の比率が大きく矩形内の黒画素数もやや多いことがわかる。このことを利用して白抜き見出し領域の抽出を行う。まず矩形のデータから矩形の高さや幅が一定値以上の大きさを持ち，矩形内部の黒画素の数が面積の半分以上のものという写真領域と同様の条件により，白抜き見出し領域の候補を選択する。選択された矩形データに対して，その矩形中の縮小データから，矩形の高さまたは幅で長い側を基準とした周辺分布を求める。このときの周辺分布も，写真領域と同様に白画素に対しての周辺分布を用いる。図８に示すように，周辺分布の状態が断続的，つまり白画素のヒストグラムが急激な増減をしており,矩形の高さと幅の比率が一定値以上ならば白抜き見出し領域として抽出する。４．２．５見出し領域白抜き見出し以外の見出しは，文字の大きさによって様々な種類がある。しかも外接矩形の抽出の際には一文字ごとに抽出されるため，それらの統合が必要になってくる。小渕･羽田氏て最終攻防図７写真領域の周辺分布 図８白抜き見出し領域の周辺分布佐々木浩士・大倉充・塩野充402このため上述の処理によって抽出された領域と区別するために，領域が確定した矩形を除去したデータを作成する。このデータに対して膨張収縮処理を行い矩形データを再構成する。膨張収縮処理の例を図９に示す。再構成された矩形データから矩形の高さや幅がある程度の大きさをもつものを見出し領域の候補として選択する｡選択された矩形データに対して，その矩形中の縮小データから，矩形の高さまたは幅で長い側を基準とした周辺分布を求める。この周辺分布は，普通の見出しに対するものであるため，黒画素に対しての周辺分布を用いる。図10に示すように，周辺分布の状態が断続的，つまり黒画素のヒストグラムが急激な増減をしており，矩形の縦横比または横縦比が一定値以上ならば見出し領域として抽出する。４．３各種領域の表示各々の判定された領域に対して,区別するために色分けしてレイアウト状況を表示する。５．解析結果図11に朝日新聞第一面の解析結果を示す。また表２にデータ別の抽出数を，表３に処理時間を示す。抽出数は，抽出された領域/画像中に存在する領域数で表している。その他の領域は，見出し領域の抽出の際に候補として選択されたが，見出し領域としては決定されなかったものである。解析は前述の４つのデータに対して行った。写真領域は，一定の大きさを持つ領域は抽出可能であるが，人物の顔写真などの小さな領域を持つものが抽出できていない。これらの領域は，図やグラフ，広告領域である可能性もあるため，抽出が困参院、小渕氏に傾く参院、小渕氏に傾く図９膨張収縮処理の例 図１０見出し領域の周辺分布新聞画像のレイアウト解析に関する研究 403■.・・ロ,..：６●￣００゜・墨・０帖ＢＯＯ託、０蕊蕊；向'1二薑Wii鱗!「聯ｉ童１１常i鶴蝋!:ｉｉｉ触鮮･111卯卜:!:`i1wil雲;'::;.!;:１１iｿﾞﾀｉ図１１レイアウト解析結果表２データ別の抽出数写真領域白抜き見出し領域見出し領域広告領域その他の領域朝日第一面朝日経済面毎日第一面毎日経済面3／３０／１２／５１／２3／３０／１１／１１／１９／1212/1６８／910/1５8／１２２／３６／102／２５２１４１合 計６／1１ 5／６ 39/5２１８/2７２２表３データごとの処理時間データ名処理時間（秒）朝日新聞第一面282.43朝日新聞経済面311.48毎日新聞第一面295.52毎日新聞経済面329.51難となっている。を普通の見出しとている。白抜き見出し領域は，白抜き見出しと普通の見出しが重なっているものとして抽出したものが－つ存在した。広告領域は，下部に存在するものは全て抽出できているが，記事中に含まれる広告領域は抽出できていない。広告自体に様々な種類があり，その特徴を限定することは難しいためである。見出し領域は，文字サイズが大きなものは膨張収縮処理によって矩形の統合が容易だが，文字サイズの小さいものやひらがなや数字など，矩形のサイズが小さくなるような文字が多く含まれる見出しなども佐々木浩士・大倉充・塩野充404存在し,それらに膨張収縮処理を行ってもあまり効果がないため抽出が不完全となっている。６．むすび本研究では，新聞画像のレイアウト解析に関する検討を行った。写真領域と見出し領域に関しては，領域がある程度の大きさを有する場合には抽出可能である。しかし，記事に含まれる広告や図・グラフなどに関しては，現状の方法では抽出が不完全である。また文書領域の統合もできていないため，それらを検討することも課題の一つである。参考文献１）略琴,渡辺豊英,杉江昇：ルールベース適用による日本語新聞紙紙面の構造認識,信学論(D-II)，voLJ75-D-II，ｎｏ､９，ppl514-1225（1992)．２）平山唯樹：複雑なカラム構造をもつ文書イメージの領域分割法，信学論(D-II)，voLJ79-D-II,ｎｏ､１１，ppl790-l799（1996)．３）佐々木浩士，大倉充，塩野充：新聞画像のレイアウト解析，電気･情報通信学会中国支部第48回連合大会，072222,ｐ､２０７（1997年10月)．４）長谷川純一，輿水大和，中山品，横井茂樹：画像処理の基本技法，技術評論杜，（1986)．LayoutAnalysisofJapaneseNewspapersKoujiSAsAKI*,MitsuruOHKuRA*＊andMitsuruSHIoNo*＊＊Gzz伽α/ｅＳｃｈｏｏノｑ／ＥﾌZgj"ｃｃ冗昭＊噸Depα汀加〃ｑ／１，２/、'０αﾉﾉ0〃α"cノＣｂ”"〃ＥｿOgi"Ceが'２９０ﾉbzZyCz"αＵ）ｚｉＤｃｍｌ１ｙｑ／Ｓｃｊｅ"Ce，尺汕ﾉｰc〃ｏＺ－Ｚ，OhzZyZz腕α〃0-00ｍノZZPα〃（ReceivedOctober5,1998）Concerningtodayofaninformation-intensivesociety,therearevariouswaystogetinformation-forexample，thenewspaper，ｔｈｅmagazine，ｔｈｅＴＶ，theradioandthecomputernetworkEspeciallythenetworkisabouttobepopularinthesedaysFromthisreasｏｎ，manypiecesofinformationcanbeobtainedfromthenetworkandtheelectronicmedium・Ｗｈｅｎｗｅｍａｋｅａｄｏｃｕｍｅｎｔｏｎａｃｏｍｐｕｔｅｒ，eitherthehardwaresuchasawordprocessororacomputersoftwaremaybeusedSuchadevelopmentofsupportenvironmentformakingadocumentismarked,however，theutilizationofpublicationsonacomputerhasstillprｏｂｌｅｍｉｎｓｐｉｔｅｏｆｉｎｖｅｎｔｉｎｇｔｈｅＯＣＲＩnthispaper,abasicexaminationisperformedaboutthelayoutanalysisofJapaneseｎｅｗｓ‐paperstomakeadatabaseautomatically・Ｔｈｅｉｔｅｍｓｔｏｂｅｅｘｔｒａｃｔｅｄｆｒｏｍｔｈｅｐａpersaretheheadline,thephotograph,thedrawingandtheadvertisement．

シンブン ガゾウ ノ レイアウト カイセキ ニカンスル ケンキュウ

https://ous.repo.nii.ac.jp/?action=repository_action_common_download&item_id=1610&item_no=1&attribute_id=18&file_no=1

シンブンガゾウノレイアウトカイセキニカンスルケンキュウ

Abstract

Similar works

Full text

Available Versions

AROUS Academic Repository of Okayama University of Science / 岡山理科大学学術リポジトリ

シンブン ガゾウ ノ レイアウト カイセキ ニカンスル ケンキュウ

Abstract

Similar works

Full text

Available Versions

AROUS Academic Repository of Okayama University of Science / 岡山理科大学学術リポジトリ

シンブンガゾウノレイアウトカイセキニカンスルケンキュウ