3.絵画的要因による3次元視
3.1 陰影による3次元視
キャストシャドー(cast shacow)における方向知覚
陰影から形状を知覚するためには、２つの拘束条件がある(Kleffner & Ramachandran, 1992; Ramachandran,
1988a, 1988b)。ひとつは、照射光源はひとつであるという拘束である。図40のディスクの左は凸状に、右ディスクは凹状に知覚され、凹凸同時に知覚することは不可能である。もう一つの拘束は、照射光源が上方にあるという条件である。図を上下に回転させると、左右ディスクの奥行が反転して知覚される。また、Kersten
et al.(1996)は、静止した正方形の上にキャストシャドーを投影しそれを右下方向に動かすと、左上方向に動かすよりも正方形が動いて知覚されることを報告した。
そこで、Koizumi et al.(22)は、照射光源の方向、ディスクの面、そしてキャストシャドー（照射光源によって作られる対象の陰影）の相互関係をしらべた。提示した刺激パターンは、図41に示したように、陰影(disk surface)およびキャストシャドー（top/bottom、left/right)の2要因を操作して作成された。陰影にはGray
および2段階のGradation（white-on-top、white-on-bottom、あるいはwhiteot-on-left、white-on-right）
を、キャストシャドーには 水平と垂直の方向を設け、その位置（垂直方向では下端、左右方向では左端のディスクを０として中央のディスクを100として陰影の位置を4.5、13.6、22.7、31.8、40.9、50.0、59.1、68.2、77.3、86.4、95.5％の11段階に設定した。被験者には、中央のディスクのキャストシャドーが垂直方向条件では上か下か、水平方向条件では右か左かを中央ディスクの左あるいは右のディスクで選択させた。
その結果、ディスクの配列が垂直方向でディスクの面がwhite-on top条件でもっともディスク面の凸知覚が高められ下方向のキャストシャドーと連関していること、およびディスクの水平方向配列では面がwhite-on-leftのときに凸知覚が高められ右方向のキャストシャドーと連関していることが示された。
これらの結果は、光源の右上方向仮説を確認するとともに、対象の面の陰影情報がキャストシャドーとディスク間の連関を高めることを示した。ただ、用いられた刺激パターンで凸面の知覚が凹面より優位に出現する点が問題であろう。
3次元面のテクスチャの照明方向の知覚
陰影からの形状や面の材質などの知覚において照明方向を判断することは必須の条件となる。Pont et al.(36)は、凹凸をもちわずかにリアリティのあるテクスチャ面で人間は照明方向を判定できるかをしらべた。テクスチャの例は図42に示されている。これはCURET (Columbia-Utrecht Reflectance and Texture Database)から導入した実物材料のテクスチャ（上図）と単一の粗度でレンダリングしたガウス・テクスチャ（下図）である。テクスチャはすべて観察者の正面から見たもので、照明方向は極座標の極角でおおよそ0°、30°、50°、70°の設定（図の左から右）、方位角(azimuth）は赤印で表示したように変え、またレリーフの程度は３段階に変化（下段の上から下）させてある。このようなBrownian
Surface（高さをフラクタル関数で生じさせた面）のテクスチャを250個つくり、被験者にはその照明方向を判断させた。これらの照明方向はランダムに設定された。サーフェス面は一様の反射率をもつので、テクスチャは陰影(shadow)と光が遮られてできるシャドー(shadow)のみで構成された(図43）。照明方向の判断は、図44に示したツール、すなわち提示されたテクスチャ（図左側）の照明方向を図の右側のパターンの照明方向の位置と高さを被験者に調整させて実施した。
その結果、被験者は一定の範囲の凹凸をもつ幾分リアルなサーフェスの陰影プロフィール（レンダリングしたガウス・テクスチャをもつサーフェス）にもとづいて、照明の高さと方位角を判定できることを示した。とくに被験者は、提示したイメージがシャドーで構成されている場合にはほとんど完全に照明の方向と位置すなわち方位角(azimuth)を判定できたが、陰影で構成された場合にはエラーが出現した。これは、陰影がゆるやかな境界をもつのに対して鋭い境界をもつシャドーが照明による凹凸の多義性解決の手がかりとなっていた。さらに照明の高さの判定は、サーフェスの照明の一様性の程度、シャドーによる面の断片の程度、および照明の強度によっていた。
これらのことから、視覚システムはテクスチャから構成されたサーフェスの照明の方向と位置を、陰影とくにシャドーから正確に判定できると考えられる。
対象の照明事態におけるハイライト(highlight）とシャドー(影)
照明があたっている事態での対象の物理的外観は、その材質特性および形状で記述できる。ということは、対象の外観は照明、形状そして材質の手がかりを提供する。これらの手がかりから対象を解く解は複数あり、数学的に一義的に解くことはできない。観察者が対象の形状や材質を知覚するためには、対象の外観への照明の影響について解析する必要がある。対象に対する照明の特性を知るために観察者は複数の手がかりに依拠する。陰影(shading)とキャストシャドー(cast
shadow)は、照明源の方向と強さの手がかりとなる(Casati 2004, Koenderink, et.al.2003, Koenderink,
et al. 2004, Xia et al.,2014)。しかし、観察者は対象の形状の手がかりが少なくかつ照明に局所的な不一致がある場合には、それら２つの手がかりを有効に使うことができない(O’Shea,
et al. 2010, Ostrovsky, et al., 2005)。それらの手がかりが不十分な場合には、照明は上方からなされているという仮定をおく(Fleming,
2012; Mamassian, 2004; Mamassian & Goutcher, 2001; Morgenstern, et
al., 2011)。
te Pas et al.(33)は、単一照明での拡散、あるいは複数の照明間の異なる距離のために同一ではない照明事態の特性を観察者はどのように識別するのかを対象に対するハイライト、シャドー、陰影を操作してしらべた。テスト対象は、アムステルダムのイメージライブラリーデータベース(Amsterdam
Library of Object Image Databese、図45)からとったティーポット、オレンジおよびテニスボールとし、それぞれについて６通りの光源位置、すなわち単一照明方向で左右角度がそれぞれ15°と30°、および真正面（0°）とし、これらを正中面からのカメラで撮影してテスト対象を作成した。2個の光源を用いる場合の光源間距離および照明の散乱(diffuse)の要因は別に作成し、先の対象写真に重複させて新しい写真を合成した。照明の散乱度は光の分布の正規曲線の横幅を10°、20°、30°になるように、光源が2個の場合には、それらの光分布の正規曲線間のピークの横幅が10°、20°、30°になるように操作した。照明条件は、このように、単一光源の場合にはその照明の散乱度を３通り、２個の光源の場合にはその光源間の距離を３通りとした（図46）。実験では、ひとつの対象の照明条件の異なる写真を３枚並べて提示し、照明条件の違う写真はどれかを被験者（学生）に選択させた。被験者がテスト対象を観察中、被験者の眼球運動および反応時間も測定した。
実験の結果は、次の４つの仮説、PixelDifferentialModel、MeanLuminaceModel、BrightestLuminanceModel、LuminanceSkewnessModelに基づいて分析された。PixelDifferentialModelは対象間の違いをピクセル差で判断する説、MeanLuminaceModelは対象の平均的な輝度が計算され、どの対象がもっとも平均的輝度が異なるかが判断される説、BrightestLuminanceModelは対象のイメージのなかでもっとも明るいピクセルではなくもっとも明るさヒストグラムの95％分位点をみつけて判断する説、そしてLuminanceSkewnessModeは対象間の輝度の歪みの違いに基づいて判断する説である。被験者ごとの成績と４つの仮説の予測値の相関をとると、どの仮説も被験者の成績との相関は低く、仮説による予測は否定された。そこで、対象を識別できる照明要因であるハイライト(highlight)、陰影(shading)、そしてキャストシャドー(shadow)と対象の照明事態の識別成績を照合すると、ハイライトもしくはキャストシャドー、あるいはこれら2要因の組合せの間で相関がみられた。この結果は眼球運動からも確かめられた。すなわち、被験者は、最初に対象を注視した後、ほとんどの者はキャストシャドー領域を注視すること、また顕著な特徴であるハイライト要因を副次的に利用、陰影は利用しなかった。
これらのことから、対象を照明する光源は一つか二つか、あるいは一つの場合どの方向から照明されているかを識別する要因は、キャストシャドーであることが示された。
3.2 視覚情報、形状情報そして運動要因からの対象物の堅さの推測
対象物の光沢は視覚情報に直接依存して知覚できるが、堅さは直接には知覚できない。堅さは、一つには対象が何であるか認知しその物理的特性を想い出すこと(associative
approach)から、二つにはその対象がぶつかったり、動いたりしたときの形状の変化(estimation approach)から推定される。Schmidt
et al.(39)は、これら２つの認知要因がどのように相互作用して対象の堅さを推定するかをしらべた。刺激はレンダリングによる52個のイメージで、図47に示すように、4種類の基本オブジェクトの中から、図48のように、ニッケル、ワックス、コルクなど28種類の材質をもつテクスチャが貼り付けられた。被験者には、それらのイメージをランダムに提示し、それらのイメージの材質にもとづいてオブジェクトに自由に名前を付けさせ、また材質の11種類の属性(soft,
fragile, heavy, massive, realistic, large,crumbly, slippery, elastic, sticky,
bendable)のそれぞれについて順位を評定させた。その結果、対象イメージの形状が変わらない条件では、対象イメージの視覚情報が対象特定の有効な手がかりになっていた。
実験２では、図49に示したように、4つの基本対象の各々についてhard(A)からsoft (L)まで「ねじれ」、「つぶれ」、「伸ばす」など12種類に変形して提示し、基本対象ごとに被験者の半数にはイメージのソフトネス（対象を押し込める程度）について順位（基本対象を入れると13位まで）を評定させた。また被験者の残りの半数には変形度（基本形から変形できる程度）の順位を評定させた。その結果、ソフトネスの順位評定ならびに変形度の順位評定は共に変形の度合いに有意に影響されることが示された。また、ソフトネスと変形度の順位評定間には有意な相関がないことから、被験者の堅さの推定は基本対象に対する当該対象の物理的な変形の度合いによっていると考えられた。
実験３では、７種類の材質の視覚的手がかりおよび７種類の形状の変形手がかり（実験２の結果に依拠）を用意し、それらを組み合わせた刺激対象（7×7×４個の刺激）のそれぞれについて
(図50）対象の堅さ推定についての影響をしらべた。その結果、堅さは対象の変形度の手がかりによるのではなく、材質の視覚的手がかりによることが有意に示された。
実験４では、アニメーションによって対象形状が変形した場合の視覚的手がかりが対象の堅さ推定に与える効果ついてしらべられた。ここでは特に形状が変容するプロセスを観察させて実施した(図51）。基本対象（7種類）の材質は5種類（磁器、ニッケル、プラスティク、ラテックス、ベルベット）とし対象の堅さ推定（hardからsoft）をアニメーションのない静止条件とアニメーション条件で実施した。その結果、刺激対象の変形過程の直接観察（視覚的手がかり）は対象によって推定の変動差はあるものの、全般に対象の堅さの推定に大きな効果があることを示した。
これらの結果を総合すると、対象の堅さの推定にあたっては、視覚システムは対象の形状および運動の視覚的手がかり、とくに変形過程の視覚的手がかりが主要な役割を果たしていると考えられる。
3.3 3次元画像の奥行検出のコンピュータモデル(Bayesian depth estimation model)
人間の視覚システムは両眼視差の利かない単眼でも容易にものの奥行を知覚できる。これが可能なのは、単眼視像にあるテクスチャ、陰影、パースペクティブの手がかりから対象の奥行を高次中枢で経験値に当てはめて知覚するからである。自然シーンを撮った2次元画像のなかには、その空間の3次元構造の手がかりとなる統計的情報が含まれている。Su et al.(41)は、２次元の単眼視像から3次元の奥行構造を復元するためのコンピュータモデル(Natural3D（Bayesian depth estimation model）を提唱した。図52のように、3次元構造の特徴は、自然シーンの物理的特徴を視覚システムが解釈する基礎となる統計的規則である１次統計値(natural scene
statistics、NSS)およびそれの2次統計相関NSS（２次元写真画像とその奥行マップを関連づけたデータベース）からの抽出によった。このためにまずNSSの特徴抽出のために、事前確率情報として抽出されたものにもとづいて標準となる局所的奥行パターンの辞書を作成した。次にこの辞書から局所的イメージ特徴を奥行マップ(depth
map)に関連づける多変量のガウス合成尤度モデルが作成された。この後、ベイズの統計を用いて空間の奥行値が予測された。この計算フローは、図53に示したように、自然シーンの単眼的3次元画像マップのパッチをベースにし事前確率から尤度を求めた。事前確率は自然シーンの奥行パッチから導いて表示した奥行パターンの一組のことをいい、尤度は各事前確率から抽出された自然イメージの統計的特徴の条件付き確率分布をいう。最後に、計算した奥行パッチをスティチィング（stitching)して統合し奥行のマップを作成した。
使用した３次元シーンデータベースは著者らが作成した「the LIVE Color＋3D Database Release-2」、および比較のための２通りのデータベース「the
Make3D Laser＋Image Dataset-1」と「the NYU Depth Dataset V2」とした。３次元抽出の成績テストは、開発したNatural
3Dモデルおよび比較のためにDepth Transfer model(Karsch et al.,2012)で行われ、その結果、Natural
3Dモデルでの奥行マップは、３次元レーザーライダーによる実測値(Grund-truth depth map)の結果によく相関した。
3.4 絵画的要因の発達
絵画における絵画的要因の利用の発達
Brooks,K.R.(５)は、3次元に表現された絵画の歴史から絵画的要因がどのように利用されてきたかを概観し、旧石器時代の洞窟壁画におけるオクルージョン、古典絵画における陰影、そしてルネッサンス期におけるパースペクティブへと絵画的要因の利用は発達してきたという。一方、ステレオ技術（両眼視差）の利用については論争があり、イギリスの物理学者Wheatstoneが1838年にステレオグラムを考案したのが最初と言われている。しかし、Chimenti,J.
(1600) が両眼視融合可能な2枚のスケッチを作成、あるいはda Vinciのモナリザが最初のステレオグラムとも指摘され、誰が最初にステレオグラムを作成したかについては論争があった。
Brooksは、この問題の真偽を明らかにするためにステレオ視が可能な3種類のステレオグラムとアナグリフ(図54）。図の(A)はWheatstoneの作成したステレオグラム（上）とアナグリフ（下）、図の（B) はda Empoliのステレオグラム（上）とアナグリフ（下）で、右側にはda
Empoliの作成したインクで描かれもの、左側には木版画ファクシミリで作成したもの、図の（C)は上段ステレオグラムで、上段左はダヴィンチの弟子によるモナリザ(1603)、上段右はルーブル所蔵のモナリザのデジィタル版、中央はオリジナル版、下段はアナグリフである。これらのステレオグラムとアナグリフに列車と河川の通常の光景のステレオグラムとアナグリフをコントロールとして加え、12名の被験者にステレオスコープとシュ－ドスコープ(pseudoscope)で観察させ、提示されたステレオグラムの奥行の程度およびそこに出現した奥行の合理性を評価させた。
その結果、Wheatstoneの作成したステレオグラム以外には明確な奥行関係を示すものはなかった。したがって、ステレオグラムによる立体視を考案したのはWheatstoneと結論された。
図-地反転知覚の年齢の効果
図-地反転現象は、Peterson and Salvagio (2008)によれば、反転しあう領域が相互に抑制しあう(inhibitory
competitin)ことによって生起するという。このしくみには、図-地反転の領域数、それら刺激色の一様性などを文脈的な要因が関与する。Lass
et al.(23)は、興奮と抑制のこのようなバランス過程には加齢が関与し、とくに図-地反転現象での抑制が少なくなるので、結果として高齢者には反転が少なくなり、凸領域の出現割合も少くなると予測される。この仮設を図55のような実験手続き、すなわち注視点（赤印）のある領域が図あるいは地のどちらであるかを刺激消失後に被験者に応えさせた。刺激提示時間は100msあるいは250ms、図と地領域は2あるいは8個、その横幅は図・地２領域の場合2.5°あるいは1.5°、8領域の場合、7°あるいは11.5°に設定した。また、反転領域の抑制過程を妨害するために、図56に示すように、反転領域を、(A)白色と黒色、(B) 凹領域は等質、凸領域は異質に彩色、(C) 凹領域は異質、凸領域は等質に彩色、(D)凹、凸領域ともに異質に彩色した条件を設定した。被験者は若年群は26名で平均年齢22.6歳、高齢群は24名で平均年齢70歳であった。
実験の結果、高齢者群と若年者群ともに反転領域の数に関わらず凸領域出現割合が50％以上を示すが、しかし高齢者群は若年者群に比較し、その割合が少ないこと、またこの傾向は刺激提示時間や刺激の大きさに関係ないことも示された。さらに、凸あるいは凹領域のいずれかを等質、他を非等質、あるいは両方を非等質に彩色した条件での高齢者の凸領域の出現率は若年者に比較して有意に低くなることが示された。
これらの結果から、抗争的な図-地領域の知覚的反転は、視覚システムが老化すると、その反転頻度は衰えると考えられる。