Computer Vision: A Modern Approach

I IMAGE FORMATION 1 <br>1 Geometric Camera Models 3 <br>1.1 Image Formation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 <br>1.1.1 Pinhole Perspective . . . . . . . . . . . . . . . . . . . . . . . 4 <br>1.1.2 Weak Perspective . . . . . . . . . . . . . . . . . . . . . . . . . 6 <br>1.1.3 Cameras with Lenses . . . . . . . . . . . . . . . . . . . . . . . 8 <br>1.1.4 The Human Eye . . . . . . . . . . . . . . . . . . . . . . . . . 12 <br>1.2 Intrinsic and Extrinsic Parameters . . . . . . . . . . . . . . . . . . . 14 <br>1.2.1 Rigid Transformations and Homogeneous Coordinates . . . . 14 <br>1.2.2 Intrinsic Parameters . . . . . . . . . . . . . . . . . . . . . . . 16 <br>1.2.3 Extrinsic Parameters . . . . . . . . . . . . . . . . . . . . . . . 18 <br>1.2.4 Perspective Projection Matrices . . . . . . . . . . . . . . . . . 19 <br>1.2.5 Weak-Perspective Projection Matrices . . . . . . . . . . . . . 20 <br>1.3 Geometric Camera Calibration . . . . . . . . . . . . . . . . . . . . . 22 <br>1.3.1 ALinear Approach to Camera Calibration . . . . . . . . . . . 23 <br>1.3.2 ANonlinear Approach to Camera Calibration . . . . . . . . . 27 <br>1.4 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 <br>2 Light and Shading 32 <br>2.1 Modelling Pixel Brightness . . . . . . . . . . . . . . . . . . . . . . . 32 <br>2.1.1 Reflection at Surfaces . . . . . . . . . . . . . . . . . . . . . . 33 <br>2.1.2 Sources and Their Effects . . . . . . . . . . . . . . . . . . . . 34 <br>2.1.3 The Lambertian+Specular Model . . . . . . . . . . . . . . . . 36 <br>2.1.4 Area Sources . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 <br>2.2 Inference from Shading . . . . . . . . . . . . . . . . . . . . . . . . . . 37 <br>2.2.1 Radiometric Calibration and High Dynamic Range Images . . 38 <br>2.2.2 The Shape of Specularities . . . . . . . . . . . . . . . . . . . 40 <br>2.2.3 Inferring Lightness and Illumination . . . . . . . . . . . . . . 43 <br>2.2.4 Photometric Stereo: Shape from Multiple Shaded Images . . 46 <br>2.3 Modelling Interreflection . . . . . . . . . . . . . . . . . . . . . . . . . 52 <br>2.3.1 The Illumination at a Patch Due to an Area Source . . . . . 52 <br>2.3.2 Radiosity and Exitance . . . . . . . . . . . . . . . . . . . . . 54 <br>2.3.3 An Interreflection Model . . . . . . . . . . . . . . . . . . . . . 55 <br>2.3.4 Qualitative Properties of Interreflections . . . . . . . . . . . . 56 <br>2.4 Shape from One Shaded Image . . . . . . . . . . . . . . . . . . . . . 59 <br>2.5 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 <br>3 Color 68 <br>3.1 Human Color Perception . . . . . . . . . . . . . . . . . . . . . . . . . 68 <br>3.1.1 Color Matching . . . . . . . . . . . . . . . . . . . . . . . . . . 68 <br>3.1.2 Color Receptors . . . . . . . . . . . . . . . . . . . . . . . . . 71 <br>3.2 The Physics of Color . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 <br>3.2.1 The Color of Light Sources . . . . . . . . . . . . . . . . . . . 73 <br>3.2.2 The Color of Surfaces . . . . . . . . . . . . . . . . . . . . . . 76 <br>3.3 Representing Color . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 <br>3.3.1 Linear Color Spaces . . . . . . . . . . . . . . . . . . . . . . . 77 <br>3.3.2 Non-linear Color Spaces . . . . . . . . . . . . . . . . . . . . . 83 <br>3.4 AModel of Image Color . . . . . . . . . . . . . . . . . . . . . . . . . 86 <br>3.4.1 The Diffuse Term . . . . . . . . . . . . . . . . . . . . . . . . . 88 <br>3.4.2 The Specular Term . . . . . . . . . . . . . . . . . . . . . . . . 90 <br>3.5 Inference from Color . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 <br>3.5.1 Finding Specularities Using Color . . . . . . . . . . . . . . . 90 <br>3.5.2 Shadow Removal Using Color . . . . . . . . . . . . . . . . . . 92 <br>3.5.3 Color Constancy: Surface Color from Image Color . . . . . . 95 <br>3.6 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 <br>II EARLY VISION: JUST ONE IMAGE 105 <br>4 Linear Filter