かにの泡ぶく

2016-05-07 デジタルカメラの画像処理。

_ 思えば遠くに来たもんだ。

2002年から10年間ほど、私はデジタルカメラの設計開発並びに画質調整の支援業務をしておりました。

デジカメ本体の設計開発から始まり、メーカー製コンパクトデジタルカメラの画質調整や、携帯電話向けデジタルカメラのＬＳＩ（ＤＳＰ）の画像処理アルゴリズムの設計支援、並びにそれを用いての画質調整等々です。

それらは国内国外の多くの製品に実装され、市場に出回っております。

しかしこの頃、デジカメの仕事から随分遠ざかってしまったなぁ・・・なぞと思いを巡らす今宵、最近、ついつい放置しがちになってしまうここ「かにの泡ぶく」に、少しこれら「デジタルカメラの画像処理」について、書いてみようかな・・・なんて、思い立ちました。

気が向いた時に、少しずつ書いていきます。今回は「ホワイトバランス」について、簡単に書いてみました。私が開発して、実際の業務にも使用した「ホワイトバランスシミュレーター」のお遊び版も、以下に公開しました！
Windows上で遊べます。お気軽にダウンロードくださいね。

_ 大雑把な流れ。

携帯電話に内蔵されているデジタルカメラを想定して説明してみましょう。

携帯電話に内蔵されているデジタルカメラの場合、光学系とイメージセンサ、ＡＤコンバータ、場合によっては各種のセンサＲＡＷレベルでの画像処理ＤＳＰが一体化した「カメラモジュール」という形で物理的に実装されている場合が多いです。

このカメラモジュールからは、所謂「ＲＡＷ画像ファイル」という、ベイヤー配列（ＲＧＧＢ）のままのデジタルデータが出力されてきます。

この、「ＲＡＷ画像ファイル」を処理し、最終画像を生成するまでの主なプロセスを超絶大雑把に書くとこんな感じになります。

細かいことを言うと、ＯＢ減算、ノイズ除去（ＲＡＷ段、ＲＧＢ段、ＹＵＶ段）、周辺減光補正、色相彩度の最適化、周波数補正（シャープネス）・・・等々、他にも重要な処理が沢山あるのですがまずはそのへんはざっくり割愛。「画像」として見ることのできる状態にするための最低限度の処理だけ書いてみました。

最近のデジカメはＲＡＷ画像を保存することが出来るものが多いです。これら「最低限度の処理」を実現することで、あなたオリジナルの「デジカメ」（というか現像ソフトか）を作ることが出来るのです ^^)

パナソニックさんのデジタルカメラの内部信号処理でも、わかりやすく解説されております。

引用：パナソニックさんのデジタルカメラの内部信号処理より。

このブロックダイヤグラム、ホワイトバランスの前に「明るさの調整」ってのがあるのが面白いですね。デジタルゲインのことかな？

_ デジタルカメラのホワイトバランス。

まずはこれから行きましょうか。

ＲＡＷ画像は、現在主流の原色センサの場合、Ｒ，Ｇｒ，Ｇｂ，Ｂという４つの色で構成されます。同じＧなのに区別されているのは、画像データがこんな風に並んでいるからです。

ＧＲＧＲＧＲＧＲＧＲＧＲＧＲ・・・
ＢＧＢＧＢＧＢＧＢＧＢＧＢＧ・・・
・・・・・・・・・・・・・・・・・

ここでも、パナソニックさんの原色系フィルターと補色系フィルターが詳しいです ^^)

これ、ＲＧＢそれぞれが、画像１ピクセルです。撮影して得られる最終画像は１ピクセルにＲＧＢがあってカラーになっているわけですが、デジカメのＲＡＷ画像は、１ピクセルに１色しかありません。周辺の画像を使って計算して１色から３色を得ているのです。これを「色補間処理」とか単に「補間処理」と言ったりします。

で、Ｇｒとは、Ｒの隣にあるＧ，Ｇｂとは、Ｂの隣にあるＧを指しています。

色補間処理により生成されたＲＧＢ画像に対してホワイトバランス処理が行われます。色補間処理は説明が高度になるので、また後日ゆっくり書きたいと思いますので、今日のところは「ＲＡＷ画像を色補間してＲＧＢ画像になった」ということでよろしくです ^^)

で、この、ＲＧＢ画像なのですが、ＲＧＢと言っても恐ろしく色の偏った画像なんです。イメージセンサ自体は色を感知する能力はありませんので、ＲＧＢの信号を得るために、イメージセンサ上の画素（ピクセル）毎に、赤、緑、青のカラーフィルターを貼り付けます。赤が貼りついている画素は、赤の信号が得られるというわけですね。で、この、フィルタの色毎の透過率の差や、イメージセンサの分光感度特性等の影響で、ＲＧＢそれぞれに感度差が生じます。また、撮影時の照明条件（照明の色温度やスペクトル）によっても色が偏ります。オレンジ色っぽい光を放つ裸電球の下で白い紙を見ると、オレンジっぽく見えますよね？　これを白くするのが、「ホワイトバランス」の役割です。

_ ホワイトバランスの動き。

画像データに対する処理自体は、極めて単純です。Ｒ．Ｇ．Ｂそれぞれの画素値にある係数を乗算して、白が白になるようにするだけです。

例えば、ある条件で撮影した画像の中にある白（グレイでも良いんですが）画素値が、ＲＧＢの順番で　１２０、１５０、７５　だったとしましょう。白であれば、Ｒ＝Ｇ＝Ｂ　となりますので、一番明るいＧを基準にして、ＲとＢの値をＧと同じにするための乗数を求めます。

Ｒ／Ｇ＝０．８
Ｂ／Ｇ＝０．５

ですので、Ｒには１．２５、Ｂには２．０を乗算することで、Ｒ＝Ｇ＝Ｂ＝１５０　となり、白になります。簡単ですね ^^)

このＲ／Ｇ、Ｂ／Ｇを「感度比」と呼ぶことにしましょう。

_ 感度比をどうやって求めるか？

私がやっていた手法は原始的かつ直感的で、実際に白基準板を撮影して、ＲＡＷ画像を得てそれを自作のシミュレーターにかけて調べるという方法を取っておりました。

上でも書きましたが、白い紙でもオレンジ色っぽい光を放つ裸電球の下で白い紙を見ると、赤が強く撮影されます。また、真っ白い光を放つ蛍光灯下で撮影すると、裸電球の下で撮影した画像よりも赤が低下し、青が強くなります。

これは、照明光の「色温度」というものが影響しているためです。

またまたパナソニックさんのお力を借りて ^^)　色温度とホワイトバランス調整が参考になります。

よって、実際の画質調整では、太陽光下の屋外や、色温度を可変できる照明装置を使って、いくつかの色温度で白基準板を撮影します。

具体的な数値で言うと、オレンジ色の裸電球だと２７００Ｋぐらい、白色蛍光灯で４２００Ｋぐらい、太陽光で５５００Ｋぐらい、昼光色蛍光灯で６５００Ｋぐらい、晴天下の日陰で８０００Ｋぐらいと、かなりの幅があります。

これらそれぞれの色温度で感度比を取って、ホワイトバランス処理に使います。

さてここで問題です。では、デジカメ側では、今、見ている光が、どの程度の色温度であるのかどうやって知るのでしょうか？

実はここが最大の問題です。

_ 固定ホワイトバランス。

デジカメで撮影しようとしている光源の色温度を、撮影者に教えてもらう（設定してもらう）のが、この固定ホワイトバランスです。

デジカメのホワイトバランスのメニューを見ると、「ＡＵＴＯ」以外に、太陽マーク、曇りマーク、裸電球とか、蛍光灯のマークがあると思います。この「ＡＵＴＯ」以外が、固定ホワイトバランスです。

太陽マークに合わせて撮影すれば、デジカメは「光源の色温度は５５００Ｋぐらいだ」と、わかりますので、５５００Ｋの感度比でホワイトバランス処理を行います（実際には、５５００Ｋを中心とした狭い範囲のオートホワイトバランス動作になる仕様であることが多い）。

これはデジカメ側にとっては非常に安心できるのですが、撮影者側からするといちいち面倒くさいですね。それに、照明光に関する基礎的な知識が必要となります。

_ オートホワイトバランス。

そこで、ほとんどのデジカメには「オートホワイトバランス」という仕組みがあって、ほとんどの場合、撮影者は光源の色温度なぞ気にせずにこのオートホワイトバランスモードで撮影します。

では、どうやってデジカメは、見ている画像情報だけで照明光の色温度を特定しているのでしょうか？

実はここ、すごく高度な処理が行われているのです。まるで推理小説の結末を予測するかのようなアルゴリズム ^^)

白い紙を裸電球の光で見ているからオレンジ色になっているのか、オレンジ色の紙を太陽光下で見ているからオレンジ色になっているのかを、見定めないといけないわけです。当然ですが、前者であれば白にしなければなりませんし、後者であれば白にしてはいけないわけです。

デジカメメーカーのノウハウがモノを言う部分でもあります。世間に出回るデジカメのホワイトバランス処理は、まさに百人百様です。

私もこの、オートホワイトバランスのアルゴリズム設計は随分手がけました。実際に開発中のデジカメ（ブレッドボード評価環境）をお借りして、暗室に籠っていろんな色温度でＲＡＷ画像を採取します。あとは、かにこむオリジナル開発の「ホワイトバランスシミュレータ」で、アルゴリズム検証を行います。

_ ホワイトバランスシミュレータ。

私が開発した「ホワイトバランスシミュレータ」を紹介したいと思います。Windowsの32bitアプリです。あんまりＯＳに依存する処理は使ってませんので、７〜１０で問題なく動作すると思います。

こちらからダウンロードしてください。AWB_Sim020.zip(1,446,692 バイト)

zipを解凍して出来たファイル一式（フォルダでまとまってるハズです）を、ＰＣ内のどこか適用なところに置いていただければＯＫです。AWB_Sim.exe があるのと同じ階層に作業ファイルを作りますが、レジストリはいじりません。お使いのＯＳ（ＰＣ）に余計なことはしませんので、ぜひお気軽に遊んでみてください。遊び終わったら、フォルダ毎捨ててもらえればＯＫです。

インターネットで公開するにあたり、いくつか仕様変更してあります。

実際には、開発中のデジカメに合わせてＲＡＷ画像ファイルをそのまま読むのですが、今回はＪＰＥＧファイルを読み込むようにしました。よって、ＯＢ減算機能は削除してあります。

また、アルゴリズム評価用に、アルゴリズムを搭載した外部モジュールを呼び出して色温度を得るという最も重要な機能については、削除してあります。（外部モジュールには、画像情報だけでなく、撮影条件（撮影時間、ＥＶ値等々）も引き渡せるようになっております。）

今は、画像のＧ値のみを見てホワイトバランス対象となるセルを取捨選択するという極めて簡便な仕様となっておりますが、実際の調整では、撮影条件（ＥＶ値等）を勘案しながら黒体輻射から類推される感度比曲線より、白を含むセルを類推して取捨選択する等のアルゴリズムを設計し、それを外部モジュールに実装、試行錯誤で評価します。

とは言え、分割されたセルの感度比を見たり、手動で感度比を設定してホワイトバランスの動作を見てみたりと言ったことは出来ますので、ホワイトバランスがどういうものなのか、遊んでみる分には結構楽しめると思います。

サンプルで入れてあるＪＰＥＧファイルは、ＲＡＷ画像ファイルをＯＢ減算、ＲＧＢ補間したものをイメージした画像です。これでいろいろ遊んでみてください。

_ お仕事絶賛募集中〜 (^^)/

「かにこむ」では、デジタルカメラの画像処理設計や画質調整支援をはじめ、その他各種アプリケーション・システム開発のお仕事をお待ちしております。

私でなにかお手伝いできるようなことがありましたら是非！　電子メールなら　master＠kani.com　（＠（全角）　を、@（半角）　に置き換えてくださいね）　まで、または　こちらのフォーム　から、お気軽にお問い合わせください。

詳細はこちら（かにこむで出来ること）をご覧ください。

よろしくお願いします！

[ツッコミを入れる]

2016-04-29 久しぶりに更新。

_ 大変ご無沙汰しております。

「かにの泡ぶく」を更新するのは実に久しぶり。最後の更新が毎年大晦日恒例「その年の痕跡」でしたから、実に4ヶ月ぶりです。

世間は今日から大型連休入り。私は自室であれこれと雑務処理です。

_ お仕事募集〜 (^^)/

思うところあり、昨年度（すなわち先月末）まで、本業では無い「ある」活動（アヤシイものではありません）に集中していたため、本業では新規案件の受注や新規営業活動を控えておりました。

新規案件の打診も何件かいただいたのですが、上記のような理由により誠に恐縮ではありましたが、お断り申し上げておりました。

今期より本業のソフトウェア/システム開発業務を本格的に再開することとしましたので、絶賛お仕事募集中〜です。

詳細はこちら（かにこむで出来ること）をご覧ください。

私でなにかお手伝いできるようなことがありましたら是非！　電子メールなら　master[あっとまーく]kani.com　（[あっとまーく]を、@ に置き換えてくださいね）　まで、または　こちらのフォーム　から、お気軽にお問い合わせください。

_ 近況。

いや〜、いろいろありました。

娘が今春よりいよいよ大学生になりました。頑張って、なんとか希望する国立大学の門をくぐることができました。

娘に負けずに私も頑張って、まだまだ稼がねば ^^)

_ 鎖骨骨折。

いや〜、もう2ヶ月も前の話になりますが、ウチの近所での飲み会の帰り、マンションのエントランスホールで転んでそのまま気を失ったよう。

気が付いたら病院で点滴受けてました。

そんなに深酔いするほど飲んでないつもりなのですが、毎年恒例の、春先におかしくなるアレ（私は花粉症の一種だと思っているのですが）が起きて、どうも悪酔いしたようです。

救急車で救急搬送されたそうなのですが記憶がないので家内の話です。

産まれて初めて救急車に乗ったことになるのですが、記憶がないのが残念です。

なんだったんでしょうか。詳細はfacebookに投稿してますので、ご興味あれば（って、そんなヒマな人居ないか ^^)）こちらをご覧ください。

_ 快晴だけど風強し。

実に晴れ渡った青空なのですが、風が非常に強いです。

さてと・・・今日は昭和の日。昭和天皇のお生まれになられた日です。

これからの午後のひととき、仕事の手を少し休め、いつか読みたいと置いてある本を紐解いて、夕方まで過ごすといたしましょう。