忆阻器在图像增强中的应用-姚卫博士

2021-04-08

目前,电子芯片在集成度与性能等方面均有快速提高,然而传统的基于COM的存储技术已逐步趋于物理瓶颈,这就导致计算机的处理器和存储器之间的鸿沟即“存储墙”问题越来越严峻。忆阻器是一种发展前景远大的纳米器件,具有高读写速度、高集成密度、低功耗等优势,为制造具有更大存储容量和更快处理速度的计算机带来了希望。

忆阻交叉阵列是一种具有并行处理能力的基于忆阻器的结构,如图1是大小为4×4的忆阻交叉阵列图[1]。实验表明,忆阻器具有连续输入输出的特性,理论上拥有无数个连续的阻值状态,从而可以记忆一幅图像中某个像素点处的灰度值或者局部特征值。通过改变忆阻器两端所施加的脉冲电压的极性及宽度来改变忆阻器的阻值大小,从而实现图像存储操作[2]。若一个像素点处的相应特征值用一个忆阻器来存储,对于大量的图像信息,可以根据图像大小或者要求适当地增加忆阻交叉阵列的行和列来实现存储。利用忆阻交叉阵列存储图像的相关信息时,图像的信息可以通过电压转换器转换为幅度相同、宽度不同的电压脉冲,因此可以通过控制忆阻器进行写操作的时间来获得所需要的不同宽度的电压脉冲。

 image.png

图1 忆阻器交叉阵列[1] 

在人类的视觉系统中,当视网膜中某区域受到刺激时,隔层神经细胞的活动会被激活,相应的神经会产生发放变化,视网膜神经节细胞这一区域被称为该视网膜神经节细胞的感受野[3]。Rodieck提出的双高斯差 (DOG) 函数模型[4],认为感受野是由一个同心圆构成,该模型较好地模拟了感受野在受到小光点刺激时所表现出的性质。Li等提出了一种非经典感受野的三高斯模型[5],认为感受野是由中心兴奋区、周边抑制区和外围去抑制区共同组合的同心圆结构。该模型能对边缘进行有效增强,也能对低空间频率的信息损失进行补偿,这种特性对于传递图像的灰度和亮度信息有着非常重要的作用。一些实验结果表明感受野体现一种自适应的机制,即对外界刺激的响应会随外界刺激的不同发生变化[6]。若将该机制加入到传统的三高斯模型中,将得到一种动态模型,这样将更加符合人眼的特性。场景的亮度值和输入图像的局部对比度等信息都可以作为图像增强的因素。若令一幅图像中的暗处更暗、亮处更亮,则可使图像的局部对比度得到提升。

文献[1]提出的基于忆阻交叉阵列的自适应三高斯模型是通过忆阻器的连续输入输出特性来改变三高斯模型中的参数所形成的一种自适应的模型。它可以根据图像某一像素点的局部信息来调节对应的忆阻交叉阵列在该点的忆阻器两端脉冲电压的极性和宽度,从而可以调节忆阻器的阻值,这样就可以利用忆阻值的大小来改变三高斯模型中所对应参数的大小,然后确定图像的局部增强模板,对图像进行局部增强,进而实现整幅图像的增强。在视觉图像处理中,可用三高斯模型来模拟视网膜神经节细胞的感受野,这在一定程度上对图像信息,比如图像的边缘、细节等信息进行增强。

在文献[1]中,作者采用被处理点处的亮度值 (Lum) 作为一个局部信息,根据不同位置Lum的不同对传统三高斯模型中抑制区半径的值进行动态调整。根据感受野对外界刺激的响应随时间动态变化的现象,采用局部对比度 (Con) 作为另一个局部信息,根据图像中不同位置Con的大小对传统三高斯模型的中心兴奋区敏感度进行取值,从而对局部图像进行自适应增强。

文献[1]中有关彩色图像增强的具体步骤如下

步骤1 归一化处理:对原始图像进行归一化处理.

步骤2 把彩色图像分为 R, G, B 三个通道,分别进行处理.

步骤3 对每一个通道进行图像滤波。为了降低原始图像中的噪声干扰,选取维纳滤波器对原始图像的每一个通道进行平滑滤波,这里滤波器滑动窗口的大小为3×3。

步骤4 确定忆阻器两端所需要施加的脉冲电压的宽度。首先计算以被处理点(x, y)为中心的邻域内的像素值的标准差Con,其次获取被处理点(x, y)的像素值 Lum。由相关数据可知,Con和Lum的大小在区间[0, 1]内,分别对应于忆阻器施加的脉冲电压的宽度。

步骤5 确定局部增强的模板。在步骤4中,得到了被处理点处的局部特征 Con 和 Lum,从而得到每一点所对应的脉冲电压宽度,进而得到该点处的增强模板,接下来应用此模板对该局部图像进行自适应增强,得到每个通道增强后的图像Sr, Sg, Sb.

步骤6 颜色恢复。通过简单的线性恢复算法调整图像的彩色信息。

文献[1]选取了两幅图像作为测试图像,分别经过直方图均衡化、传统的三高斯模型和基于忆阻交叉阵列的自适应三高斯模型进行处理,观测其增强效果,如图2所示。从图2结果可以看出,原始图像整体较暗、颜色不够鲜艳;而用传统的三高斯模型实现的图像增强,虽然在一定程度上实现了亮度增强,但是有的图像增强过亮,而有的图像则增强过弱。而文献[1]提出的彩色图像增强方法则很好地实现了图像的增强,整体亮度得到了很好的提高,而且颜色鲜艳,符合人眼的视觉特性。

image.png 

图2 文献[1]中增强效果对比图