
我们看到了智能技术在影像辨识, 侦测上的突破, 甚至落地为สินค้า. 很多人问, 这些深度学习为核心的计算机视觉技术也可以具有人类的美感—具有评判, 编修, 甚至美学创作的能力吗?

智能视觉美感技术大致可以区分为三类: 首先为影像(或视讯)编修强化, 包括修图(对比, 亮度, 景深等), 超高分辨率成像, 突破压缩技术, 改善电视显像质量, 加速电影(内容)特效制作, 甚至主动改善车辆安全驾驶在低亮度下的视讯质量; 其次为照片美学评分, 取景, 自动挑选具美感的照片或是画面; 第三为自动生成不存在的影像. 而这些核心技术所启发的การใช้งาน都已经是进行式, 或是即将落地为สินค้า.
相关技术大大改变数位内容产业. 梵谷油画电影 "梵谷: 星夜之谜(Loving Vincent)" 耗时 6 年, 动员超过百位来自世界各地的画家才完成这个耗时, 耗资的工作. 目前已经有软件服务完成类似的功能, 可以让一般人自动将影片转换为特定画家的风格, 透过画家的经典创作, 让卷积网络(CNN)的数千万个พารามิเตอร์, 学习到影像转换的方式, 均衡风格跟影片内容. 我们在两年前参与的 IBM 华生研究中心预告片自动剪辑研究, 也同样带来类似产业的突破.
一般的卷积网络架构为设计适合的编码器以及相对的译码器; 前者将画面内容解析之后, 透过后者生成适切的影像(强化或是编修), 大量的卷积网络พารามิเตอร์透过事前的训练数据来达成目的. 而时常被忽略的是适合的目标函数, 通常得同时使用多个, 并将สาขา知识吸纳其中, 这是成功与否的重要关键!
在美学评分方面, 一般利用卷积网络加上回归函式来逼近美感分数. 最大的挑战在于训练的数据. 因为严谨的美感牵涉到文化, 社会, 以及个人的差异, 可以取得的训练数据─不管是透过人工标注或是社群网络下载—不全具代表性, 很难学习到通用的美感. 不过在特定家用照片上, 透过自动评分, 甚至修正照片(旋转, 取景, 饱和度等)等都已经落地在国内外的各种การใช้งาน当中. 如果能进一步熟悉การใช้งาน场域, 个人化适性学习, 将有更大发挥的空间.
最具挑战的是从无到有生成具美感的影像, 一般都尝试利用生成对抗网络(GAN)来实现, 但是目前在速度, 分辨率, 生成质量控制上都还有相当努力的空间.
值得产业注意的是, 我们观察到这些视觉美感智能突破也逐渐由云端走入本地端. 相机, 摄影机, 电视等相关ชิป都已经看到国内外的公司正逐渐布局. 因为提供具美感的生活体验, 不正也是智能时代的新สินค้า吗?