当今旗舰电视最新画质技术,马上就被联发科搬
又例如,即使是被划分为“背景”的部分,在进行处理时也有不同的算法需求,像照片中的“普通蓝天”需要被优化甚至智能替换成“更讨好眼球的蓝天”,而草地色彩则需要被调整得更明亮一点。
从2018年开始,联发科开始将计算摄影作为手机芯片算法的研发重点。
也就是说,尽可能在不增加功耗的情况下,提升手机上AI算法运行的效果。
这究竟是怎么做到的?
即便这几年手机功能需求逐渐趋于一致,人们的关注度也并不止放在手机AI技术上。
首先,结合场景识别优化语义分割算法,使得AI不仅能区分前景(如人像、动物等)和背景,还能进一步识别不同种类的背景,如建筑、天空、绿地、植物和水池等。
同时,联发科也针对AI算法在硬件处理上进行了对应的优化,包括提升APU的能效等,进一步降低AI景深画质增强技术在手机上消耗的算力。
要知道,这可是各大头部电视厂商都在用的画质技术,有几家才刚安排到新产品上。
然后,就是AI区域画质增强技术(AI Region PQ)了。
既然如此,联发科脑洞大开:为什么不能将这类AI画质优化相关技术直接用到手机拍照、视频实时处理上,直接改善成片效果?
而从整体研究范围来看,联发科这几年也一直在提升对于AI的重视程度,包括进行贝叶斯优化、元学习相关的机器学习研究,相关论文发表在NeurIPS、ICLR等顶会上。
然而事实真是如此吗?
这其中涉及大量算法的优化,尤其是拍摄多张照片并进行处理的速度,当年Helio P70针对多帧降噪算法进行优化后提升了约20%的性能。
量子位 QbitAI · 头条号签约
再例如,想将这个技术扩大到视频拍摄中,像电视处理电影那样实时进行,AI图像语义分割技术又不能占用太多算力,不然直接掉帧甚至快速掉电……
相比之下,采用语义分割算法区分出前景后,只需要针对前景区域进行侦测和追焦就行,背景则不需要再耗费更多算力去进行优化,就省去了不少算力。
此前,针对视频的实时追焦算法往往是进行逐帧追焦,通过计算帧间差异来调整清晰度,这样不仅耗费算力,甚至可能降低视频的流畅度。
△4K30帧视频(约800多万像素/帧)需要的算力是800万照片的33倍
其中最重要也是整个技术的核心,就是AI图像语义分割技术。
电视技术移至到手机上带来了两点好处,一方面,画质品质更高了;另一方面,用到手机拍照甚至拍视频上,可以节省算力进一步提升能效。
最新的电视技术全称AI景深画质增强技术(AI Depth PQ),目前这项技术已经被用在不少电视上。
最后,还能基于语义分割算法降低视频的算力,实现精确对焦。
至于在通信技术方面,未来可预见的功能则包括5G新双通、以及支持Wi-Fi 7、高保真蓝牙音频等。
具体来说,CycleNet借鉴了“神经元会和处理相同图像中具有相同特征物体的神经元产生联系”等一系列生物神经元处理信息的特点,来设计整体的框架逻辑,提升AI在处理较小较模糊的目标时整体的识别准确率。
其中,新双通指在手机双卡双待的情况下,让双卡的信号彻底不互相影响的能力,即使用流量卡打游戏时,主卡接电话也丝毫不受到影响。
另一方面则是不断改进AI算法的性能。
年底下一代天玑旗舰芯片又要发布了,据网传型号是天玑9200,你最期待什么功能出现在上面?
此前手机虽然也get了不少影像处理技能,但和高端电视比起来还是要低调一些。
但用在手机智能拍照上,又有至少三大考验:
这样一来,不仅照片和视频都实现了实时算法优化,甚至相比原来还节省了一大波算力,例如4K30帧视频和8K30帧视频拍摄所需算力,都降低到了原来的1/4。
如果仔细观察这几年芯片技术发展趋势的话,会发现确实还有不少。
一方面是芯片上有关AI算力的提升。
最后则是高精度导航方面的技术了。
BUT,就在最新一期天玑旗舰技术沟通会上,联发科却突然宣布,成功把电视上的画质“秘籍”搬到手机上来了——
适逢更多AI算法在手机端优化落地,计算摄影团队的重心也逐渐转到AI技术研发上。
下一篇:没有了