向善而生的AI助盲,让AI多一点,障碍少一点******
有人说,盲人与世界之间,相差的只是一个黎明。在浪潮信息研发人员的心中,失去视力的盲人不会陷入永夜,科技的进步正在力图给每一个人以光明未来。
AI助盲在人工智能赛道上一直是最热门的话题之一。以前,让失明者重见光明依靠的是医学的进步或“奇迹”。而随着以“机器视觉+自然语言理解”为代表的多模态智能技术的爆发式突破,更多的失明者正在借助AI提供的感知、理解与交互能力,以另一种方式重新“看见世界”。
新契机:多模态算法或将造福数以亿计失明者
科学实验表明,在人类获取的外界信息中,来自视觉的占比高达70%~80%,因此基于AI构建机器视觉系统,帮助视障患者拥有对外界环境的视觉感知与视觉理解能力,无疑是最直接有效的解决方案。
一个优秀的AI助盲技术,需要通过智能传感、智能用户意图推理和智能信息呈现的系统化发展,才能构建信息无障碍的交互界面。仅仅依靠“一枝独秀”超越人类水平的单模态人工智能比如计算机视觉技术还远远不够,以“机器视觉+自然语言理解”为代表的多模态算法的突破才是正确的新方向和新契机。
多个模态的交互可以提升AI的感知、理解与交互能力,也为AI理解并帮助残障人士带来了更多可能。浪潮信息研发人员介绍说,多模态算法在AI助盲领域的应用一旦成熟,将能够造福数以亿计的失明者。据世卫组织统计,全球至少22亿人视力受损或失明,而我国是世界上盲人最多的国家,占世界盲人总数的18%-20%,每年新增的盲人数量甚至高达45万。
大挑战:如何看到盲人“眼中”的千人千面
AI助盲看似简单,但多模态算法依然面临重大挑战。
多模态智能算法,营造的是沉浸式人机交互体验。在该领域,盲人视觉问答任务成为学术界研究AI助盲的起点和核心研究方向之一,这项研究已经吸引了全球数以万计的视障患者参与,这些患者们上传自己拍摄的图像数据和相匹配的文本问题,形成了最真实的模型训练数据集。
但是在现有技术条件下,盲人视觉问答任务的精度提升面临巨大挑战:一方面是盲人上传的问题类型很复杂,比如说分辨冰箱里的肉类、咨询药品的服用说明、挑选独特颜色的衬衣、介绍书籍内容等等。
另一方面,由于盲人的特殊性,很难提取面前物体的有效特征。比如盲人在拍照时,经常会产生虚焦的情况,可能上传的照片是模糊的或者没有拍全,或者没拍到关键信息,这就给AI推理增加了难度。
为推动相关研究,来自卡内基梅隆大学等机构的学者们共同构建了一个盲人视觉数据库“VizWiz”,并发起全球多模态视觉问答挑战赛。挑战赛是给定一张盲人拍摄的图片和问题,然后要求给出相应的答案,解决盲人的求助。
另外,盲人的视觉问答还会遭遇到噪声干扰的衍生问题。比如说,盲人逛超市,由于商品外观触感相似,很容易犯错,他可能会拿起一瓶醋却询问酱油的成分表,拿起酸奶却询问牛奶的保质期等等。这种噪声干扰往往会导致现有AI模型失效,没法给出有效信息。
最后,针对不同盲人患者的个性化交互服务以及算法自有的反馈闭环机制,同样也是现阶段的研发难点。
多解法:浪潮信息AI助盲靶向消灭痛点
AI助盲哪怕形式百变,无一例外都是消灭痛点,逐光而行。浪潮信息多模态算法研发团队正在推动多个领域的AI助盲研究,只为帮助盲人“看”到愈发精彩的世界。
在VizWiz官网上公布的2万份求助中,盲人最多的提问就是想知道他们面前的是什么东西,很多情况下这些物品没法靠触觉或嗅觉来做出判断,例如 “这本书书名是什么?”为此研发团队在双流多模态锚点对齐模型的基础上,提出了自监督旋转多模态模型,通过自动修正图像角度及字符语义增强,结合光学字符检测识别技术解决“是什么”的问题。
盲人所拍摄图片模糊、有效信息少?研发团队提出了答案驱动视觉定位与大模型图文匹配结合的算法,并提出多阶段交叉训练策略,具备更充分的常识能力,低质量图像、残缺的信息,依然能够精准的解答用户的求助。
目前浪潮信息研发团队在盲人视觉问答任务VizWiz-VQA上算法精度已领先人类表现9.5个百分点,在AI助盲领域斩获世界冠军两项、亚军两项。
真实场景中的盲人在口述时往往会有口误、歧义、修辞等噪声。为此,研发团队首次提出视觉定位文本去噪推理任务FREC,FREC提供3万图片和超过25万的文本标注,囊括了口误、歧义、主观偏差等多种噪声,还提供噪声纠错、含噪证据等可解释标签。同时,该团队还构建了首个可解释去噪视觉定位模型FCTR,噪声文本描述条件下精度较传统模型提升11个百分点。上述研究成果已发表于ACM Multimedia 2022会议,该会议为国际多媒体领域最顶级会议、也是该领域唯一CCF推荐A类国际会议。
在智能交互研究方面上,浪潮信息研发团队构建了可解释智能体视觉交互问答任务AI-VQA,同时给出首个智能体交互行为理解算法模型ARE。该研究成果已发表于ACM Multimedia 2022会议。该研究项目的底层技术未来可广泛应用于AI医疗诊断、故事续写、剧情推理、危情告警、智能政务等多模态交互推理场景。
眼球虽然对温度并不敏感,但浪潮信息的研发团队,却在努力让盲人能“看”到科技的温度,也希望吸引更多人一起推动人工智能技术在AI助盲、AI反诈、AI诊疗、AI灾情预警等更多场景中的落地。有AI无碍,跨越山海。科技的伟大之处不仅仅在于改变世界,更重要的是如何造福人类,让更多的不可能变成可能。当科技成为人的延伸,当AI充满人性光辉,我们终将在瞬息万变的科技浪潮中感受到更加细腻温柔的善意,见证着更加光明宏大的远方。
立春来了春天还会远吗?全国盼春地图看哪里春风将至******
中国天气网讯 今天(2月4日),我国迎来了二十四节气中的第一个节气——立春。立春,春气始而建立也,意味着寒冬已尽、春意萌动。此时,人们对春的盼望也更加强烈了,中国天气网特别推出全国盼春地图,看看常年立春时节春天的脚步到哪儿了。同时,今年的立春有点不寻常,不仅立春连元宵,这个兔年还有两个立春节气,是个双春年,这个立春节气到底有何特别之处呢?
【全国盼春地图】立春不等于入春 春天脚步到哪了?
“东风吹散梅梢雪,一夜挽回天下春。”在诗人笔下,立春便是春天的开始,东风吹落了梅花枝头的雪,一夜之间春天来临,自此,万物复苏,春意盎然。不过,从气象意义上来说,立春并不等于入春。
从中国天气网推出的立春期间全国盼春地图来看,常年进入立春时,我国仅有云南、广东、广西、海南、台湾以及福建部分地区处于气象意义上的春季,真正享受暖意融融的春日。立春节气期间,春天的脚步继续北上,重庆西部、福建中北部以及云南东北等地会都会开启入春进程。而全国其他绝大部分地区,此时仍处在“寒意未退盼春来”的季节中。
【立春气韵】春意萌动 万物复苏
作为二十四节气中的第一个节气,立春意味着新一轮的四时更替正式开启。立春,春气始而建立也。虽然这个时节,天气依然寒冷,但寒冬已尽、春意萌动,大自然生机勃发。
立春时节最显著的特点就是万物开始有复苏的迹象。春风往往被称为东风,它们携带着又暖又湿的空气,从东南沿海地区吹向内陆,轻柔地摇醒了花草,吹绿了山川,也在人们心中播下了盎然的春意。
东风化雨逐西风,大地阳和暖气生。——《立春》·左河水我国幅员辽阔,南北跨度大,各地自然节律不一。立春期间,北方仍是冰天雪地,但南方已经水暖草绿。全国各地的气温开始大幅上升,日照和降雨也增多,万物渐次复苏。
立春后五日,春态纷婀娜。——《立春后五日》·白居易虽然我国绝大多数地区气象意义上的春天还未真正到来,但立春时节万物渐次复苏,春天的脚步已经越来越近了。
冬未放春交割,早有黄蜂紫蝶来。——《腊里立春蜂蝶辈出》·杨万里【立春物候】东风解冻 迎春报春
往往,最先感到春之气息的,是虫鸟与草木。立春第一候,东风送暖,大地开始解冻;第二候,蛰居的虫类慢慢在洞中苏醒;第三候,河里的冰开始融化,鱼儿向水面游动,如同背负着冰浮在水面。立春时节,世间万物,都做好了迎春的准备。
律回岁晚冰霜少,春到人间草木知。——《立春偶成》·张栻古人往往以花为节令信使,立春第一候花信迎春花,就因为它在百花之中开花最早,破冰雪而盛放,及时报告了春的消息。立春之后,万物复苏草木醒,大地的色彩也将斑斓起来。
从此雪消风自软,梅花合让柳条新。——《立春》·王镃【立春风俗】咬春求福 鞭春祈丰
立春是二十四节气之首,是一个轮回的开始,立春更是一个民俗节日,风俗多到难以胜数。为了迎春,我国民间在立春日这一天有“咬春”求福、“鞭春”祈丰以及踏青探春等活动。
吃春饼“咬春”的习俗在北方流传广泛,人们将面烙或蒸制成薄饼,再将豆芽、菠菜、韭黄、粉线等炒成合菜,用饼卷着合菜吃。南方立春吃春卷,春卷馅料十分丰富,有豆沙、花生、白菜肉馅及海鲜等,是用干面皮包上馅料,经煎、炸而成。吃春饼和春卷,都是为了迎接春天的到来。
春日春盘细生菜,忽忆两京梅发时。——《立春》·杜甫“鞭春”即打春牛,立春日将泥塑春牛打碎。人们通过打春牛的习俗提醒大家,春天已到,应该不违农时,及时播种谷物,祈愿一年五谷丰登,国泰民安。
泥牛鞭散六街尘,生菜挑来叶叶春。——《立春》·王镃【立春新知】一年两头春 立春连元宵
由于被安排了一个“闰二月”,农历癸卯兔年共有384天,从2023年1月22日开始,至2024年2月9日结束。农历癸卯兔年天数较多,还使得这个农历年出现了两个立春的历法现象,即“一年两头春”,也称“双春年”。两个立春日分别为正月十四和腊月二十五。
民间有“双春双喜”之说,往往认为“双春年”是吉利的。古人们认为一年内两个立春节气,风调雨顺,预示着丰收的年景。
一年打两春,黄土变成金。——农谚这个兔年不仅是“双春年”,还将在2月4日和2月5日接连迎来立春节气和正月十五元宵节,出现“立春连元宵”的有趣巧合。据了解,“立春连元宵”的情况在21世纪这100年中仅有6次,分别为:2004年、2023年、2042年、2061年、2080年和2099年。
万物之中,希望最美。有种诗意的说法是,立春就是立希望。无论眼下是寒冬还是暖春,此后都充满了希望,春意将逐渐洒满人间,万物更新、春暖花开。这便是立春的意义,也是春天的力量。(策划/张慧 设计/张莉 部分图片来源/视觉中国)(中国天气网)
(文图:赵筱尘 巫邓炎) [责编:天天中] 阅读剩余全文() |