2021了你还不知道数据标注?人工智能为什么需要数据标注


2021了你还不知道数据标注?人工智能为什么需要数据标注


编写时间: 2021-2-22      来源:搜狐新闻


“得数据者,得人工智能”。如今人工智能早已在我们的生活中屡见不鲜,像“Siri”、“指纹解锁”、“人脸识别”等等都属于人工智能的范畴,然而人工智能的上游基础产业,数据标注却鲜为人知。数据标注是一个极为庞大的产业,在数标行业内部,从业者也必将随着AI行业而一同进入细分市场追逐阶段,可谓机遇与挑战并行,为创业者创造力大量的机会,为社会造就了大量新兴的就业机会。那么数据标注的应用场景都有哪些,它为什么如此火热呢?

数据标注的应用场景

人脸识别

人脸识别系统

人脸识别也称人像识别、面部识别,是基于人的脸部特征信息进行多年龄段、多角度、多表情、多光线的人脸图像采集,从而完成身份识别的一种生物识别技术。人脸识别涉及的技术主要包括计算机视觉、图像处理等。

人脸识别(视觉识别技术的一种应用)在国内的应用大致经历从公共安全领域扩展到商业领域的过程。最初,机场、高铁站以及酒店等场景使用这项技术对个人身份进行验证,随后商业银行也开始采用人脸识别实现远程开户。再之后,刷脸支付、刷脸门禁也相继出现,人脸识别逐渐从少数有限场景渗透到人们的日常生活之中,目前,人脸识别技术已广泛应用于多个领域,如金融、司法、公安、边检、航天、电力、教育、医疗等。

随着人脸识别技术的进一步成熟和社会认同度的提高,其将应用在更多领域,给人们的生活带来更多改变。

智能交通

近年来,随着人工智能浪潮的兴起,无人驾驶、智能交通安全系统一度走进我们的生活,国内许多公司纷纷投入到自动驾驶和无人驾驶的研究,例如百度启动的“百度无人驾驶汽车”计划,其自主研发的无人驾驶汽车Apollo还曾亮相2018年央视春晚。

再比如近日上海街头出现的地锁停车黑科技,当你停好车,协管员就会协管员将一张停车提示卡置于门把手上。停车7分钟后,停车位下的指示灯由绿转红,金属地锁升起,卡住车身底盘。取车时,用手机扫了扫地面上的二维码,停车时长、费用信息一目了然。支付停车费后,地面指示灯由红转绿,地锁降下,电子发票也能实时获取。

智能停车位

而这些都要依赖于人工智能数据标注的介入,对于行车视频进行采集,路况进行提取,停车点进行标注,包括D点云障碍物、红绿灯、车道灯及高精地图。为行人识别、车辆识别、红绿灯识别、车道线识别等技术提供精确训练数据,为智能交通保驾护航。

智能语音

智能语音即实现人与机器以语言为纽带的通信。人类大脑皮层每天处理的信息中,声音信息占20%,它是沟通最重要的纽带。人类对机器语音识别的探索始于20世纪50年代,迄今已逾70年。2016年,在深度神经网络的帮助下,机器语音识别准确率第一次达到人类水平,意味着智能语音技术落地期到来。

数据标注主要在语音方面的应用场景主要是语音语言采集,语音内容加工处理,情感判断,语音文字等转化。为语音识别(ASR)、语音合成(TTS)等提高质量语音数据让您的智能设备更懂得用户心声。我们常用到的小爱同学、天猫静音,手机语音输入,甚至包括有时候接到的营销电话都有着智能语音的身影。

图像处理之医学图像

医学图像处理是目前人工智能在医疗领域的典型应用,它的处理对象是由各种不同成像机理,如在临床医学中广泛使用的核磁共振成像、超声成像等生成的医学影像。

传统的医学影像诊断,主要通过观察二维切片图去发现病变体,这往往需要依靠医生的经验来判断。而利用计算机图像处理技术,可以对医学影像进行图像分割、特征提取、定量分析和对比分析等工作,进而完成病灶识别与标注,针对肿瘤放疗环节的影像的靶区自动勾画,以及手术环节的三维影像重建。

该应用可以辅助医生对病变体及其他目标区域进行定性甚至定量分析,从而大大提高医疗诊断的准确性和可靠性。另外,医学图像处理在医疗教学、手术规划、手术仿真、各类医学研究、医学二维影像重建中也起到重要的辅助作用。

得数据者,得人工智能

人工智能主要算法应用领域集中在计算机视觉、语音识别/语音合成,以及自然语言处理三个方面。

  • 1.图像方面一个新研发的计算机视觉算法需要上万张到数十万张不等的标注图片训练,新功能的开发需要近万张图片训练,而定期优化算法也有上千张图片的需求,一个用于智慧城市的算法应用,每年都有数十万张图片的稳定需求。

  • 2.语音方面头部公司累计应用的标注数据集已达百万小时以上,每年需求仍以20%-30%的增速上升,要求数据服务商不仅要掌握专业的声学知识、数据标注经验,还要拥有语音合成的算法能力。

  • 3.自然语言处理方面随着工业、医疗、教育的AI应用产品进一步爆发,将会有更多交互方式出现,自然语义数据处理的需求将会持续增长,有望成为继图像、语音之后的第三大增量市场。

这些海量的数据几乎全部依赖数据标注师手工进行标注,数据标注行业的缺口十分可观,并且数据标注已经在各行业产生了极广的应用,行业也开始逐渐升级,走向产业化。在行业发展的过程中,行业人才的培养必然是最大的内驱力。

“得数据者,得人工智能”。未来,随着AI应用场景逐渐多领域化,在数据标注行业内部,从业者也必将随着AI行业而一同进入细分市场追逐阶段,可谓机遇与挑战并行。


推荐文章

曾经,机器人的出现改变了整个制造业经济领域。如今,人工智能和自动化以同样的方式颠覆着信息工作,人类开始逐渐将认知劳动交付给计算机。例如,在新闻业中,数据挖掘系统会提醒记者编辑们注意潜在的新闻选题,而新闻机构则为观众提供了获取信息的新方法。自动报道机制如今已可以覆盖财经、体育等品类的新闻。当这些智能技术渗透到各行各业中时,人们通常会好奇传统工种和劳动力将受到怎样的冲击。本期全媒派带来独家编译,看看在人工智能加入的新闻业中,做新闻的会是谁?他,或者说它们,又会怎么做新闻?强化而非替代西北大学助理教授及计算机新闻实验室总监Nicholas Diakopoulos在其最新著作《自动新世界:算法如何改写媒体》中通过一系列论证表明,即使在人工智能主导的未来,仍然会存在很多人类新闻工作者。但是,这些人的工作,角色以及工作内容都会有所改变。人力将与算法结合,以释放人工智能的能力,同时适应其局限性。据估计,以目前的人工智能技术水平,记者的工作中只有约15%可以实现自动化,编辑则只有区区9%。在好莱坞大片以外的真实世界中,人类仍然在几个新闻业关键领域对人工智能保持优势,包括复杂沟通,专业思考,适应性,以及创造力。报道,倾听,回应和推拉,平衡信源,最后将这些环节打通,用创造力输出内容,记者工作的每一步都不可或缺,而人工智能甚至无法完成其中任何一个。但是,人工智能可以强化人类的工作成果,以帮助提高工作效率或质量。它能为深化新闻报道带来新机,让报道变得更加个性化。新闻编辑部的工作总是在适应新技术的浪潮,摄影、电话、电脑,甚至是小小的复印机。记者也必将适应与人工智能的协同作业。作为一种技术,人工智能已经并将持续改变新闻工作,但它非但不会取代一个训练有素的新闻人,反而会让他变得更强。新工种的出现Nicholas Diakopoulos发现,人工智能技术似乎正在为新闻界创造新的工作类型。以美联社为例,该社在2017年推出了计算机视觉人工智能技术,用以标记每天处理的数千张新闻照片。系统可以在标注中指明这张照片包含了什么内容或者哪些人,摄影风格如何,有无暴力画面等信息。该系统将图片编辑从大量的标注工作中解放出来,从而拥有更多的时间来思考他们应该发布什么。但无论在研发端还是编辑端,对这一系统的开发都需要大量的工作:编辑必须弄清要标记的内容以及算法对这一任务的匹配度,然后开发新的测试数据集来评估效果。完成所有操作后,他们仍然需要监控系统,手动批准每张照片的建议标签来确保高准确度。负责该项目的美联社高管Stuart Myles告诉Nicholas Diakopoulos,这项工作耗时数年,十多名编辑、技术和行政人员参与其中。大约三分之一的工作涉及新闻专业知识以及一些特别难以实现自动化的判准。虽然在将来人力监督有望削减,但随着技术系统的发展和扩大,编辑的工作仍将不可或缺。半自动化内容制作在英国,RADAR项目每月通过半自动化模式输出约8000篇本地化新闻。该项目由6名记者运营,他们找到按地理区域划分的政府数据集,筛选出有趣且有新闻价值的选题,然后将这些想法发展为数据驱动的报道模板。模板通过编码,将每条文本和数据归属的地理位置一一对应。例如,一篇报道可以讨论英国的人口老龄化问题,并通过布里斯托不同的本地化统计数据,向卢顿市的读者展示他们所属社群的变迁情况。这些报道会由通讯社发送到当地媒体,并由他们决定是否发布和如何发布。在这一方法中,记者和自动化高效结合:记者利用他们的专业知识和沟通技巧,为数据预设一些可能的“故事线”。他们也会与不同信源讨论来获取某个问题的全国普适视角,从而编写报道模板。在这个过程中,自动化充当了新闻生产小助手的角色,使同一文本能够适应不同的当地环境。RADAR记者使用一种名为Arria Studio的工具,它可以让内容生产者一睹自动化内容在实践中呈现的样子——它看起来就像一个复杂版的Word。作者写出各种碎片式的文本,而这些文本则由if- then- else(如果-那么-否则)的代码规则驱动。例如,在地震报告中,我们可能需要不同的形容词来描述8级地震和3级地震。因此,我们可以这样设计代码:如果地震强度>7,那么输出文本“强烈地震”。否则,如果地震强度<3,输出文本“小型地震“。像Arria 这样的工具还包含强大的语言功能,例如自动共轭动词或拒绝使用名词,从而更轻松地处理需要根据数据进行更改的文本。Arria的创作界面使得记者可以专注于自己擅长的事——从逻辑上构建引人入胜的报道情节并制作富有创意的非重复性文本。但他们也需要一些新的方法来构思报道。例如,模板的编写者在做一个报道前,得了解数据能做到什么。他们需要想象数据能如何丰富角度或使叙事变得多样,同时能勾画出驱动这些变化的内在逻辑。监督,管理或编辑自动化内容的工作人员也越来越多地出现在新闻编辑室中。质量和准确性是新闻业界最关注的问题。为此,RADAR开发了一个三阶段质检流程:首先,记者将阅读所有的自动化内容;然后,另一位记者将报道中给出的所有结论回溯到原始数据源;最后,编辑会再一次检查报道模板中的逻辑来排除错漏。这几乎就像一个软件工程师团队在调试脚本时所做的工作,而这也是人类为了让自动化正常运转而不得不做的事。终结付费墙?内容生产并不是人工智能大施拳脚的唯一赛道。通过机器学习的算法,新闻媒体还可能发展出新的订阅模式,实现对每一位用户内容消费的量身定制。通过调整订阅策略以及付费墙设置,新闻媒体一直在试图平衡自由浏览量和用户阅读权限——也就是在寻找广告收入和订阅收入之间的最佳平衡点。当然,这个神奇的平衡点并不存在。有的人可能在一次浏览后就会订阅,有的人则需要更长时间才能做出付费转化的决定,而有些人根本就不会订阅。这些用户维度的个人差异基于大量指标而变化,例如地理位置、内容消费习惯、访问行为、主题、设备等。在新技术的加持下,内容供应商不再需要通过单个数字来定义最佳策略,甚至不需要确定一个引导读者订阅的特定路径。如今,他们可以实时为每个用户生成最佳规则,向那些最有可能回应的人提供高价值的优惠。计算机无法自主制定营销策略,但它无疑可以帮助我们对营销策略进行优化。美国公司Piano用了大约一年时间来改进和测试用户可能性模型。他们的机器学习系统可以筛选出所有浏览器级别的可用数据,从而能够预测并驱动用户行为。Piano的第一个可能性模型就致力于预测用户订阅的可能性。以下是它的工作原理:通过与全球各地传媒公司的关联,Piano已经能够分析数百个订阅网站和数十亿的每月用户互动。这一独特的优势使Piano工作人员对营销订阅的因素有了一些深入认知。更重要的是,它为我们观测影响订阅可能性因素提供了确切的数据。某些数据点与用户转化的可能性密切相关。例如,用户每天或每周访问某个网站的时间,或者他们访问的设备类型等因素,都会定期形成可预测的模式,从而展示用户最终的行为方式。动态付费墙规则是一种新兴业务,它的背后冉冉升起的是一个定价和业务规则完全动态并为每个用户定制的世界。虽然“订阅经济”已经取得了很大成就,但我们认为这种转变比从一次性支付转向经常性支付更重大。这将是一个全新的世界,企业生产的所有内容都可以实时响应每一个用户、每一份商机。深耕人力资源如前文所述,人工智能和自动化非但没有减少新闻业的岗位,反而正在创造新工作,并改变现有的工作。今后,记者需要接受培训,以设计、更新、调整、检验、纠正、监督以及维护这些技术系统。许多人可能需要学会和数据一起工作,用逻辑思维来处理数据,多熟练掌握一些计算机编程基础知识也是不会错的。随着这些新技术的发展,确保它们是优质的工作非常重要——人们不能只是在更大的生产机器中成为齿轮,这种新型混合劳动的管理者和设计者需要考量人类对自主性、有效性和可用性的关注。Nicholas Diakopoulos乐观地认为,在这些技术中聚焦人类经验,将使内容工作者成长,让社会蓬勃发展,让人工智能和自动化交出更好的答卷。

热门文章

        对数据标注行业稍微有些了解的人都知道数据标注进入门槛低,适合很多人兼职也适合创业。        正是因为数据标注行业的门槛低这个特点最近两年从事数据标注的小公司小工作室如雨后春笋般的遍布全车大大小小的县城。        但是目前有个有趣的现象,那就是有很多进入数据标注行业做了一段时间的人慢慢的感觉数据标注行业就是个坑?为什么有些人会说数据标注就是个坑呢?        其实对与有上述问题认识的人我们认为,这些人多数都是有于对这个行业对自身条件的不了解,盲目的开始进入数据标注行业的。为什么我们会这样说呢?下面就给给大家来分析下到底有哪几方面的原因:        一、有相当一部分人是听了朋友或者网上消息说这行很火爆,好做,门槛低,也有一部分人了因此租办公室买电脑招人,然后就去群里面找分发项目的人就开张干起来了。可实际上这些人他们大多数都没有充分了解数据标注行业,更没有认真仔细得去调查分析,到底自己能不能做好一个项目,到底自己能不能有质有量按时交付的完成一个项目,到底自己有没有这个能力来管理项目。更多的人也没有去用长远的眼光去考虑数据标注项目。        二、数据标注项目虽然入门门槛低,但是相当一部分有于理解认知应变能力上都不能保证去做好数据标注项目,还有一部分人由于自己对标注项目重视程度不足接到项目之后呢?不仔细认真的去阅读理解项目规则,更没有很好的对规则质检标准去培训员工,而对员工的要求主要看重每天的产出效率,从而导致接到手的项目做的质量很差,频繁的返工,有提项目甚至因为质量太烂项目方不给结算或者是结算比例很少,最终的结果就是做好些个项目但基本都是赔钱。        三、虽然业内人都 说数据标注简单,但是标注项目他也是一个系统性的工程,一个项目能不能做好并不简单的看项目好做就能赔钱。实际上决定项目赚不赚钱考验的是一个团队的项目管理水平,质量管理能力,运营能力各方面因素的。一句话再好赚钱的项目也照样有人赚钱也有人赚钱,要赚钱不是那么简单的。        四、还有些工作室 、小公司因为对行业不够了解等他们做了一段时间后发现,自己团队经常会没有项目做,而自己团队接项目的业务能力又不具备,甚至有的时候为了员工有活干去接一些价格极低根本就不赚钱的标注项目,时间稍微一长这些工作室团队就会赔上很多钱最终关门倒闭。        五、下来要说的就是一部分人人兼职人员由于认识不到位,对项目的规则质量要求 文件不认真阅读消化理解导致做的项目质量差返工有的甚至最后不结算,最终退出这行。更有一些人由于经验不足被标注行业的项目骗子给忽悠到辛苦劳动到最后结算时找不到人。        标注行业本身由于进入门槛低,做的人很行业内盲目打价格战,导致很多转手二手三手的项目在质量工期的要求下根本就不赚钱甚至赔钱,所以在这里也提醒大家做任何事都要谨慎而行。