当前位置:首页> 科技 >云之变(六):让AI无处不在的云端训练师

云之变(六):让AI无处不在的云端训练师

发布日期:2019-11-30 21:22:15

照片来源@ vision china

大脑极体

随着一系列“云中的变化”接近尾声,每个人都必须清楚,云服务的当前发展方向,无论是以iaas、paas、saas还是其他形式交付,都不能脱离其寻求的产业价值,即“Aias a服务”和“ai a服务”。

在这一大浪潮中,越来越多的企业正在寻找将人工智能融入自身业务和产品的渠道。许多开发者渴望首先在人工智能阶段释放他们的创造力。然而,面对以深入学习为代表的庞大数据集,如果自建数据中心或个人电脑不能带来人工智能这个“计算怪物”,我们该怎么办?

作为一个拥有公共基础设施的云服务提供商,它被赋予了一个新的角色——人工智能培训师。

随着云计算的普及,各种人工智能能力以“即服务”的形式出现在各行各业。去年,rightscale的云研究报告指出,企业在人工智能技术系统中特别重视机器学习。当被问及他们计划在未来使用哪种类型的公共云服务时,绝大多数受访者选择了机器学习,12%的受访者表示他们正在使用该服务,46%的受访者表示他们正在测试或计划部署机器学习服务。

目前,人工智能主要是以三种形式“为行业服务”:

一个是聊天机器人(chatbot),智能语音助手,如苹果siri、微软cortana或亚马逊alexa,它可以直接通过人工智能体验,与业务整合后解放人力。

第二个是api。云服务提供商开发的人工智能模型,如nlp、图片分类、视频识别等。,以应用程序编程接口(api)的形式集成到自己的平台中,以避免零开发。目前,广泛使用的人脸识别和语音翻译都以各种形式普及。

第三是机器学习框架。开发人员使用云访问机器学习框架来构建模型,然后基于他们现有的数据来训练模型。该方法比自建算法模型更方便、更节省时间。

显然,这些让人工智能充分发展的主流方式仍然依赖于一个环节,即培训。

我们知道,虽然大多数云服务提供商目前提供各种人工智能模型来帮助各行各业实现智能。然而,云服务提供商不能渗透到工业纹理的每一个微小颗粒中,高度定制的数据训练对于人工智能在着陆时精确匹配实际需求是非常必要的。

即使云服务提供商有类似的平台模型供企业客户调用,一个好的模型仍然需要可扩展和可训练,也就是说,它可以根据实际数据随时更新自己,不断提高性能,从而真正成为提高质量和效率的法宝。

从这个角度来看,面向企业和个人开发人员的人工智能培训服务几乎已经成为公共云无法回避的关键能力。

如今,在公共云上进行深度学习训练是人工智能的一个重要趋势。然而,能够向企业和个人开发人员输出云培训服务的云服务提供商很少。

例如,亚马逊推出了aws深度学习容器,这也便于客户定制人工智能培训流程。谷歌和facebook也推出了适合他们自己的深入学习框架tensorflow的培训平台;在中国,华为、百度、阿里、浪潮和腾讯也将定制的人工智能培训服务放到云端,并将其整合到企业服务解决方案中。

我们知道,深入学习离不开大数据和大规模培训的支持。两者就像紧密结合的轴,将算法推向高性能和高精度,从而影响整个社会的人工智能进程。然而,市场上只有少数公共云供应商提供类似的服务。为什么云人工智能训练如何“春雪”?

很大一部分原因是定制神经网络的训练任务往往需要强大的计算能力,即gpu集群来保证。

然而,人工智能计算能力在今天仍然是一种昂贵的计算资源,并且云培训经常在没有进行实现灵活部署的培训时释放计算能力资源。服务提供商根据实际计算消费付费。个人开发者和企业可以节省购买计算单元或建立自己的数据中心的高成本,从而大大降低人工智能登陆的成本。

然而,目前用户可以选择的云培训平台并不多。主要原因是英伟达几乎是唯一用于神经训练的gpu芯片,云服务提供商建立训练平台的成本很高。后来,谷歌和华为分别推出了自己的大型计算设备,发挥了市场制衡的作用。然而,总的来说,处于培训阶段的云芯片仍然不能满足广泛的部署需求。

另一个担忧是云巨头在人工智能领域的投资和创新具有输出基本计算能力和应用工具的双重能力。

大多数企业都需要人工智能,但是他们仍然需要花费大量的时间、精力和人力来熟悉相应的深入学习框架、注释数据、设置参数、设计容错等。在vanson bourne的“企业人工智能状况”调查报告中,34%的企业it决策者表示,他们没有合适的人才来支持技术的成功部署,30%缺乏实施预算。

例如,大多数中小型企业使用公共云进行超大规模人工智能培训。基本出发点之一是测试和验证人工智能进入行业的新思路。因此,时间成本非常重要。这需要更高效、更可扩展的深入学习框架和特殊的加速来支持它。

因此,为了帮助企业降低定制培训的学习门槛和风险成本,只有少数愿意和强大的云技术巨头才能进入。

此外,值得注意的是,无论是需要良好财务结果的企业还是渴望拥抱人工智能的开发人员,云平台面临的培训任务是多种多样的,接收到的数据资源很可能会自行释放。

不同的程序和业务模式可以对应于不同的访问模式和存储结构。因此,如何存储、处理、分析并最终输出基于任何类型数据的训练模型,需要云平台有一个数据湖来处理各种结构化或非结构化数据,并将它们馈送给神经网络。显然,为了积累如此大量的数据,领头人的表现更好、更完整。

一般来说,人工智能培训作为智能建筑必备的原材料锻造工艺,迫切需要一名灵活的全能选手“随叫随到”,当场完成特殊模块的精细工作,然后退役,而不是在原地加工后将材料运送到施工现场。

具有这种灵活作战能力的“工程队”显然具有争夺市场的关键能力。这也是为什么如今几乎所有的云制造商都开始出口自己的云培训能力,甚至不惜以赚钱为代价。

那么,公共云供应商从人工智能的技术上游切入培训服务产业链意味着什么呢?它是否以算法api和应用程序的方式“连接”?还是它提供了工具和计算平台的“集成”?还是“硬实力”,如低级芯片?

如果云有野心真正成为智能时代的容器和基础设施,构建全方位、立体的人工智能技术体系,融合硬件计算能力、软件技术和生态发展的人工智能培训是一项复杂而漫长的冒险,但真正进入数千个行业是中国人工智能行业的必要投资和支持。

一方面,云服务提供商需要开放自己的计算资源。为了不妨碍他人,他们必须迫使半导体行业自我升级。特别是中国的短板,如承担培训任务的云培训芯片、专门加速和提高深度学习框架性能的计算单元,以及高精度基础模型的发布等。,是人工智能培训的必要支持,这是目前随着云服务提供商行业探索实现联动升级的趋势。

此外,云分布式训练和终端模型部署的结合正成为人工智能开发过程的全周期模式。大多数由使用公共云计算能力和解决方案的企业培训的专有模型需要在终端和终端进行部署和应用。在“从硬到软再到硬”的过程中,云平台往往需要以协调和全面的方式来考虑,这也使得构建从培训到应用的工业闭环成为可能。

然而,中国的企业和开发商,以及各行各业的关键数据和创新应用,都可以在国内云环境中运行,这对于区域氛围和环境不稳定的工业安全也具有重大的战略意义。

由此,我们可以引出一个新的话题:一个好的云人工智能培训平台有哪些能力?

人工智能开始进入公众视线,从阿尔法狗代表的深入学习技术开始。云服务提供商扮演的角色是不断地将实验室中模糊的技术和工具“具体化”为道具,并使用一双“魔掌”来改变实际情况,将硬件和软件结合起来,将人工智能呈现在各行各业和公众的眼前。

通过这双神奇的手,我们可以逆向理解在普惠公司的流程中支持“云培训”需要哪些条件:

1.计算性能的持续升级。

计算能力是云培训的基本保证。这里涉及两个基本命题。一个是绝对规模,即基于硬件的计算能力。在训练期间,数据将被分配到许多训练机器,并通过反馈和标记变量重新组合,从而创建一个完整的训练模型,对硬件(如gpu驱动程序和底层库之间的兼容性)提出许多挑战。

要考虑的第二件事是准确性。通过网络优化和超参数组合,云平台可以利用少量数据达到良好的训练效果和高性能模型,对一些中小型开发人员具有现实意义。

2.友好模式的发展。

简而言之,这是为了降低开发人员的培训成本和学习门槛。一种方法是提供简单易用的开发工具和交互界面。例如,由神经网络训练的数据集经常达到1pb的数据,也就是说,使用1 GB带宽的网络传输需要将近4个月的时间,黄花菜越来越冷。为此,一些云巨头可以借助新的传输工具,如谷歌的传输设备,在25小时内将1pb的数据加载到数据中心。

还有一些自动化和可视化的任务管理工具,可以极大地将开发人员从重复的工作中解放出来。例如,培训任务的一站式托管可以自动跟踪任务的培训状态,并提供输出日志功能。开发人员只需要实时监控。

友谊的第二个含义是云平台的兼容性。

我们知道目前有许多深入的学习框架。开发人员需要在不同的框架下完成特定的培训和推理任务。因此,云平台的包容性非常重要。例如,新的aws容器可以支持谷歌的tensorflow、阿帕奇的mxnet、脸书的pytorch和其他不同的机器学习架构。华为新发布的阿特拉斯智能计算平台也旨在解决中国企业与开发商之间的计算能力和兼容性问题。

这意味着为每种架构提供有针对性的优化和加速,以便通过上一层楼梯加快特定模型的训练速度,这也有助于消除企业开发人员对云的担忧。

3.通过各种场景降低成本并提高效率。

一方面,成本控制作为云培训的核心优势,在整个开发过程中不可或缺。这意味着云平台需要具有合理的可扩展性和灵活性,以便企业能够轻松获得所需的人工智能资源,并灵活合理地支付费用。如果试点项目不成功,也很容易关闭。项目成功后,资源规模很容易扩大。

另外,在基于原始场景数据的训练完成后,如何快速将模型扩展到其他业务部门和企业或行业的软硬件是困扰人工智能发展生态学的一个难题。开发生态能够集中处理数据,使终端和云能够在统一的智能基础设施上协同完成复杂的任务处理,未来将释放出更有应用价值的能量。

4.云数据培训的安全性。

定制培训意味着企业和开发人员需要将他们的关键敏感数据上传到云中,同时执行多个“租户”任务,因此不同培训任务数据之间的安全隔离变得至关重要。否则,它不仅会影响模型的准确性和性能,还会在迁移、培训和存储过程中面临数据泄漏的风险。

一方面,云平台需要确保自身数据的合规性,并确保算法不会因当地法律法规的数据策略限制而失效;同时,我们还需要应对潜在的网络攻击,采用数字加密等手段来实现完美安全的服务调用。

总的来说,云培训使人工智能能够在软件和硬件的双通道上得到完善,然后以低门槛和适用的方式真正适应成千上万个行业的智能需求。与此同时,我们应该看到云服务需要超越高耸的山峰,才能绘制出ai普惠公司的蓝图,增强众多行业的能力,覆盖生活的各个方面。在这个时代的跑道上,需要的不仅仅是宣传的华丽辞藻,还有汗水和泪水浸透的鼓励。

欲了解更多精彩内容,请关注钛媒体微信号(id: taimeiti)或下载钛媒体应用。


快乐十分开奖结果 上海快三开奖结果 澳洲三分 广西快3投注 中彩网




上一篇:西媒聚焦武磊世预赛表现:他的表现获得认可
下一篇:瓷砖现在流行金属条,美缝不流行了,赶紧了解下