DevOps在数据科学和机器学习中的应用
2019/7/29 10:36:48
数据科学家与DevOps工程师相互协作可以获得更好的业务成果,但了解他们的不同需求是关键。 数据科学家与软件开发人员有一些共同的实践和需求。数据科学家和软件工程师都计划、构建、编码、迭代、测试和部署代码来实现他们的目标。对于软件开发人员来说,这通常意味着自定义编码应用程序和微服务;数据科学家实现与数据操作的数据集成,通过分析模型进行预测,并创建仪表板以帮助最终用户导航结果。 那些寻求自动化,并与运营工程师开展合作的Devops工程师应该扩大其业务范围,并向数据科学家提供服务。 拥有多个数据科学团队的大型组织可能会投资于Alteryx Analytics、Databricks、Dataiku等数据科学平台,这些平台提供了用于开发、测试和部署分析模型的混合工具。这些工具在数据集和分析功能、集成选项、治理、业务用户工具和部署选项上展开激烈的竞争。 DevOps对数据科学家的要求与应用程序开发人员不同 并非每个组织都对投资数据科学平台做好了准备,或者可能只需要基本操作能力的小型数据科学团队。在这些情况下,最好将DevOps最佳实践应用于数据科学团队,而不是选择和使用平台。 为此,许多用于软件开发团队的敏捷和开发范例可以应用于数据科学工作流程,并进行一些重大调整。虽然数据科学家的流程与开发人员的工作流程类似,但存在一些重要的区别。 •数据科学工作需要围绕数据集、模型和配置进行更多实验。这不是大多数软件开发商发布管理实践遵循的简单计划、构建、测试、部署周期。 •开发和测试模型可能无法使用统一的计算堆栈。一些模型可以使用简单的Python脚本实现,而其他模型可以使用Apache Spark和其他大数据平台。 •即使模型处于开发阶段,计算需求也会有很大差异。例如,一位数据科学家想要针对一个大数据集测试一个模型的六个变体,与另一位在一个规模较小数据集测试一个模型的数据科学家相比,需要更多的计算能力和存储容量。 •部署到生产中的模型也需要持续维护,但除了更改底层代码之外,还有更多变量。模型还需要使用更新的数据集进行重新训练、重新配置操作参数以及调整基础设施,所有这些都可能触发新的部署。 •监控数据管道通常需要更复杂的验证。知道数据操作过程正在运行,并且模型正在处理数据是不够的。这些工具一旦投入生产,就必须对吞吐量、错误条件、数据源异常以及可能影响下游结果的其他条件进行监控。 •要想取得成功,数据科学家必须与开发人员、工程师、业务负责人合作,这与在应用程序开发中巩固开发人员和操作人员之间的协作相比,可能是一项更艰巨的任务。此外,许多数据科学家和团队可能不会向IT组织报告,因此更难为这些组织制定标准和治理。 在开始采用DevOps实践和解决方案之前,支持数据科学家需要了解这些和其他差异。 从数据科学家的经验开始 与应用程序开发人员一样,数据科学家最感兴趣的是解决问题,他们非常关注配置工具,但对配置基础设施的兴趣往往更少。与软件开发人员不同,数据科学家可能没有相同的经验和背景来充分配置他们的开发工作流程。这为DevOps工程师提供了一个将数据科学家视为客户,帮助他们定义需求,以及拥有交付解决方案所有权的机会。 这可以从数据科学家需要的基础设施开始。他们是用Python、R还是其他语言编写代码?他们使用什么工具(Jupyter、Tableau、Apache Kafka和NLTK)进行分析和建模?他们使用哪些数据库和云平台作为数据源,用于存储经过训练的数据,以及用于部署模型? 为此,DevOps工程师可以帮助数据科学家选择和标准化开发环境。这通常可以在计算设备或虚拟桌面上完成。无论哪种方式,将他们的应用程序和配置镜像到开发环境是与数据科学家进行合作的重要的第一步。 在此
下一页
返回列表
返回首页
©2025 智能硬件世界----智能硬件产业门户网站 电脑版
Powered by iwms