牛背网

牛背网 > 国际 > 「星光娱乐官网苹果下载」阿里正式开源通用算法平台Alink,“双11”将天猫推荐点击率提升4%

「星光娱乐官网苹果下载」阿里正式开源通用算法平台Alink,“双11”将天猫推荐点击率提升4%

online_member 发表于 2020-01-11 15:28:00 | 阅读: 4710

「星光娱乐官网苹果下载」阿里正式开源通用算法平台Alink,“双11”将天猫推荐点击率提升4%

星光娱乐官网苹果下载,整理 | 若名

出品 | ai科技大本营(id:rgznai100)

近日,阿里云计算部门已在 github 上发布了其 alink 平台的“核心代码”,并上传了一系列算法库,它们支持批处理和流处理,这对支持机器学习任务至关重要。

alink 是基于 flink 的通用算法平台,由阿里巴巴计算平台 pai 团队研发。除了支持阿里自己的平台外,还支持 kafka,hdfs 和 hbase 等一系列开源数据存储平台。

阿里云计算和机器智能部门表示,开发者和数据分析师可以利用开源代码来构建软件功能,例如统计分析、机器学习、实时预测、个性化推荐和异常检测。而 alink 提供的一系列算法,可以帮助处理机器学习任务,例如 ai 驱动的客户服务和产品推荐。

开源算法列表

阿里巴巴集团副总裁、阿里云智能计算平台事业部总裁、高级研究员贾扬清指出,对于寻求大数据和机器学习工具的开发人员而言,alink 将是一个新的选择。

在他看来,作为中国企业是github上十大贡献者之一,阿里致力于在软件开发周期中尽早与开源社区建立联系。而在 github 上开源 alink 遵循了这一承诺。

阿里目前已将 alink 部署到其旗下电子商务平台天猫上。今年“双11”期间,单日数据处理量达到 970pb,每秒处理峰值数据高达 25 亿条,alink 帮助天猫产品推荐的点击率提高了 4%。

迄今为止,阿里的开发人员在过去八年中为整个开源社区贡献了 180 多个项目,包括云基础架构、机器学习、数据库和网络。阿里巴巴的开放源代码计划包括基于 mysql 的 alisql,容器工具 pouch 和 jstorm(基于java的 apache storm 版本)。

q:能否连接远程 flink 集群进行计算?

a:通过方法可以连接一个已经启动的 flink 集群:

。其中,参数

host 和 port 表示集群的地址;

parallelism 表示执行作业的并行度;

flinkhome 为 flink 的完整路径,默认使用 pyalink 自带的 flink-1.9.0 路径;

localip 指定实现 flink datastream 的打印预览功能时所需的本机ip地址,需要 flink 集群能访问。默认为localhost。

shipalinkalgojar 是否将 pyalink 提供的 alink 算法包传输给远程集群,如果远程集群已经放置了 alink 算法包,那么这里可以设为 false,减少数据传输。

q:如何停止长时间运行的flink作业?

a:使用本地执行环境时,使用 notebook 提供的“停止”按钮即可。使用远程集群时,需要使用集群提供的停止作业功能。

q:能否直接使用 python 脚本而不是 notebook 运行?

a:可以。但需要在代码最后调用 resetenv,否则脚本不会退出。

使用步骤

使用前准备:

确保使用环境中有python3,版本>=3.5;

需要根据 python 版本下载对应的 pyalink 包(下载链接参见github);

使用 easy_install 进行安装

如果之前安装过 pyalink,请先使用 pip uninstall pyalink卸载之前的版本。

如果有多个版本的 python,可能需要使用特定版本的 easy_install,比如 easy_install-3.7。

如果使用 anaconda,则需要在 anaconda 命令行中进行安装。

阿里推荐通过 jupyter notebook 来使用 pyalink,能获得更好的使用体验。

pyalink

使用步骤:

在命令行中启动jupyter:jupyter notebook,并新建 python 3 的 notebook 。

导入 pyalink 包:from pyalink.alink import *。

使用方法创建本地运行环境:

。其中,参数 parallism 表示执行所使用的并行度;flinkhome 为 flink 的完整路径,默认使用 pyalink 自带的 flink-1.9.0 路径;config为flink所接受的配置参数。运行后出现如下所示的输出,表示初始化运行环境成功:

4.开始编写 pyalink 代码,例如:

在 pyalink 中,算法组件提供的接口基本与 java api 一致,即通过默认构造方法创建一个算法组件,然后通过 setxxx 设置参数,通过 link/linkto/linkfrom与其他组件相连。这里利用 jupyter 的自动补全机制可以提供书写便利。

对于批式作业,可以通过批式组件的

等方法或者 batchoperator.execute来触发执行;对于流式作业,则通过streamoperator.execute 来启动作业。

1.准备flink集群

2.准备alink算法包

3.运行java示例

上一篇:11月工业企业利润下降1.8% 价格回落利好下游行业
下一篇:国庆假期人气最旺的免费景区,位于杭州,“只见人头不见湖”

热门资讯

猜你喜欢