• 申请专栏作者
    您的当前位置:主页 > 数据挖掘 > 正文

    微软发布 .Net for Apache Spark :用什么语言开发大数

    来源: 时间:2019-05-02
    请点击下面的广告后浏览!

    Apache Spark 是当今最流行的开源大数据处理框架。Spark 用于进行分布式、大规模的数据处理,提供了更高级的编程接口、更高的性能。除此之外,Spark 不仅能进行常规的批处理计算,还提供了流式计算支持。而 .NET 是由 Microsoft 开发的一种致力于敏捷开发、快速应用开发、平台无关性和网络透明化的开发平台。长久以来,.NET 开发人员无法用他们已有的知识来使用 Apache Spark,但这样尴尬的局面就要终结了。Microsoft 4 月 29 日发布了 .NET for Apache Spark 预览版。从此以后,无论你用什么语言,都可以进行数据分析了!

    可思数据

      

    可思数据-巨龙彩票资讯平台

    4 月 24 日,在 Spark+AI 峰会 上,我们很高兴地宣布推出 .NET for Apache Spark。Spark 是一种流行的开源分布式处理引擎,用于分析大型数据集。Spark 可用于处理批量数据、实时流、机器学习和即席查询(ad-hoc query)。 可思数据-AI,巨龙彩票,人脸识别,区块链,大数据

    .NET for Apache Spark 旨在使 .NET 开发人员可以跨所有 Spark API 来访问 Apache® Spark™。到目前为止,Spark 已经可以通过 Scala、Java、Python 和 R 来访问,但尚不能通过 .NET 来访问。 可思数据-AI,巨龙彩票,人脸识别,区块链,大数据

    我们计划在 open(作为 .NET Foundation 成员项目)中为 Apache Spark 开发 .NET,同时与 Spark 和 .NET 社区一起开发,以确保开发人员能够在这两方面都做得很好。 可思数据-数据挖掘,巨龙国际彩票网,机器视觉,机器人

    本文将阐述关于以下主题的更多细节: 可思数据-AI,巨龙彩票,人脸识别,区块链,大数据

    什么是 .NET For Apache Spark? 内容来自可思数据

    .NET for Apache Spark 入门 可思数据-数据挖掘,巨龙国际彩票网,机器视觉,机器人

    .NET for Apache Spark 性能

    可思数据-巨龙彩票资讯平台

    .NET For Apache Spark 的下一步 可思数据-AI,巨龙彩票,深度学习,机器学习,神经网络

    结语

    可思数据-www.sykv.cn,zouir.com

    什么是 .NET for Apache Spark? 可思数据

    .NET for Apache Spark 提供了高性能 API,用于使用 C# 和 F# 中的 Spark。通过这个 .NET API,开放人员可以访问 Apache Spark 的所有方面,包括 Spark SQL、DataFrame、Streaming、MLLib 等。.NET for Apache Spark 允许 .NET 开发人员重用已有的所有知识、技能、代码和库。 可思数据-AI,巨龙彩票,深度学习,机器学习,神经网络

    绑定到 Spark 的 C#/F# 语言将被编写到一个新的 Spark 互操作层上,该层提供了更容易的可扩展性。这一新的 Spark 互操作层的编写,考虑到了语言扩展的最佳实践,并针对互操作性和性能进行了优化。从长期来看,这种可扩展性可用于在 Spark 中增加对其他语言的支持。 可思数据-www.sykv.cn,zouir.com

    你可以通过访问这个 提案 来了解更多关于这项工作的细节。

    可思数据-数据挖掘,巨龙国际彩票网,机器视觉,机器人

     

    可思数据

     

    可思数据-数据挖掘,巨龙国际彩票网,机器视觉,机器人

    .NET for Apache Spark 与 .NET Standard 2.0 兼容,可以在 Linux、macOS 和 Windows 系统上使用,就像 .NET 的其余部分一样。.NET for Apache Spark 在 Azure HDInsight 中默认可用,并且可以安装在 Azure Databricks 等软件中。 内容来自可思数据

    .NET for Apache Spark 入门

    可思数据-巨龙彩票资讯平台

    在开始使用。NET for Apache Spark 之前,需要安装一些东西。按照 以下步骤 开始使用 .NET for Apache Spark。 可思数据-AI,巨龙彩票,深度学习,机器学习,神经网络

    设置完成之后,我们可以通过三个简单的步骤在 .NET 中开始编写 Spark 应用。

    本文来自可思数据,转载请联系本站及注明出处

    在我们的第一个 .NET Spark 应用中,我们将编写一个基本的 Spark 管道,用于计算文本段中每个单词的出现次数。

    可思数据-巨龙彩票资讯平台

     

    本文来自可思数据,转载请联系本站及注明出处

      可思数据-www.sykv.cn,zouir.com

    .NET for Apache Spark 性能 可思数据-www.sykv.cn,zouir.com

    我们很高兴地宣布,.NET fro Apache Spark 的第一个预览版本在流行的 TPC-H 基准 测试中表现良好。TPC-H 基准由一组面向业务的查询组成。下图展示了 .NET Core 与 Python、Scale 在 TPC-H 查询集上的性能对比。

    可思数据

      可思数据-数据挖掘,巨龙国际彩票网,机器视觉,机器人

      可思数据-AI,巨龙彩票,人脸识别,区块链,大数据

    上图显示了 .NET for Apache Spark 与 Python 和 Scala 的每个查询性能对比。.NET for Apache Spark 对阵 Python 和 Scale 时表现出色。此外,在 UDF 性能至关重要的情况下,例如查询 1,其中在用于 Apache Spark 的 JVM 和 CLR 之间传递 3B 行的非字符串数据,就其传递速度而言,.NET 要比 Python 快上 2 倍。

    可思数据-AI,巨龙彩票,人脸识别,区块链,大数据

    同样重要的是,这是我们为 Apache Spark 开发的第一个 .NET 预览版,我们的目标是进一步致力于改进和基准测试性能(如 Arrow 优化)。你可以按照我们的说明在 Github repo 上对其进行基准测试。

    本文来自可思数据,转载请联系本站及注明出处

    .NET For Apache Spark 的下一步

    可思数据-www.sykv.cn,zouir.com

    今天 .NET for Apache Spark 的发布,是我们征途的第一步。以下是我们近期路线图的一些功能,请关注我们的 GitHub repo 的 完整路线图。

    可思数据-数据挖掘,巨龙国际彩票网,机器视觉,机器人

    ♦ 简化入门体验、文档与示例。

    可思数据-AI,巨龙彩票,深度学习,机器学习,神经网络

    ♦ 与 Visual Studio、Visual Studio Code、Jupyter notebooks 等开发工具进行原生整合。

    可思数据-数据挖掘,巨龙国际彩票网,机器视觉,机器人

    ♦ .NET 支持用户定义的聚合函数。

    可思数据-AI,巨龙彩票,深度学习,机器学习,神经网络

    ♦ 用于 C# 和 F# 的 .NET 惯用 API(如,使用 LINQ 编写查询)。

    可思数据-AI,巨龙彩票,深度学习,机器学习,神经网络

    ♦ 对 Azure Databricks、Kubernetes 等开箱即用的支持。 可思数据-AI,巨龙彩票,人脸识别,区块链,大数据

    ♦ 将 .NET for Apache Spark 作为 Spark Core 的部分。你可以访问此 网址 跟踪进程。

    可思数据-巨龙彩票资讯平台

    结语 本文来自可思数据,转载请联系本站及注明出处

    .NET for Apach Spark 是我们将 .NET 打造成构建大数据应用程序的重要技术堆栈的第一步。

    可思数据-www.sykv.cn,zouir.com

    我们需要你的帮助来为 .NET for Apache Spark 塑造未来。我们期待你使用 .NET for Apache Spark 进行构建。你可以通过我们的 GitHub repo,向我们伸出援助之手。

    可思数据-AI,巨龙彩票,人脸识别,区块链,大数据

    https://github.com/dotnet/spark 可思数据-AI,巨龙彩票,人脸识别,区块链,大数据

    原文链接:

    可思数据-数据挖掘,巨龙国际彩票网,机器视觉,机器人

    https://devblogs.microsoft.com/dotnet/introducing-net-for-apache-spark/ 内容来自可思数据

    网友评论:

    发表评论
    请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
    评价:
    表情:
    用户名: 验证码:点击我更换图片

    Copyright©2005-2019 zouir.com 可思数据 版权所有    网站地图   联系我们  

    巨龙彩票资讯   巨龙彩票资讯   巨龙彩票资讯   巨龙彩票资讯

    扫码入群
    咨询反馈
    扫码关注

    微信公众号

    返回顶部

    巨龙彩票 |巨龙国际彩票网 |巨龙彩票登录 | |手机版 | | 108网投彩票|LG彩票|新世界彩票|春秋彩票官网|亚洲彩票网|皇冠彩票正网|