Freightos对Matlab和Google BigQuery进行在线货运物流的大数据分析

在云中的多个数据库中有数百万行数据，Freightos分析师发现运行的分析是繁琐的，使得关键洞察力对于难以识别的运营和营销任务至关重要。虽然它们可以在云中的数据上运行查询静态报告，但是要获得互动探索和分析实时数据所需的洞察力。例如，要了解用户行为，他们希望量化用户的接合级别和软件的使用模式。与大多数大数据集一样，Freightos数据集就是不可能下载用于本地处理。

在货运行业内，航线和价格可以每小时更换，随着供需波动和燃料成本而变化。为了跟上这些变化，Freightos需要接近实时性能。此外，来自外部源的数据以格式和质量而异。Freightos需要有效地访问其BigQuery数据的子集，然后快速清洁数据，运行高级分析，并可视化结果。

Freightos的分析师与MathWorks Consulting Services合作，将MATLAB与谷歌BigQuery集成在一起，用于大数据分析。

他们一起开发了一种自动化方法，用于从BigQuery中提取数据并将其导入Matlab。在这种方法中，在BueQuery上执行的查询结果将导出到Google云存储，然后在MATLAB中下载和访问。

由于Freightos的大部分数据依赖外部来源，包括外部数据提供商、第三方运营商和货运代理，因此分析师必须在分析查询结果之前清理查询结果。在MATLAB中，该团队开发了识别和纠正数据中的异常值的脚本。

他们使用统计学和机器学习工具箱™对清理后的数据进行复杂的统计分析。一项分析评估了12万行运费报价，每一行都超过30列，以确定基于不同销售团队、公司和运输模式的运费价格波动。另一项由营销部门推动的分析探索了最常见的起源和目的地，并自动将它们绘制成树状图。

Freightos和MathWorks的顾问使用MATLAB生成散点图、树图和其他可视化结果，以更好地理解分析结果。他们还利用分析结果创建报告，帮助Freightos的c级高管做出决策和制定营销策略。

Freightos目前正在使用Matlab和BigQuery以基于BigQuery数据中最新的速率和路由来开发动态索引。该指数将使他们能够准确地估计来自中国主要城市的运费到北美主要城市。

Freightos计划使用Statistics和machine learning Toolbox中的机器学习算法来预测未来的指数价格。

• 分析在几分钟而不是小时内完成。“与我们的MATLAB和BigQuery集成，甚至是大型报告，例如整个数据池的季度报告，现在只需10分钟，”Freightos的数据分析师Leonid Hatskin说。“在过去，这将至少在一个完整的工作日。Matlab每月至少在我们的数据团队的时间内释放了一个工作日。“
• BigQuery集成迅速实施。“当我们要求MathWorks咨询BigQuery集成的帮助时，我们真正快速地从真实的人获得了真正的行动，”Buchman说明了。“支持MAT万博1manbetxLAB从强大的强大的人对我们的不可替代。”
• 洞察力更快地获得了20倍。“与我们以前的方法相比，我们的时间到洞穴与Matlab和BigQuery有20倍，”Buchman说。“我们无法在市场上推动价格标签。”