股市的“AI”闯入者

本篇文章4327字，读完约11分钟

领导:如果市场中的新席位取决于谁拥有最强的机器、最多的数据和最强大的算法，这也违背了市场机制。

中国对冲基金公司魔术广场(Magic Square)最近宣布，其新一代人工智能超级计算机“萤火虫1号”已于2020年3月正式投入运行。

服务器由存储集群和计算集群组成。存储群集提供4.1兆位/秒的读写带宽和1.2兆位/秒的容量。计算集群配备了1，100个高端显卡，每秒可执行1.84亿次浮点运算，相当于40，000台个人电脑的计算能力。

在对冲基金二维码的主页上，公司介绍称，只有基于数据的科学方法、持续优化和迭代才是最好的投资方法。

他们在投资模型中使用42pb(1pb=1000tb，1tb=1000gb)数据，覆盖10，000多个数据源，并使用具有330，000多个处理器的集群来处理数据。

数字时代

在数字时代，基于统计和测量的传统方法已不能处理如此大量的数据。随着大数据和计算机处理能力的快速发展，机器学习和深度学习的优势逐渐显现出来。

数据驱动的定量策略是指直接识别金融市场的模式或规律，并通过相关数据寻找投资机会，这一直是对冲基金的主流策略。在数字时代，这种策略将越来越受到重视，而机器学习自然是这种策略的主要技术和方法之一。

表:全球年度数据增长表

数据来源:国际数据中心数据时代2025

近几十年来，数据呈指数级增长。当5g全面普及，物联网中的各种设备接入互联网，每年产生的数据将呈几何级数增长。据国际数据公司称，到2025年，全球数据将达到每年163兆字节。

随着油价一次又一次下跌，毫无疑问，这些数据被比作世界上最有价值的资源。数据将会给我们一个改善决策的机会，并将在经济和社会中发挥更重要的作用。

越来越多的公司使用这些数据来做出自己的决定，并为客户提供更好的服务。那些能够充分利用数据为用户服务和解决问题的企业将在新的竞争中脱颖而出。

金融投资领域也是如此。来自手机、社交媒体和物联网等各种传感器的数据将挑战金融投资机构的数据处理能力。

与竞争对手相比，能够在更大范围内收集更多实时数据并具备处理、分析和发现新投资价值能力的机构必将获得更强的竞争力。

墙上的投影

-香农(香农)

柏拉图在《理想国》中有一个著名的比喻——寓言。想象一群囚犯在地窖里；他们从小就被铁链锁着，无法回头，只能看到面前岩壁上的影子。

他们身后有一堆火，还有一条穿过山洞的小路；沿着小路有一堵矮墙，像木偶戏的屏风。人们带着各种各样的工具穿过墙后的小路，火光将这些工具的图像投射到他们面前的洞穴墙壁上。囚犯们自然认为影子是唯一真实的东西。

照片:洞穴的隐喻

洞穴比喻必须是事实和数据之间关系的最佳解释。数据就像隐喻中印在洞穴上的图像——人们试图用低维数据来描述高维事实。

这基本上与我们认为数字时代没有全球性信息的意思相同。

然而，在数字时代，火把的反射将不再是在墙上，全息图像可以通过各种仪器的数据处理产生，这将不可避免地使洞穴人感知到一个更加真实的世界。

在不久的将来，随着物理世界数字化的不断发展，数据将不再是火炬图像，而是全息图像。更多的维度和实时数据将帮助我们真正了解我们的环境、事物和我们自己。

信息的基本功能是消除人们对事物的不确定性。信息熵不仅是信息的量化度量，也是不确定性的度量。至于信息熵，有一个更准确的公式描述。感兴趣的读者应该参考相关的专业书籍。

只需要理解信息和不确定性是反向关系，有效的信息可以减少不确定性，增加确定性。

在金融市场中，如果某项资产的价格非常不确定，并且市场参与各方有不同的预期，那么资产价格就会剧烈波动。消除这种不确定性需要大量的信息。随着市场信息的不断传播，资产价格的不确定性正在下降，并逐渐趋于均衡价格。

我们强调经济和社会存在不确定性。哈耶克有一句话，经济不确定性不能被统计有效地消除:

经济学家越来越有可能忘记构成整个经济体系的持续微小变化。原因之一可能是他们越来越沉迷于统计，统计显示出比具体细节的运动更大的稳定性。

然而，统计学的相对稳定性不能用“大数定律”来解释，也就是说，随机变化的相互补偿，这是统计学家经常想做的。我们必须处理的因素数量不足以使这些偶然的力稳定。

由于持续而细致的调整，由于每天都要根据前一天未知的情况作出新的安排，并且由于一旦甲不能交货，它将立即被乙所取代，所以货物和服务的不间断流动得以保持。

作者非常同意，但是在数字时代，原来人们基于统计的决策将会得到改善。随着收集技术和各种传感器的不断优化，生产过程中记录了哪些由甲交付，哪些由乙交付，以及实时反馈系统，可以实现更高效的调度。

此外，原始抽样统计中被忽略的变量也将被有效地收集。大数据不同于统计样本抽样，它是一个较大的样本集，甚至是一个完整的样本集，可以有效避免样本统计过程中的信息损失。

此后，随着分布式存储、计算技术和分布式机器学习平台的发展，机器学习可以有效地处理更大的数据集，大数据的价值可以得到更好的体现，因此数据被认为是世界上最重要的资源。

因此，大数据和机器学习相辅相成。与大数据的兴起相比，机器学习和人工智能已经发展了半个多世纪。经过几次起伏，他们起起落落，他们改变了世界；当你走下坡路时，你就找不到工作。

虽然有人说机器学习近年来变得热门，但它可能会像以前的人工智能浪潮一样消退。

然而，作者认为，即使在热潮中，机器学习也会被滥用，但经过专家学者多年的不断探索、不可逆转的数字化进程和计算能力的不断提高，机器学习仍是乐观的。

只有在数字时代，机器学习和人工智能才成为不可阻挡的潮流。

目前，通常所说的大数据，数据量都在pb级以上，必须通过云计算来处理。此外，大数据建模与机器学习和深度学习密不可分。

那些领域，如图像识别、翻译和无人驾驶，因为有大量的数据集而具有深度学习的优势。大数据会将原始样本集变成完整的样本集，显示出无法在样本上显示的规则。

此外，机器学习和深度学习模型可以在大数据集上更有效地学习先前统计模型中忽略的结构和关系，这也是先前数据中不能处理的信息的一部分，从而可以获得更好的模型预测结果。

虽然数据处理和收集的成本降低了，但机器学习和算法的成本也降低了，易用性也提高了。机器学习算法的实现不再是人工智能在各个领域应用中需要考虑的问题。这些云计算提供商将继续降低机器学习的应用成本，提高可用性。

也就是说，预测的成本绩效将越来越高，金融投资领域也不例外，机器学习的应用将无处不在。

此外，金融投资领域与各行各业的发展密切相关。由于实体经济是数字化和智能化的，自然金融投资领域也是如此。

优点和缺点

一般来说，对于金融投资机构来说，选择外部云计算服务提供商也是一个比较合适的选择。然后又出现了另一个问题。为什么顶级金融投资机构需要建立自己的平台和系统？

当金融投资机构的目标是将大数据嵌入公司投资决策的各个方面，对整个投资过程进行数字化升级，并将数据的分析结果作为投资依据的重要来源时。

那么，没有任何外部大数据提供商或咨询机构能够取代公司的大数据团队。数据团队的工作分为两部分，一部分是构建数据存储和计算平台，另一部分是提供数据产品和服务。

对于对数据平台控制要求较高的组织来说，在开源大数据技术中构建定制的大数据存储和计算平台也是一个不错的选择。

数据处理团队主要负责对各种业务数据进行清理、处理、分类、挖掘和分析，然后将数据结果存储到数据平台，构建公司的数据中心。

在互联网行业，大数据的影响很容易体现。收集、处理和利用数据可以改善用户体验或开发新产品，而依靠数据操作来吸引、留住和活跃用户是互联网公司生存的方式。

所有这些都有明确的量化效果的相关指标，因此大数据团队的价值可以很容易地被认可。

然而，金融机构中的数据处理团队并不直接参与投资，而是经常充当中层和后台支持团队，他们的价值大多是通过与前中层团队的有效合作而产生的。

如果公司是数据驱动的投资公司，在投资决策系统中有数据支持，数据团队有明确的功能定位，有良好的信息基础和强大的数据驱动意识，那么大数据团队更有可能创造价值。

如果公司的最高管理层和业务团队对数据团队有很高的期望，团队的职能定位不明确，并且数据团队本身缺乏投资领域的知识，那么大数据团队的价值将难以发挥。因此，金融机构有效利用大数据团队通常需要以下条件:

该公司的最高管理层认识到大数据的价值和大数据团队的明确目标。建立一个数据科学团队是有一定成本的。在建立大数据团队之前，有必要在高层达成一致，确认投入资源建立数据科学团队的必要性，并阐明团队的目标和期望。

将大数据和数据分析纳入投资决策过程。数据在投资中的作用是不言而喻的，但交易团队、量化团队和风险控制团队经常对新的大数据集有所怀疑，因此有必要建立适当的流程，以确保大数据集经过验证后进入投资决策。鼓励交易团队和量化团队接触大型数据集，一起讨论新数据集的价值。只有当大数据真正应用于投资时，大数据团队的价值才能显现出来。

找到合适的数据人才。对于金融机构的大数据团队来说，他们倾向于拥有具有金融背景的大数据和机器学习人才，但在中国这方面的人才相对较少，互联网行业也在大力争夺相关人才。只要每个团队的职责明确，要求可以适当放宽，不同背景的人可以有效合作。

一般来说，机器学习团队和大数据团队被归类为后台支持团队。由于他们不直接参与投资，机器学习团队的价值通过与前中国台湾团队的有效合作得以体现。

另一种组织方案是将机器学习团队分为前、中定量团队，这更有利于机器学习算法直接应用于交易策略和风险模型，但需要与后端大数据团队有效合作。

无论您如何选择组织结构，目的都是将大数据和机器学习引入投资决策过程。

将大数据和机器学习融入原金融投资机构的在线交易决策和风险控制系统，支持离线策略和风险控制模型的研究，将涉及整个公司it系统的重构。

然而，这种趋势是不可避免的。面对数字时代的不断发展，物理世界和实体经济的数字化正在加速。金融投资机构应该以更加开放的心态将机器学习和其他技术融入最初的投资决策过程，以便在行业中获得竞争优势。

既然我们谈到了自建大数据和机器学习平台的优势，我们也应该谈谈它的劣势:昂贵。我们需要与互联网公司竞争人才。尽管金融机构提供更高的待遇，考虑到学习环境、股权激励和其他原因，人们通常更喜欢选择互联网公司。

当然，不缺钱的顶级投资机构自然不会被考虑。微软前首席人工智能科学家李征加入了对冲基金巨头之一的citadel。

尽管金融投资市场不公平，但它过去是、现在是、将来也不应该是公平的。但是，如果市场的新席位取决于谁拥有最强大的机器、最多的数据和最强大的算法，这也违背了市场机制。

来源：央视线