第311章 燧火机器学习开发框架

燧火之名，源自燧人氏取火的古老神话传说，那是人类首次掌控的可控能源。

如今，历景铄希望它能成为机械智能的起源，开启一个全新的时代。

燧火框架主要涵盖了数据处理、模型构建、模型训练、模型评估这四大核心功能模块。

先说数据处理部分，数据加载环节至关重要，它具备从本地文件、网络文件系统和数据库等数据源读取数据的能力。当然，前世常见的各种大数据文件系统或者对象存储文件系统现在连影都没有，这个框架自然也不会有对应的加载处理能力。

数据从数据源里面读取进来之后，会被转化成与数据类型相适配的对应内存数据结构。

在秦奕的建议下，燧火里定义了一个和前世流行机器学习框架 PYTORCH 中的张量类似的基本数据类型来存储各种各样的数据，该数据类型是基于乾坤语言原生多维数组的一种对象，能够很方便的表示零维标量、一维向量、二维矩阵甚至更高维的数据。

历景铄做得是计算机视觉算法研究，最常用的便是表达一张图片的三维数组，三维分别是长、宽、颜色通道，颜色通道数值可以是 RGB 这种数字图像和视频处理的标准颜色表示方式也可以是 CMY 这种印刷行业标准的颜色模型，框架里提供了两种模型互相换算的能力。

在将数据读取进内存之后，用户就需要对现有的数据做预处理了，燧火框架提供了一系列数据清洗、归一化、标准化等预处理操作。

在数据清洗方面，框架提供了多种便捷的清洗能力。

面对文本数据中可能出现的乱码，框架会通过字符编码识别与转换算法，将其纠正为正确的字符格式。