高性能、简单易用、安全可靠的
数据科学平台

数据挖掘可视化,流程化

数据处理的功能模块化,极大缩短清洗和组织数据的时间;

通过拖拽方式搭建可视化任务流,轻松实现数据运算逻辑;

分析师进行前后追溯、校验逻辑时,流程可复用;

集成6大类50多种主流机器学习算法,调参评估实时展示;

强大的自定义集成模块功能,模块复用可直接发挥功效;

建设模型知识产权,全面提升企业数据资产价值;

高度灵活可扩展的系统架构

支持HDFS、S3、OSS等分布式存储;

Alluxio分布式缓存,确保整体系统高扩展性;

基于SPARK、FLINK、MXNET的分布式计算底层;

基于Docker的底层系统架构,便于轻松部署扩展;

自主研发ACO调度层,深度优化计算逻辑及资源分配,提升系统性能;

功能全面的大数据管理系统

文件、数据库、API数据统一管理;

数据结果可进行图表展示、导出、下载;

分布式存储极大地保证了数据安全性和读写效率;

数据治理,元数据管理、数据检索、权限管理等;

每份数据多个快照版本,随时选择版本进行使用或恢复;

团队间跨区域高效协作

协同成员的角色和权限可定义,项目内外人员权限区隔:

定时任务和实时消息通知,大幅降低沟通成本,实现协作共赢;

全程可视化数据呈现和灵活的数据输出,让分析师聚焦数据应用;

数据应用层功能高度集成

数据挖掘结果,通过BI Factory组件一键式生成数据可视化,数据源动态更新;

Action Factory可将数据挖掘与应用系统轻松打通,让数据结果直接为生产系统服务;

数据模型可进行功能抽离,以API方式与现有系统对接,独立落地为应用型产品;

多方位数据安全保障

原始文件加密存储;

服务间通信加密处理,保证传输安全;

通过容器隔离不同用户运行环境;

数据缓存采用严格的读写权限控制,隔离不同用户数据;

细粒度用户权限控制,使得只能访问授权的数据和任务;

亚马逊、阿里云等云安全策略,确保云端数据安全加密;

专业、可靠、全方位的技术支持

Elemental Data Engine采用微服务架构,具有全异步、高可用、弹性伸缩的技术栈,集成了批量、流式、深度学习等不同风格的分布式计算引擎,并进行了对应的驱动开发。系统将计算引擎和计算资源的管理作为服务调用,无缝融合到产品整体架构中,具有多层次的分隔和抽象。后台引擎对用户通过页面交互自定义的逻辑计算过程进行流程优化和代码自动生成,将任务分解为不同规模的Job,智能分发到集群所托管的计算资源节点上进行运算,并实时反馈执行结果。

使用Scala语言作为主要开发语言,相对于Java语言表达能力优秀,其强类型检查和函数式的特性,使得服务稳定性更好

自研流程管理引擎,支持本地算子并无缝接入多种开源计算引擎,自动优化运算流程,通过全异步非阻塞的方式实现Reactive风格的复杂拓扑运算管理

自研集群资源管理框架,动态调整计算资源并进行运行环境的分发;根据算法和数据特征匹配合适的运算节点,并支持手动调整等高级功能

基于Websocket的通知服务为用户提供实时消息和运行结果反馈,支持不同客户端之间的协同通信

支持多种底层数据存储(HDFS/S3/OSS),采用Alluxio提高数据读写效率

支持多种底层分布式计算引擎Spark、Flink,在开源产品的基础上进行了大量算法和架构的优化

基于MXNet、TensorFlow深度学习框架,实现多种算法,借助GPU提供强大的建模能力

基于ServiceMesh的微服务架构,结合Docker和Kubernetes实现服务的自动发现、注册、部署

Elemental 采用微服务架构,具有全异步、高可用、弹性伸缩的技术栈,集成了批量、流式、深度学习等不同风格的分布式计算引擎。

高性能流程管理引擎

自研集群资源管理框架

多种底层数据存储

多种底层分布式计算引擎

深度学习建模能力

基于K8s提供弹性伸缩部署

前端采用前沿的 MVVM 架构,数据、界面、交互行为相分离,React + Redux 配合 WebSocket,保证了数据更新在界面上的实时体现,贯穿始终的数据可视化技术让复杂的数据处理流程得以直观体现,无需一行代码、鼠标拖拽即可进行灵活地修改,大数据处理操作从未如此简单。

要颜值,更要交互,注重体验也追求性能,基于 Facebook 开源的 React,深度定制 Ant.design 使得用户界面清新简洁,操作流畅

不止心中有数,更是眼中有图,借助D3.js 让大数据处理的每一步都看得见摸得着,并提供了大量图表和可视化结果实时展现

前后端彻底分离的架构模式,使前端代码的部署和升级灵活流畅

基于HTML5 history 实现的前端路由系统,对协同操作和任务处理提供了有力支持

NodeJS + MongoDB 的黄金搭档,轻量级数据应用的优选

Webpack + Babel 让用户提前享受来自未来的 ES6

借助 PostMessage 实现了各子系统间数据的无缝共享

下一代API查询语言 GraphQL 让前后端的配合更灵活更自由

托拉拽交互和贯穿始终的数据可视化技术让复杂的数据处理流程直观体现。

基于React

D3.js支持可视化交互

前后端分离,异步通知服务

HTML5 history

轻量数据应用

PostMessage