个人项目DeSci

[GTrunSec]

DeSci目前是有我个人驱动的项目，目标是完全可以自我搭建，去中心化，高度自定义，重复构建。探索下一代的mlops，以及科学分析的环境，由nix以及相关 devops理论框架驱动.

应用场景：

1. 将类似open-diagger 的给流程标准化等
2. 整体发布应该详细，明确，科学的流程规范，diagram/BPMN/ mlops flow等
3. 配合kerdo prefect等完成一些scheduling jobs
4. 使用函数式封装每个job 的环境等

[will-ww]

Sounds great~

[GTrunSec]

目前来说项目的面向对象还是比较高阶，目前无法向普通用户开放。因为解决的是kubeflow, yunikorn等存在的问题，再一个就是联合nixpkgs的生态剔除一些不必要的功能。kubeflow 使用jsonnet, cue去配置mlops,dataflow，我选择使用nix, nickel 去配置复杂的mlops流程。

其次再就是 https://github.com/iterative/dvc 和 https://github.com/enso-org/enso 项目在科学数据分析的新探寻， dataflow, mlops并不是一个简单的过程。

为什么要使用prefect而不是airlflow https://www.prefect.io/guide/blog/why-not-airflow/

在数据格式上，我们all in了https://github.com/apache/arrow/blob/master/format/Flight.proto apache-arrow, 如果这样，我们仅仅需要一个高效的query lang去获取数据到分析接口足以。

通过jupyerWith,我们已经 有了不同语言下的环境, 那么配置 https://quarto.org/docs/computations/ojs.html 我们可以将整个分析过程发布为blog,或者其他格式。

Why quarto: https://jjallaire.github.io/quarto-juliacon-2022/#/simple-example

喜欢julia的另外一个原因是，可组合性和模块化。这跟我们使用nix/nickel语言相同，我们可以使用函数式更加的方便的将各个流程给组合起来，模块化。利用模块化，让其他开发者维护成本更小。

DeSci的各个设计对新手并不友好，因为它有着明确的规范要求， flow job, notebook publish, environment definition, etc。或者来说在开始DeSci，你需要对mlops，dataflow等框架流程要有一个 明确 的概念和认知。也正因为这种规范概念，以及nix的特性，它的环境复现能够到达 100%。

对于学生和下发环境来说，基本0成功就可以复现一样的环境做科学测试。它的复杂层面仅仅会放在高度自定义的修改接口，如 如何用函数式 魔改修改各种包，维护科学计算的包 如https://talks.nixcon.org/nixcon-2022/talk/MYHSKT/ 等等。

当然这一切都是一个不小的工程，和维护投入。因为 nixpkgs 的特性，你需要自己或者社区共同来维护整个包已经环境，使用一种完全不同的技术从nix再发布为docker image/ deb等。我相信未来有更加友好的接口提供给更多人