编写与运行工作流程# 介绍并解释了 Prefect 的核心概念。 编写并运行流 运行流 指定流参数 编排工作流 嵌套流 支持的功能 异步函数 类方法 生成器 流程运行 流设置 最终状态的确定 返回未来值 返回多个状态或者未来 运行手动状态 自定义命名状态 重试 编写和运行任务 支持的函数 同步函数 异步函数 类方法 生成器 并发性 任务配置 标签 超时 重试机制 自定义重试行为 增加“抖动”以避免雷鸣般的群体效应 全局配置重试行为 在后台运行任务 使用延迟任务 定义任务 调用任务 使用任务工作者执行延迟任务 探索Prefect中的延迟任务和任务工作者 设置 第一步:激活虚拟环境 第二步:安装Python依赖项 第三步:连接到Prefect云或自托管的Prefect服务器 步骤4:克隆仓库(可选) 示例1:通过调用在前台运行Prefect任务 步骤1:创建带有任务装饰的函数的文件 第二步:在终端运行脚本 可选操作 示例2:启动任务工作者并在后台运行延迟任务 步骤1:在文件中定义任务和任务工作者 步骤2:通过在终端运行脚本启动任务工作者 步骤3:创建文件并保存以下代码: 步骤4:打开另一个终端并运行脚本 步骤5:在 UI 中查看任务运行 步骤6:使用多个任务工作者并行运行任务 步骤7:向任务工作者发送多个任务 步骤8:使用 control + c 关闭任务工作者 可视化流程结构 处理大数据 移除任务内省 将任务结果写入云存储 在流程中保存数据到磁盘 缓存任务结果 压缩写入磁盘的结果 使用任务运行器进行可并行操作 执行以下 shell 命令 watch命令 示例用法 watch的好处 使用serve部署 示例用法 serve的好处 访问第三方密钥 前提条件 步骤 步骤1:安装prefect-aws和prefect-snowflake库 第二步:在AWS Secrets Manager中存储Snowflake密码 第三步:创建AwsSecret块以访问你的Snowflake密码 步骤4:创建AwsCredentials区块 步骤5:确保计算环境能够访问AWS凭证 步骤6:在Python代码中创建并使用SnowflakeCredentials和SnowflakeConnector块 下一步