企业官网建设流程全解析

银川市住房建设局网站,手机海报制作免费软件,网站做友链盈利,湖南企业建站系统费用一、项目背景目前#xff0c;Apache SeaTunnel 的任务配置中#xff0c;数据源的用户名和密码等敏感信息直接写死在任务脚本中#xff0c;这种方式 存在以下问题#xff1a;安全隐患#xff1a;敏感信息暴露在脚本中#xff0c;易导致数据源信息泄漏。维护困难#xff1…一、项目背景目前Apache SeaTunnel 的任务配置中数据源的用户名和密码等敏感信息直接写死在任务脚本中这种方式 存在以下问题安全隐患敏感信息暴露在脚本中易导致数据源信息泄漏。维护困难 数据源配置信息发生变更时需手动修改所有相关任务脚本效率低下且易出错。为解决上述问题本项目旨在通过集成metalake实现数据源信息的集中存储和管理。通过数据源 ID 映射机 制用户可方便地更新和管理数据源配置。本项目的目标是支持主流数据目录 Apache Gravitino并通过预留 接口方便扩展支持其他第三方数据目录服务。Apache Gravitino获取数据源配置信息的REST API示例见于https://gravitino.apache.org/docs/0.9.0- incubating/api/rest/load-catalog代码仓库见于 https://github.com/apache/seatunnel完成metalake配置信息适配将metalake配置信息配置在seatunnel-env中任务启动后加载到任务配置脚本的env中。1.1 任务启动时读取seatunnel-env中的配置项。1.2 将配置集成到任务脚本的env中确保任务能够正确加载metalake配置。完成source和sink的数据源配置信息改造读取env中是否开启metalake标识在source和sink中增加sourceId作为查询metalake的唯一标识获取数据 源信息并替换source/sink配置项中的占位符。2.1 在source和sink配置中增加sourceId配置项。2.2 支持source/sink配置项中的占位符替换通过sourceId动态获取数据源信息。插件方式支持metalake并集成Apache Gravitino定义metalake接口支持根据唯一ID查询数据源配置信息并实现Apache Gravitino数据源信息转换为 SeaTunnel配置项占位符的功能。3.1 定义metalake实现接口提供数据源查询功能。3.2 支持Apache Gravitino集成参考Gravitino REST API文档。3.3 支持扩展性通过实现接口可支持其他数据目录如UnityCatalog或DataHub。3.4 确保向后兼容不影响存量任务的正常运行。二、方案描述完成metalake配置信息适配1.1 任务启动时读取seatunnel-env中配置项实现目标在任务启动时从seatunnel-env.sh或者任务配置文件中读取metalake相关的配置。实现方法在seatunnel-env.sh文件中定义metalake配置项例如METALAKE_ENABLEDtrueMETALAKE_TYPEgravitinoMETALAKE_URLhttp://localhost:8090/api/metalakes/metalake_name/catalogs /...或者在任务配置文件中的env中配置env{metalake_enabled truemetalake_type gravitinometalake_url http://localhost:8090/api/metalakes/metalake_name/catalogs/ }1.2 将配置集成到env中实现目标将读取的metalake配置集成到任务的env中。实现方法若用户在任务配置文件中配置env那么自然无需集成。若在seatunnel-env.sh脚本中配置也可通过System.getEnv()获得无需集成到env中完成source和sink的数据源配置信息改造2.1 source/sink增加sourceId配置项实现目标为source和sink添加sourceId字段用于标识metalake中的数据源。实现方法在任务脚本中指定sourceId即可。任务脚本示例source {type mysqlsourceId mysql_datasource_001url jdbc:mysql://localhost:3306/db...}2.2 支持source/sink的配置项占位符替换实现目标通过metalake动态获取数据源信息并替换配置中的占位符。实现方法在配置解析阶段检查sourceId和metalakeEnabled。如果启用metalake且sourceId存在则用户可将username和password等字段并设为占位符然 后通过metalake接口查询数据源信息并占位符替换。步骤定义占位符格式例如${key}。通过REST API查询数据源信息。替换配置中的占位符。代码示例插件方式支持metalake并支持Apache Gravitino集成3.1 定义metalake实现接口实现目标定义一个通用接口用于与metalake交互。实现方法定义MetalakeClient接口包含查询数据源信息的方法。接口定义3.2 支持Apache Gravitino集成实现目标实现与Apache Gravitino的集成通过REST API获取数据源信息。实现方法创建GravitinoClient类实现MetalakeClient接口。使用HTTP客户端发送请求到Gravitino API并解析响应。代码示例3.3 支持可扩展实现目标通过插件化设计支持其他metalake实现。实现方法使用工厂方法根据metalakeType选择合适的client。代码示例3.4 不影响存量任务向后兼容实现目标确保新功能不破坏现有任务。实现方法将metalakeEnabled设为可选配置默认值为false。仅在metalakeEnabledtrue且sourceId存在时触发metalake逻辑。代码示例三、时间规划四、项目进度已完成工作已完成项目所需功能的开发与测试并经过修改后已经合并了PR。遇到的问题与解决方案在编写代码时我遇到的问题不多并且要感谢liugddx老师的指导在老师的指导下我遇到的问题基本迎刃 而解。还有一个问题就是该项目的test case较多测试时间较长并且合并PR前要通过所有的test case。然后由于网 络等原因这些test case不是很稳定有时需要多次重试才能通过这很考验我的耐心。测试用例设计了一个简单的任务配置脚本并在source中使用了metalake。并为此测试用例构建了相应的MySQL数据库和Gravitino。在sink中使用了Assert connector保证得到正确的结 果。该集成测试的test case代码也已上传github并且通过了测试。