GitHub-为测试用例创建Google云数据流程集群的操作

2020-10-19 15:15:37

#设置gcloud CLI-用途:GoogleCloudPlatform/github-actions/setup-gcloud@master,带:Version:';314.0.0';Service_account_key:${Secrets.service_account_key}}service_account_email:${{Secrets.service_account_email}}project_id:${Secrets.project_id}}export_default_credentials:true-run:gcloud info-name:create Google Cloud Dataproc cluster use:vishnudxb/gcloud-dataproc-create@main with:cluster:";region:";your dataproc luster region";项目:";您的gcloud项目id";初始化操作:";gs://<;您的存储桶>;/<;initialization-script.sh&>lt;";master-boot-disk-size:";500 GB";master-boot-disk-type:";pd-Standard";master-Machine-type:";n1-Standard-2";max-IDLE:";1H";Num-master:1 worker-boot-disk-size:";500 GB";worker-boot-disk-type:";pd-Standard";worker-Machines-type:";n1-Standard-2";zone:";us-east1-b";image-version:";review-ubuntu18";METADATA:";PIP_Packages=$(sed-e';/^#/d';-e';s/#.*$//';-e';s/*$//g';Requirements.txt|TR';\n';';)";范围:";https://www.googleapis.com/auth/cloud-platform";Num-Worker:2属性:";Spark:partk.Scheduler.mode=FIFO";标签:";service=web-app,env=dev";

输入:cluster:description:';输入您的gcloud dataproc群集名称';必需:true region:description:';输入您的gcloud dataproc群集区域';必需:false default:US-East1 project:description:';输入您的gcloud项目id';必需:true initialization_action:description:';可执行文件或脚本将在群集设置后立即在您的群集中的所有节点上运行。必需:true master-boot-disk-size:描述:';Dataproc主引导盘大小';必需:FALSE默认值:500 GB主引导盘类型:描述:';Dataproc主引导盘类型';必填:FALSE DEFAULT:PD-STANDARD MASTAND-MACHINE-TYPE:描述:';Dataproc主机器类型';必填:FALSE默认值:N1-STANDARD-2 max-IDLE:描述:';群集之前的持续时间在最后一个作业完成后自动删除,例如";2h";或";1d";。';必填:FALSE默认值:';1h';num-master:描述:';群集中的主节点数量。';必需:FALSE DEFAULT:1 Worker-Boot-Disk-Size:Description:';Dataproc Worker Boot Disk Size';Required:False Default:500 GB Worker-Boot-Disk-type:Description:';Dataproc Worker Boot Disk type';Required:False Default:PD-Standard Worker-Machine-type:Description:';Dataproc Worker Machine type';必填:False Default:N1-Standard-2 zone:Description:';DataProc群集区域';必需:FALSE默认值:us-east1-b image-version:描述:';要用于群集的映像版本。';REQUIRED:FALSE DEFAULT:PREVIEW-ubuntu18 METADATA:DESCRIPTION:';要提供给实例上运行的来宾操作系统的元数据';REQUIRED:TRUE Scope:DESCRIPTION:';指定节点实例的作用域。';必需:FALSE默认值:https://www.googleapis.com/auth/cloud-platform Num-Worker:描述:';群集中的工作节点数。';必需:false default:2 properties:description:';指定已安装软件包的配置属性,如Hadoop和Spark。';必需:真标签:描述:';标签键列表=要添加的值对。';必需:FALSE。

在测试之后,您可以通过运行以下操作来删除您创建的dataproc集群。

-名称:删除Google Cloud DataProc集群使用:vishnudxb/gcloud-dataproc-delete@main with:cluster:";your dataproc cluster name";region:";your dataproc luster region";project:";your gcloud project id";