当前位置:网站首页>MaxCompute远程连接,上传、下载数据文件操作

MaxCompute远程连接,上传、下载数据文件操作

2022-06-24 06:43:00 简明编程

MaxCompute远程连接

文档地址

https://help.aliyun.com/document_detail/27971.html#section-7ce-cnh-euq

购买MaxCompute

在这里插入图片描述
同意
在这里插入图片描述

开通DataWorks

然后会自动让你开通DataWorks,选择免费开通基础版
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

创建项目

在这里插入图片描述
填写信息

在这里插入图片描述
等待构建完成即可

远程连接

注意需要有Java环境

下载客户端

远程客户端下载

在这里插入图片描述
解压打开
在这里插入图片描述

进入配置odps_config.ini

在这里插入图片描述

具体配置如下:

project_name=
access_id=
access_key=
end_point=
log_view_host=
https_check=
# confirm threshold for query input size(unit: GB)
data_size_confirm=
# this url is for odpscmd update
update_url=
# download sql results by instance tunnel
use_instance_tunnel=
# the max records when download sql results by instance tunnel
instance_tunnel_max_record=
# IMPORTANT:
#   If leaving tunnel_endpoint untouched, console will try to automatically get one from odps service, which might charge networking fees in some cases.
#   Please refer to Endpoint
# tunnel_endpoint=

# use set.<key>=
# e.g. set.odps.sql.select.output.format=

复制项目名称

在这里插入图片描述

获取AccessKey

点击创建
在这里插入图片描述

进行验证

在这里插入图片描述

在这里插入图片描述

连接地址对照表(配置end_point和tunnel_endpoint)

在这里插入图片描述
在这里插入图片描述

双击打开

在这里插入图片描述

连接成功

在这里插入图片描述

查看表

在这里插入图片描述

tunnel文档

https://help.aliyun.com/document_detail/27833.html

tunnel上传文件

在这里插入图片描述

tunnel下载文件

在这里插入图片描述

创建分区表

以gender为分区

create test02_p(id int,name string) partitioned by(gender string);
alter table test02_p add if not exists partition (gender='male');

在这里插入图片描述
在这里插入图片描述

分区表上传

tunnel upload D:\2020-2024大学学习\大数据考证\实验数据\ODPS_DEMO\Resources\02-DataTransfer\t_tunnel_p.csv test02_p/gender='male';

在这里插入图片描述

分区表查询

select * from test02_p where gender='male';

在这里插入图片描述
在这里插入图片描述

原网站

版权声明
本文为[简明编程]所创,转载请带上原文链接,感谢
https://blog.csdn.net/qq_51553982/article/details/125420078