背景

假设你在阿里云上Dataworks的空间space下有一个表table_A，想要把它的数据导出到文件以供后续使用，但是数据量又很多，从浏览器复制不太现实。阿里云提供了Java和Python版本的SDK，用来完成这个操作。
为了帮助业务取数，我之前搜了很多文档包括官方文档，但都没有完整讲清楚具体怎么做的，信息很碎片化。经过个人的实践总算摸清楚其中每一步的细节，分享出来。
其实阿里内部是有一套自有的数仓导出&文件分发平台的，希望能尽早开放出来给用户使用。

"空间"所在位置（已打码）：

【注意】使用SDK访问数仓表也会按流量计费，因此不要进行一些非必要的操作！

环境准备

安装python，建议用python3
```
brew install python3
```
安装pip
```
easy_install pip
```
安装pyodps
```
pip install pyodps
```

获取AccessKey

按图中的步骤，获取AccessKeyId和AccessKeySecret。注意：AccessKeySecret创建后在阿里云上是无法再次查看的，需要自行保存。

编写取数脚本

基本用法

先写一个简单的脚本，将数仓中所有的行的id列取出来，输出到文件中，请自行替换以下代码中带有"【】"的参数。
注意数据分片是必须的，请自行替换成你的表的分片字段名（默认一般是ds，格式为20210611）

from odps import ODPSfile_handle=open('export.txt',mode='w')o = ODPS('【AccessKeyId】', '【AccessKeySecret】', '【space】','http://service.odps.aliyun.com/api')for record in o.read_table('【table_A】', partition='ds=【数据分片】'):	file_handle.write(record.id + '\n')file_handle.close()

条件查询

此时使用execute_sql+reader来读取即可

from odps import ODPSfile_handle=open('export.txt',mode='w')o = ODPS('【AccessKeyId】', '【AccessKeySecret】', '【space】','http://service.odps.aliyun.com/api')with o.execute_sql("select * from 【table_A】 where id = '【***】' and ds='【数据分片】'").open_reader() as reader:	for record in reader:		file_handle.write(record.id + '\n')file_handle.close()

参考文档

pyods官方文档：https://pyodps.readthedocs.io/zh_CN/latest/

原文转载：http://www.shaoqun.com/a/802570.html

跨境电商：https://www.ikjzd.com/

杨帆：https://www.ikjzd.com/w/1648

亿恩：https://www.ikjzd.com/w/1461

家得宝：https://www.ikjzd.com/w/1570

stylenanda：https://www.ikjzd.com/w/1675.html

从阿里云数仓表中导出数据的详细步骤背景假设你在阿里云上Dataworks的空间space下有一个表table_A，想要把它的数据导出到文件以供后续使用，但是数据量又很多，从浏览器复制不太现实。阿里云提供了Java和Python版本的SDK，用来完成这个操作。为了帮助业务取数，我之前搜了很多文档包括官方文档，但都没有完整讲清楚具体怎么做的，信息很碎片化。经过个人的实践总算摸清楚其中每一步的细节，分享
ACAS：https://www.ikjzd.com/w/1509
BIGO LIVE：https://www.ikjzd.com/w/1510
智赢联合：https://www.ikjzd.com/w/1511
naning9韩国官网：https://www.ikjzd.com/w/2401
宝付：https://www.ikjzd.com/w/539
kili：https://www.ikjzd.com/w/238
口述：婆婆闯新房验我处女身：http://lady.shaoqun.com/m/a/107493.html
啊~啊~哦~哦~用力快点嗯啊,与极品少妇在宾馆疯狂激情：http://www.30bags.com/m/a/255159.html
我婚礼当天老公和伴娘接吻：http://www.30bags.com/m/a/251631.html
亚当和夏娃偷的"禁果"是什么？：http://www.30bags.com/a/390391.html
亚当和夏娃偷的"禁果"是什么？：http://lady.shaoqun.com/a/373158.html
又出新政！亚马逊可能处罚违反listing政策的卖家：https://www.ikjzd.com/articles/145737

Replica Watches

2021-06-15

阿里云数仓Dataworks数据导出到文件step by step

背景