分页BigQuery

Question

我正在尝试创建与Google BigQuery仪表盘类似的东西，但带有预定义的查询/视图。我遇到的问题是分页数据。该资料表端点支持分页中，你可以指定一个起始索引或使用网页的道理，让我做这样的事情：query_reply = table_data_job.list(projectId=settings.PROJECT_ID,                                  datasetId=settings.DATASET_ID,                                  tableId=table,                                  startIndex=offset,                                  maxResults=page_size).execute()问题是我想运行特定的查询（或者至少要对表数据结果进行排序）。query_data = {'query': 'SELECT * FROM my_dataset.foo_table LIMIT %s' % page_size}query_reply = job_collection.query(projectId=settings.PROJECT_ID,                                   body=query_data).execute()据我所知，没有办法对上述代码进行补偿。这只是BigQuery不适合的吗？我想替代方法是在内存中进行分页并在较小的结果集上工作？

Answer 1

BigQuery查询结果是表格。因此，您可以运行查询并从结果中获取目标表，然后使用tabledata.list（）API来对结果进行分页。或者，您可以从回复中获取作业ID，并使用具有分页支持的jobs.getQueryResults（）。

Answer 2

您只能通过使用ROW_NUMBER（）来实现与SQL的分页

这是通用模板

SELECT  t.*

FROM (

SELECT 

1 AS one, 

[field], 

ROW_NUMBER() OVER(PARTITION BY one) AS rownum

FROM [table] ) t WHERE rownum BETWEEN X AND Y