繁体   English   中英

xarray:重塑数据,拆分维

[英]xarray: reshape data, split dimension

我在xarray有一个具有以下尺寸的数据集:

Dimensions:      (subject: 30, session: 5, time: 45000)
Coordinates:
  * subject      (subject) object '110' '112' '114' '117' ...
  * session      (session) object 'week1' 'week2' 'week3' ...
  * time         (time) timedelta64[ns] 00:00:00 00:00:00.040000 ...

我想将每个试验(主题/会话组合)分成较小的时间段,例如分成3个段,每个段的15000个值,结果维可能如下所示:

(subject: 30, session: 5, segment: 3, time: 15000)

我已经搜索并尝试了很多东西,但是没有成功,怎么办?

我一直在尝试的事情之一似乎很接近,那就是创建一个新的MultiIndex并将其堆叠。

segment_data = np.repeat(range(3),len(ds.time)//3)
segment = xr.Variable(dims='time',data=segment_data)
newtime_data = np.tile(ds.time[:len(ds.time)//3],3)
newtime = xr.Variable(dims='time',data=newtime_data)
dsr = ds.assign_coords(segment=segment,newtime=newtime)
dsr = dsr.set_index(segment='segment',newtime='newtime')
dsr = dsr.stack(fragment=['segment','newtime'])

但是,最后一行占用了大量内存,并且似乎创建了一个维fragment: len(ds.time)**2 ,这似乎不正确。 我也不确定在此之后我要做什么( unstack('fragment') ?)。

编辑:更多尝试将我带到这里:

x = np.repeat(range(3),15000)
y = np.tile(ds.time[:len(ds.time)//3],3)
dsr = (ds.assign_coords(segment=x,time2=y)
      .set_index(fragment=['segment','time2'])
      .unstack('fragment'))

这给出了:

(subject: 30, segment: 3, session: 5, time: 45000, time2: 15000)

这似乎很近,但是还不足够,因为每个time2点现在都有45000个值,而它应该是一个值:

dsr.isel(subject=0,segment=0,session=0,time2=0)
# (time: 45000)

编辑:我终于找到了一种方法,请参阅我的答案。 欢迎进一步建议!

首先,请确保您具有两个新尺寸的标签。 在这种情况下如下:

x = range(3) # 3 segments
y = ds.time[:len(ds.time)//3] # the first 1/3rd of the time labels

然后从这些标签*创建一个pandas MultiIndex。

ind = pd.MultiIndex.from_product((x,y),names=('segment','new_time'))

最后,用这个新索引替换数据集中的time索引,然后拆开其级别以创建两个必需的维。

dsr = ds.assign(time=ind).unstack('time')

您可能要使用rename来重命名新维度:

dsr = dsr.rename({'new_time':'time'})

产生的尺寸:

(subject: 30, segment: 3, session: 5, time: 15000)

现在唯一不可用的是维度顺序(理想情况下,应该交换segmentsession )。 我认为transpose将有助于解决问题,但“尽管每个数组的维顺序会发生变化,但数据集维本身将保持固定(排序)的顺序。” **所以我可能会这样住。

*请注意,您将无法使用要拆分的维度的名称,因此我们在此处使用'new_time' assign的不必要限制?

**我无法解释的另一个限制。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM