Stata：使用存储在其他数据集中的标准对数据进行子集

Question

我有一个大数据集。 我必须使用存储在其他dta文件（Criteria_data）中的值来对数据集（Big_data）进行子集化。 我会先告诉你问题：

   **Big_data**                           **Criteria_data**
====================      ================================================
  lon        lat             4_digit_id   minlon  maxlon  minlat  maxlat
-76.22      44.27              0765       -78.44  -77.22  34.324  35.011
-67.55      33.19              6161       -66.11  -65.93  40.32   41.88
    .......                                   ........
 (over 1 million obs)                    (271 observations)        
====================      ================================================

我必须按如下方式对出价数据进行子集化：

use Big_data

preserve
keep if (-78.44<lon<-77.22) & (34.324<lat<35.011)
save data_0765, replace
restore

preserve
keep if (-66.11<lon<-65.93) & (40.32<lat<41.88)
save data_6161, replace
restore

....

（1）Stata中子集的有效编程应该是什么？ （2）不正确表达式是否正确写入？

Answer 1

1）子集数据

主文件中有400,000个观察值，参考文件中有300个观察值，大约需要1.5分钟。 我不能用主文件中的两倍观察来测试这个，因为缺少RAM需要我的计算机爬行。

该策略涉及创建尽可能多的变量以保持参考纬度和经度（在OP的情况下为271 * 4 = 1084; Stata IC和up可以处理此问题。请参阅help limits ）。 这需要一些重塑和追加。 然后我们检查满足条件的大数据文件的观察结果。

clear all
set more off

*----- create example databases -----

tempfile bigdata reference

input ///
lon        lat   
-76.22      44.27
-66.0      40.85 // meets conditions
-77.10     34.8 // meets conditions
-66.00    42.0 
end

expand 100000

save "`bigdata'"
*list

clear all

input ///
str4 id   minlon  maxlon  minlat  maxlat
"0765"       -78.44  -75.22  34.324  35.011
"6161"       -66.11  -65.93  40.32   41.88
end

drop id
expand 150
gen id = _n

save "`reference'"
*list


*----- reshape original reference file -----

use "`reference'", clear

tempfile reference2

destring id, replace
levelsof id, local(lev)

gen i = 1
reshape wide minlon maxlon minlat maxlat, i(i) j(id) 

gen lat = .
gen lon = .

save "`reference2'"


*----- create working database -----

use "`bigdata'"

timer on 1
quietly {
    forvalues num = 1/300 {
        gen minlon`num' = .
        gen maxlon`num' = .
        gen minlat`num' = .
        gen maxlat`num' = .
    }
}
timer off 1

timer on 2
append using "`reference2'"
drop i
timer off 2

*----- flag observations for which conditions are met -----

timer on 3
gen byte flag = 0
foreach le of local lev {
    quietly replace flag = 1 if inrange(lon, minlon`le'[_N], maxlon`le'[_N]) & inrange(lat, minlat`le'[_N], maxlat`le'[_N])
}
timer off 3

*keep if flag
*keep lon lat

*list

timer list

inrange()函数意味着必须事先调整最小值和最大值以满足OP的严格不等式（函数tests <=，> =）。

也许一些扩展使用expand ，利用关联度和by （这样的数据是长型）可以加快速度。 现在对我来说并不完全清楚。 我确信在普通的Stata模式下有更好的方法。 马塔可能会更好。

（ joinby也经过测试，但RAM也是一个问题。）

编辑

以块而不是完整数据库进行计算可显着改善RAM问题。 使用具有120万个观测值的主文件和具有300个观测值的参考文件，以下代码在大约1.5分钟内完成所有工作：

set more off

*----- create example big data -----

clear all

set obs 1200000
set seed 13056

gen lat = runiform()*100
gen lon = runiform()*100

local sizebd `=_N' // to be used in computations

tempfile bigdata
save "`bigdata'"

*----- create example reference data -----

clear all

set obs 300
set seed 97532

gen minlat = runiform()*100
gen maxlat = minlat + runiform()*5

gen minlon = runiform()*100
gen maxlon = minlon + runiform()*5

gen id = _n

tempfile reference
save "`reference'"


*----- reshape original reference file -----

use "`reference'", clear

destring id, replace
levelsof id, local(lev)

gen i = 1
reshape wide minlon maxlon minlat maxlat, i(i) j(id) 
drop i

tempfile reference2
save "`reference2'"


*----- create file to save results -----

tempfile results
clear all
set obs 0

gen lon = .
gen lat = .

save "`results'"


*----- start computations -----

clear all

* local that controls # of observations in intermediate files
local step = 5000 // can't be larger than sizedb

timer clear

timer on 99
forvalues en = `step'(`step')`sizebd' {

    * load observations and join with references
    timer on 1
    local start = `en' - (`step' - 1)
    use in `start'/`en' using "`bigdata'", clear
    timer off 1

    timer on 2
    append using "`reference2'"
    timer off 2

    * flag observations that meet conditions
    timer on 3
    gen byte flag = 0
    foreach le of local lev {
        quietly replace flag = 1 if inrange(lon, minlon`le'[_N], maxlon`le'[_N]) & inrange(lat, minlat`le'[_N], maxlat`le'[_N])
    }
    timer off 3

    * append to result database
    timer on 4
    quietly {
        keep if flag
        keep lon lat
        append using "`results'"
        save "`results'", replace
    }
    timer off 4

}
timer off 99

timer list
display "total time is " `r(t99)'/60 " minutes"

use "`results'"
browse

2）不平等

你问你的不平等是否正确。 它们实际上是合法的，这意味着Stata不会抱怨，但结果可能是意料之外的。

以下结果可能看起来令人惊讶：

. display  (66.11 < 100 < 67.93)
1

如何将表达式求值为真（即1）？ Stata首先评估66.11 < 100这是真的，然后看到1 < 67.93当然也是如此。

预期的表达是（和Stata现在可以做你想要的）：

. display  (66.11 < 100) & (100 < 67.93)
0

您还可以依赖函数inrange() 。

以下示例与前面的说明一致：

. display  (66.11 < 100 < 0)
0

Stata看到66.11 < 100这是真的（即1）并跟随1 < 0 ，这是假的（即0）。

Answer 2

这使用了Roberto的数据设置：

clear all

set obs 1200000
set seed 13056

gen lat = runiform()*100
gen lon = runiform()*100

local sizebd `=_N' // to be used in computations

tempfile bigdata
save "`bigdata'"

*----- create example reference data -----

clear all

set obs 300
set seed 97532

gen minlat = runiform()*100
gen maxlat = minlat + runiform()*5

gen minlon = runiform()*100
gen maxlon = minlon + runiform()*5

gen id = _n

tempfile reference
save "`reference'"


timer on 1
levelsof id, local(id_list)

foreach id of local id_list {
    sum minlat if id==`id', meanonly
    local minlat = r(min)
    sum maxlat if id==`id', meanonly
    local maxlat = r(max)

    sum minlon if id==`id', meanonly
    local minlon = r(min)
    sum maxlon if id==`id', meanonly
    local maxlon = r(max)

    preserve
        use if (inrange(lon,`minlon',`maxlon') & inrange(lat,`minlat',`maxlat')) using "`bigdata'", clear
        qui save data_`id', replace
    restore
}

timer off 1

Answer 3

我会尽量避免preserve和restore “大”文件，这样做是可能的，但代价是丢失Stata格式。

使用与Roberto和Dimitriy相同的设置，

set more off

use `bigdata', clear
merge 1:1 _n using `reference'

* check for data consistency: 
* minlat, maxlat, minlon, maxlon are either all defined or all missing
assert inlist( mi(minlat) + mi(maxlat) + mi(minlon) + mi(maxlon), 0, 4)

* this will come handy later
gen byte touse = 0

* set up and cycle over the reference data
count if !missing(minlat)
forvalues n=1/`=r(N)' {
    replace touse = inrange(lat,minlat[`n'],maxlat[`n']) & inrange(lon,minlon[`n'],maxlon[`n'])
    local thisid = id[`n']
    outfile lat lon if touse using data_`thisid'.csv, replace comma
}

把它放在你的机器上。 你可以避免使用touse和thisid并且在循环中只有单个outfile ，但它的可读性会降低。

然后，您可以infile lat lon using data_###.csv, clear稍后infile lat lon using data_###.csv, clear 。 如果你确实需要正确的Stata文件，你可以转换那群CSV文件

clear
local allcsv : dir . files "*.csv"
foreach f of local allcsv {
   * change the filename
   local dtaname = subinstr(`"`f'"',".csv",".dta",.)
   infile lat lon using `"`f'"', clear
   if _N>0 save `"`dtaname'"', replace
}

时间也是如此。 我保护了save因为一些模拟数据集是空的。 我认为这比我的机器上的1.5分钟快，包括转换。