ProcessDS
データセットの管理
- データセット名のリスト
- データセットに対してジョブを投げる
- ジョブのステータスの確認
- データセットに関するメタデータの取得(AMI)
- AMIで取得したメタデータの読み込み
- 出力データセット(_ANALYSYS)ファイルリストの生成
- 出力ファイルを実際に読んでイベント数を数える
実行環境
python3 -m venv venvで仮想環境を作ってyamlを入れる。
AnalysisBase+Panda+Rucio
この環境でする作業は以下の通り。
- データセット名のリスト
- データセットに対してジョブを投げる
- ジョブのステータスの確認
- AMIで取得したメタデータの読み込み
- 出力データセット(_ANALYSYS)ファイルリストの生成
- 出力ファイルを実際に読んでイベント数を数える
setupATLAS lsetup panda lsetup emi lsetup rucio source ./venv/bin/activate cd dev/build source ./x86*/setup.sh gridproxy
processDS.py -i ds.txt -b ds_bk.yaml processDS.py -b ds_bk.yaml -s sub1.sh ./sub1.sh processDS.py -b ds_bk.yaml -u processDS.py -b ds_bk.yaml --dsInfoFile amiOutput.txt pds_hists.py -b ds_bk.yaml processDS.py -b ds_bk.yaml --sampleInfoFile sampleInfos.txt
AMI
- データセットに関するメタデータの取得(AMI)
setupATLAS lsetup pyami source ./venv/bin/activate gridproxy
pds_ami.sh ds.txt amiOutput.txt