ProcessDS

データセットの管理

• データセット名のリスト
• データセットに対してジョブを投げる
• ジョブのステータスの確認
• データセットに関するメタデータの取得（AMI）
• AMIで取得したメタデータの読み込み
• 出力データセット（_ANALYSYS）ファイルリストの生成
• 出力ファイルを実際に読んでイベント数を数える

実行環境

python3 -m venv venvで仮想環境を作ってyamlを入れる。

AnalysisBase+Panda+Rucio

この環境でする作業は以下の通り。

• データセット名のリスト
• データセットに対してジョブを投げる
• ジョブのステータスの確認
• AMIで取得したメタデータの読み込み
• 出力データセット（_ANALYSYS）ファイルリストの生成
• 出力ファイルを実際に読んでイベント数を数える

setupATLAS
lsetup panda
lsetup emi
lsetup rucio
source ./venv/bin/activate
cd dev/build
source ./x86*/setup.sh
gridproxy

processDS.py -i ds.txt -b ds_bk.yaml
processDS.py -b ds_bk.yaml -s sub1.sh
./sub1.sh
processDS.py -b ds_bk.yaml -u
processDS.py -b ds_bk.yaml --dsInfoFile amiOutput.txt
pds_hists.py -b ds_bk.yaml
processDS.py -b ds_bk.yaml --sampleInfoFile sampleInfos.txt

AMI

• データセットに関するメタデータの取得（AMI）

setupATLAS
lsetup pyami
source ./venv/bin/activate
gridproxy

pds_ami.sh ds.txt amiOutput.txt