= ProcessDS =

== データセットの管理 ==

 * データセット名のリスト
 * データセットに対してジョブを投げる
 * ジョブのステータスの確認
 * データセットに関するメタデータの取得（AMI）
 * AMIで取得したメタデータの読み込み
 * 出力データセット（_ANALYSYS）ファイルリストの生成
 * 出力ファイルを実際に読んでイベント数を数える

== 実行環境 ==
python3 -m venv venvで仮想環境を作ってyamlを入れる。

=== AnalysisBase+Panda+Rucio ===
この環境でする作業は以下の通り。

 * データセット名のリスト
 * データセットに対してジョブを投げる
 * ジョブのステータスの確認
 * AMIで取得したメタデータの読み込み
 * 出力データセット（_ANALYSYS）ファイルリストの生成
 * 出力ファイルを実際に読んでイベント数を数える

{{{
setupATLAS
lsetup panda
lsetup emi
lsetup rucio
source ./venv/bin/activate
cd dev/build
source ./x86*/setup.sh
gridproxy
}}}

{{{
processDS.py -i ds.txt -b ds_bk.yaml
processDS.py -b ds_bk.yaml -s sub1.sh
./sub1.sh
processDS.py -b ds_bk.yaml -u
processDS.py -b ds_bk.yaml --dsInfoFile amiOutput.txt
pds_hists.py -b ds_bk.yaml
processDS.py -b ds_bk.yaml --sampleInfoFile sampleInfos.txt
}}}

=== AMI ===

 * データセットに関するメタデータの取得（AMI）

{{{
setupATLAS
lsetup pyami
source ./venv/bin/activate
gridproxy
}}}

{{{
pds_ami.sh ds.txt amiOutput.txt
}}}