Docker run fMRIPrep error: dataset_description.json is missing

egor.levchenko · January 27, 2022, 4:42pm

Hello!

I have an issue running fmriprep through the docker on my Ubuntu 18.04.5. After installing Docker and pulling nipreps/fmriprep:21.0.1, I tried this command:

sudo docker run -ti --rm -v /Dyslexia/raw_bids_d/:/input -v /fmriprep_derivatives/dyslexic:/output nipreps/fmriprep:21.0.1 /input /output participant --participant-label 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 --fs-no-reconall --skip-bids-validation

It returns with an error:

elevchenko@vm-001:~$ sudo docker run -ti --rm -v /Dyslexia/raw_bids_d/:/input -v /fmriprep_derivatives/dyslexic:/output nipreps/fmriprep:21.0.1 /input /output participant --participant-label 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 --fs-no-reconall --skip-bids-validation
Traceback (most recent call last):
  File "/opt/conda/bin/fmriprep", line 8, in <module>
    sys.exit(main())
  File "/opt/conda/lib/python3.8/site-packages/fmriprep/cli/run.py", line 38, in main
    parse_args()
  File "/opt/conda/lib/python3.8/site-packages/fmriprep/cli/parser.py", line 679, in parse_args
    config.from_dict(vars(opts))
  File "/opt/conda/lib/python3.8/site-packages/fmriprep/config.py", line 666, in from_dict
    execution.load(settings)
  File "/opt/conda/lib/python3.8/site-packages/fmriprep/config.py", line 238, in load
    cls.init()
  File "/opt/conda/lib/python3.8/site-packages/fmriprep/config.py", line 481, in init
    cls._layout = BIDSLayout(
  File "/opt/conda/lib/python3.8/site-packages/bids/layout/layout.py", line 126, in __init__
    root, description = validate_root(root, validate)
  File "/opt/conda/lib/python3.8/site-packages/bids/layout/validation.py", line 73, in validate_root
    raise BIDSValidationError(
bids.exceptions.BIDSValidationError: 'dataset_description.json' is missing from project root. Every valid BIDS dataset must have this file.
Example contents of 'dataset_description.json':
{"Name": "Example dataset", "BIDSVersion": "1.0.2"}

However, I am pretty sure that ‘dataset_description.json’ is in the folder. You can see tree structure below:

.
├── CHANGES
├── dataset_description.json
├── participants.json
├── participants.tsv
├── README
├── sub-07
│   └── ses-001
│       ├── anat
│       │   ├── sub-07_ses-001_run-001_T1w.json
│       │   └── sub-07_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-07_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-07_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-07_ses-001_task-rest_run-001_events.tsv
│       ├── sub-07_ses-001_scans.json
│       └── sub-07_ses-001_scans.tsv
├── sub-08
│   └── ses-001
│       ├── anat
│       │   ├── sub-08_ses-001_run-001_T1w.json
│       │   └── sub-08_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-08_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-08_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-08_ses-001_task-rest_run-001_events.tsv
│       ├── sub-08_ses-001_scans.json
│       └── sub-08_ses-001_scans.tsv
├── sub-09
│   └── ses-001
│       ├── anat
│       │   ├── sub-09_ses-001_run-001_T1w.json
│       │   └── sub-09_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-09_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-09_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-09_ses-001_task-rest_run-001_events.tsv
│       ├── sub-09_ses-001_scans.json
│       └── sub-09_ses-001_scans.tsv
├── sub-10
│   └── ses-001
│       ├── anat
│       │   ├── sub-10_ses-001_run-001_T1w.json
│       │   └── sub-10_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-10_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-10_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-10_ses-001_task-rest_run-001_events.tsv
│       ├── sub-10_ses-001_scans.json
│       └── sub-10_ses-001_scans.tsv
├── sub-11
│   └── ses-001
│       ├── anat
│       │   ├── sub-11_ses-001_run-001_T1w.json
│       │   └── sub-11_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-11_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-11_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-11_ses-001_task-rest_run-001_events.tsv
│       ├── sub-11_ses-001_scans.json
│       └── sub-11_ses-001_scans.tsv
├── sub-12
│   └── ses-001
│       ├── anat
│       │   ├── sub-12_ses-001_run-001_T1w.json
│       │   └── sub-12_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-12_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-12_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-12_ses-001_task-rest_run-001_events.tsv
│       ├── sub-12_ses-001_scans.json
│       └── sub-12_ses-001_scans.tsv
├── sub-13
│   └── ses-001
│       ├── anat
│       │   ├── sub-13_ses-001_run-001_T1w.json
│       │   └── sub-13_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-13_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-13_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-13_ses-001_task-rest_run-001_events.tsv
│       ├── sub-13_ses-001_scans.json
│       └── sub-13_ses-001_scans.tsv
├── sub-14
│   └── ses-001
│       ├── anat
│       │   ├── sub-14_ses-001_run-001_T1w.json
│       │   └── sub-14_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-14_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-14_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-14_ses-001_task-rest_run-001_events.tsv
│       ├── sub-14_ses-001_scans.json
│       └── sub-14_ses-001_scans.tsv
├── sub-15
│   └── ses-001
│       ├── anat
│       │   ├── sub-15_ses-001_run-001_T1w.json
│       │   └── sub-15_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-15_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-15_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-15_ses-001_task-rest_run-001_events.tsv
│       ├── sub-15_ses-001_scans.json
│       └── sub-15_ses-001_scans.tsv
├── sub-16
│   └── ses-001
│       ├── anat
│       │   ├── sub-16_ses-001_run-001_T1w.json
│       │   └── sub-16_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-16_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-16_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-16_ses-001_task-rest_run-001_events.tsv
│       ├── sub-16_ses-001_scans.json
│       └── sub-16_ses-001_scans.tsv
├── sub-17
│   └── ses-001
│       ├── anat
│       │   ├── sub-17_ses-001_run-001_T1w.json
│       │   └── sub-17_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-17_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-17_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-17_ses-001_task-rest_run-001_events.tsv
│       ├── sub-17_ses-001_scans.json
│       └── sub-17_ses-001_scans.tsv
├── sub-18
│   └── ses-001
│       ├── anat
│       │   ├── sub-18_ses-001_run-001_T1w.json
│       │   └── sub-18_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-18_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-18_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-18_ses-001_task-rest_run-001_events.tsv
│       ├── sub-18_ses-001_scans.json
│       └── sub-18_ses-001_scans.tsv
├── sub-19
│   └── ses-001
│       ├── anat
│       │   ├── sub-19_ses-001_run-001_T1w.json
│       │   └── sub-19_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-19_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-19_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-19_ses-001_task-rest_run-001_events.tsv
│       ├── sub-19_ses-001_scans.json
│       └── sub-19_ses-001_scans.tsv
├── sub-20
│   └── ses-001
│       ├── anat
│       │   ├── sub-20_ses-001_run-001_T1w.json
│       │   └── sub-20_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-20_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-20_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-20_ses-001_task-rest_run-001_events.tsv
│       ├── sub-20_ses-001_scans.json
│       └── sub-20_ses-001_scans.tsv
├── sub-21
│   └── ses-001
│       ├── anat
│       │   ├── sub-21_ses-001_run-001_T1w.json
│       │   └── sub-21_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-21_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-21_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-21_ses-001_task-rest_run-001_events.tsv
│       ├── sub-21_ses-001_scans.json
│       └── sub-21_ses-001_scans.tsv
├── sub-22
│   └── ses-001
│       ├── anat
│       │   ├── sub-22_ses-001_run-001_T1w.json
│       │   └── sub-22_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-22_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-22_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-22_ses-001_task-rest_run-001_events.tsv
│       ├── sub-22_ses-001_scans.json
│       └── sub-22_ses-001_scans.tsv
├── sub-23
│   └── ses-001
│       ├── anat
│       │   ├── sub-23_ses-001_run-001_T1w.json
│       │   └── sub-23_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-23_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-23_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-23_ses-001_task-rest_run-001_events.tsv
│       ├── sub-23_ses-001_scans.json
│       └── sub-23_ses-001_scans.tsv
├── sub-24
│   └── ses-001
│       ├── anat
│       │   ├── sub-24_ses-001_run-001_T1w.json
│       │   └── sub-24_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-24_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-24_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-24_ses-001_task-rest_run-001_events.tsv
│       ├── sub-24_ses-001_scans.json
│       └── sub-24_ses-001_scans.tsv
├── sub-25
│   └── ses-001
│       ├── anat
│       │   ├── sub-25_ses-001_run-001_T1w.json
│       │   └── sub-25_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-25_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-25_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-25_ses-001_task-rest_run-001_events.tsv
│       ├── sub-25_ses-001_scans.json
│       └── sub-25_ses-001_scans.tsv
├── sub-26
│   └── ses-001
│       ├── anat
│       │   ├── sub-26_ses-001_run-001_T1w.json
│       │   └── sub-26_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-26_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-26_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-26_ses-001_task-rest_run-001_events.tsv
│       ├── sub-26_ses-001_scans.json
│       └── sub-26_ses-001_scans.tsv
├── sub-27
│   └── ses-001
│       ├── anat
│       │   ├── sub-27_ses-001_run-001_T1w.json
│       │   └── sub-27_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-27_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-27_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-27_ses-001_task-rest_run-001_events.tsv
│       ├── sub-27_ses-001_scans.json
│       └── sub-27_ses-001_scans.tsv
├── sub-28
│   └── ses-001
│       ├── anat
│       │   ├── sub-28_ses-001_run-001_T1w.json
│       │   └── sub-28_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-28_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-28_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-28_ses-001_task-rest_run-001_events.tsv
│       ├── sub-28_ses-001_scans.json
│       └── sub-28_ses-001_scans.tsv
├── sub-29
│   └── ses-001
│       ├── anat
│       │   ├── sub-29_ses-001_run-001_T1w.json
│       │   └── sub-29_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-29_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-29_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-29_ses-001_task-rest_run-001_events.tsv
│       ├── sub-29_ses-001_scans.json
│       └── sub-29_ses-001_scans.tsv
├── sub-30
│   └── ses-001
│       ├── anat
│       │   ├── sub-30_ses-001_run-001_T1w.json
│       │   └── sub-30_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-30_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-30_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-30_ses-001_task-rest_run-001_events.tsv
│       ├── sub-30_ses-001_scans.json
│       └── sub-30_ses-001_scans.tsv
├── sub-31
│   └── ses-001
│       ├── anat
│       │   ├── sub-31_ses-001_run-001_T1w.json
│       │   └── sub-31_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-31_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-31_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-31_ses-001_task-rest_run-001_events.tsv
│       ├── sub-31_ses-001_scans.json
│       └── sub-31_ses-001_scans.tsv
├── sub-32
│   └── ses-001
│       ├── anat
│       │   ├── sub-32_ses-001_run-001_T1w.json
│       │   └── sub-32_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-32_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-32_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-32_ses-001_task-rest_run-001_events.tsv
│       ├── sub-32_ses-001_scans.json
│       └── sub-32_ses-001_scans.tsv
├── sub-33
│   └── ses-001
│       ├── anat
│       │   ├── sub-33_ses-001_run-001_T1w.json
│       │   └── sub-33_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-33_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-33_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-33_ses-001_task-rest_run-001_events.tsv
│       ├── sub-33_ses-001_scans.json
│       └── sub-33_ses-001_scans.tsv
├── sub-34
│   └── ses-001
│       ├── anat
│       │   ├── sub-34_ses-001_run-001_T1w.json
│       │   └── sub-34_ses-001_run-001_T1w.nii.gz
│       ├── func
│       │   ├── sub-34_ses-001_task-rest_run-001_bold.json
│       │   ├── sub-34_ses-001_task-rest_run-001_bold.nii.gz
│       │   └── sub-34_ses-001_task-rest_run-001_events.tsv
│       ├── sub-34_ses-001_scans.json
│       └── sub-34_ses-001_scans.tsv
└── task-rest_bold.json

112 directories, 202 files

I tried to search for some solutions but wasn’t successful. Any ideas are aprreciated!

Best Wishes,
Egor

Steven · January 27, 2022, 5:51pm

Can you share the contents of your dataset description?

egor.levchenko · January 27, 2022, 5:53pm

Sure!

{
  "Acknowledgements": "TODO: whom you want to acknowledge",
  "Authors": [
    "TODO:",
    "First1 Last1",
    "First2 Last2",
    "..."
  ],
  "BIDSVersion": "1.4.1",
  "DatasetDOI": "TODO: eventually a DOI for the dataset",
  "Funding": [
    "TODO",
    "GRANT #1",
    "GRANT #2"
  ],
  "HowToAcknowledge": "TODO: describe how to acknowledge -- either cite a corresponding paper, or just in acknowledgement section",
  "License": "TODO: choose a license, e.g. PDDL (http://opendatacommons.org/licenses/pddl/)",
  "Name": "TODO: name of the dataset",
  "ReferencesAndLinks": [
    "TODO",
    "List of papers or websites"
  ]
}

Steven · January 27, 2022, 5:54pm

Hmm that looks fine, are you sure that /Dyslexia/raw_bids_d is the fullpath to your dataset?

egor.levchenko · January 27, 2022, 5:57pm

Mmm, I am not sure.

I am running the script from my root folder which is ‘home/elevchenko/’. However, docker and its images are stored somewhere not in my ‘elevchenko’ folder. Can you tell me please how to check if my path is a fullpath?

Steven · January 27, 2022, 5:58pm

Does ls /Dyslexia/raw_buds_d Return the contents of your dataset?

Steven · January 27, 2022, 5:59pm

Rather when your terminal is in the bids dataset directory, what does pwd output?

egor.levchenko · January 27, 2022, 6:02pm

Tried to run ls (without a ~ (tilda) nothing is returned):

elevchenko@vm-001:~$ ls /Dyslexia/raw_bids_d
elevchenko@vm-001:~$ ls ~/Dyslexia/raw_bids_d
CHANGES                   README  sub-10  sub-14  sub-18  sub-22  sub-26  sub-30  sub-34
dataset_description.json  sub-07  sub-11  sub-15  sub-19  sub-23  sub-27  sub-31  task-rest_bold.json
participants.json         sub-08  sub-12  sub-16  sub-20  sub-24  sub-28  sub-32
participants.tsv          sub-09  sub-13  sub-17  sub-21  sub-25  sub-29  sub-33
elevchenko@vm-001:~$

If I go to raw_bids_d and then type pwd:

elevchenko@vm-001:~/Dyslexia/raw_bids_d$ pwd
/home/elevchenko/Dyslexia/raw_bids_d

Steven · January 27, 2022, 6:10pm

That should be what you pass in for the bids directory input

egor.levchenko · January 27, 2022, 6:17pm

Thank you so much! It worked for me. A final command for people who will have that issue in the future:

sudo docker run -ti --rm -v /home/elevchenko/Dyslexia/raw_bids_d:/input -v /home/elevchenko/fmriprep_derivatives/dyslexic:/output -v /home/elevchenko/freesurfer_license.txt:/license nipreps/fmriprep:21.0.1 /input /output participant --participant-label 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 --fs-license-file /license --fs-no-reconall --skip-bids-validation