OLCI data access
OLCI data access
Sean,
Curl also fails to download the file. Hereafter the message returned by your command :
curl -b ~/.urs_cookies -c ~/.urs_cookies -L -n -O https://oceandata.sci.gsfc.nasa.gov/echo/getfile/S3A_OL_1_EFR____20170111T004805_20170111T005105_20170112T060801_0179_013_102_3059_LN1_O_NT_002.zip
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0
100 143 0 143 0 0 77 0 --:--:-- 0:00:01 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:01 --:--:-- 0
100 143 0 143 0 0 57 0 --:--:-- 0:00:02 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:02 --:--:-- 0
100 143 0 143 0 0 43 0 --:--:-- 0:00:03 --:--:-- 43
0 0 0 0 0 0 0 0 --:--:-- 0:00:03 --:--:-- 0
100 143 0 143 0 0 37 0 --:--:-- 0:00:03 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:04 --:--:-- 0
100 143 0 143 0 0 32 0 --:--:-- 0:00:04 --:--:-- 32
0 0 0 0 0 0 0 0 --:--:-- 0:00:04 --:--:-- 0
100 143 0 143 0 0 28 0 --:--:-- 0:00:05 --:--:-- 28
0 0 0 0 0 0 0 0 --:--:-- 0:00:05 --:--:-- 0
100 143 0 143 0 0 24 0 --:--:-- 0:00:05 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:06 --:--:-- 0
100 143 0 143 0 0 21 0 --:--:-- 0:00:06 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:06 --:--:-- 0
100 143 0 143 0 0 20 0 --:--:-- 0:00:07 --:--:-- 20
0 0 0 0 0 0 0 0 --:--:-- 0:00:07 --:--:-- 0
100 143 0 143 0 0 18 0 --:--:-- 0:00:07 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:07 --:--:-- 0
100 143 0 143 0 0 17 0 --:--:-- 0:00:08 --:--:-- 17
0 0 0 0 0 0 0 0 --:--:-- 0:00:08 --:--:-- 0
100 143 0 143 0 0 15 0 --:--:-- 0:00:09 --:--:-- 15
0 0 0 0 0 0 0 0 --:--:-- 0:00:09 --:--:-- 0
100 143 0 143 0 0 14 0 --:--:-- 0:00:09 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:09 --:--:-- 0
100 143 0 143 0 0 14 0 --:--:-- 0:00:10 --:--:-- 14
0 0 0 0 0 0 0 0 --:--:-- 0:00:10 --:--:-- 0
100 143 0 143 0 0 13 0 --:--:-- 0:00:10 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:11 --:--:-- 0
100 143 0 143 0 0 12 0 --:--:-- 0:00:11 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:11 --:--:-- 0
100 143 0 143 0 0 11 0 --:--:-- 0:00:12 --:--:-- 11
0 0 0 0 0 0 0 0 --:--:-- 0:00:12 --:--:-- 0
100 143 0 143 0 0 11 0 --:--:-- 0:00:12 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:12 --:--:-- 0
100 143 0 143 0 0 10 0 --:--:-- 0:00:13 --:--:-- 10
0 0 0 0 0 0 0 0 --:--:-- 0:00:13 --:--:-- 0
100 143 0 143 0 0 10 0 --:--:-- 0:00:13 --:--:-- 10
0 0 0 0 0 0 0 0 --:--:-- 0:00:14 --:--:-- 0
100 143 0 143 0 0 9 0 --:--:-- 0:00:14 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:14 --:--:-- 0
100 143 0 143 0 0 9 0 --:--:-- 0:00:15 --:--:-- 9
0 0 0 0 0 0 0 0 --:--:-- 0:00:15 --:--:-- 0
100 143 0 143 0 0 8 0 --:--:-- 0:00:15 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:16 --:--:-- 0
100 143 0 143 0 0 8 0 --:--:-- 0:00:16 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:16 --:--:-- 0
100 143 0 143 0 0 8 0 --:--:-- 0:00:17 --:--:-- 8
0 0 0 0 0 0 0 0 --:--:-- 0:00:17 --:--:-- 0
curl: (47) Maximum (50) redirects followed
Curl also fails to download the file. Hereafter the message returned by your command :
curl -b ~/.urs_cookies -c ~/.urs_cookies -L -n -O https://oceandata.sci.gsfc.nasa.gov/echo/getfile/S3A_OL_1_EFR____20170111T004805_20170111T005105_20170112T060801_0179_013_102_3059_LN1_O_NT_002.zip
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0
100 143 0 143 0 0 77 0 --:--:-- 0:00:01 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:01 --:--:-- 0
100 143 0 143 0 0 57 0 --:--:-- 0:00:02 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:02 --:--:-- 0
100 143 0 143 0 0 43 0 --:--:-- 0:00:03 --:--:-- 43
0 0 0 0 0 0 0 0 --:--:-- 0:00:03 --:--:-- 0
100 143 0 143 0 0 37 0 --:--:-- 0:00:03 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:04 --:--:-- 0
100 143 0 143 0 0 32 0 --:--:-- 0:00:04 --:--:-- 32
0 0 0 0 0 0 0 0 --:--:-- 0:00:04 --:--:-- 0
100 143 0 143 0 0 28 0 --:--:-- 0:00:05 --:--:-- 28
0 0 0 0 0 0 0 0 --:--:-- 0:00:05 --:--:-- 0
100 143 0 143 0 0 24 0 --:--:-- 0:00:05 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:06 --:--:-- 0
100 143 0 143 0 0 21 0 --:--:-- 0:00:06 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:06 --:--:-- 0
100 143 0 143 0 0 20 0 --:--:-- 0:00:07 --:--:-- 20
0 0 0 0 0 0 0 0 --:--:-- 0:00:07 --:--:-- 0
100 143 0 143 0 0 18 0 --:--:-- 0:00:07 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:07 --:--:-- 0
100 143 0 143 0 0 17 0 --:--:-- 0:00:08 --:--:-- 17
0 0 0 0 0 0 0 0 --:--:-- 0:00:08 --:--:-- 0
100 143 0 143 0 0 15 0 --:--:-- 0:00:09 --:--:-- 15
0 0 0 0 0 0 0 0 --:--:-- 0:00:09 --:--:-- 0
100 143 0 143 0 0 14 0 --:--:-- 0:00:09 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:09 --:--:-- 0
100 143 0 143 0 0 14 0 --:--:-- 0:00:10 --:--:-- 14
0 0 0 0 0 0 0 0 --:--:-- 0:00:10 --:--:-- 0
100 143 0 143 0 0 13 0 --:--:-- 0:00:10 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:11 --:--:-- 0
100 143 0 143 0 0 12 0 --:--:-- 0:00:11 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:11 --:--:-- 0
100 143 0 143 0 0 11 0 --:--:-- 0:00:12 --:--:-- 11
0 0 0 0 0 0 0 0 --:--:-- 0:00:12 --:--:-- 0
100 143 0 143 0 0 11 0 --:--:-- 0:00:12 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:12 --:--:-- 0
100 143 0 143 0 0 10 0 --:--:-- 0:00:13 --:--:-- 10
0 0 0 0 0 0 0 0 --:--:-- 0:00:13 --:--:-- 0
100 143 0 143 0 0 10 0 --:--:-- 0:00:13 --:--:-- 10
0 0 0 0 0 0 0 0 --:--:-- 0:00:14 --:--:-- 0
100 143 0 143 0 0 9 0 --:--:-- 0:00:14 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:14 --:--:-- 0
100 143 0 143 0 0 9 0 --:--:-- 0:00:15 --:--:-- 9
0 0 0 0 0 0 0 0 --:--:-- 0:00:15 --:--:-- 0
100 143 0 143 0 0 8 0 --:--:-- 0:00:15 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:16 --:--:-- 0
100 143 0 143 0 0 8 0 --:--:-- 0:00:16 --:--:-- 8000
0 0 0 0 0 0 0 0 --:--:-- 0:00:16 --:--:-- 0
100 143 0 143 0 0 8 0 --:--:-- 0:00:17 --:--:-- 8
0 0 0 0 0 0 0 0 --:--:-- 0:00:17 --:--:-- 0
curl: (47) Maximum (50) redirects followed
Filters:
OLCI data access
The curl example also fails for me with same final message:
curl: (47) Maximum (50) redirects followed
. If I add --verbose
curl seems to be looping:$ curl -b ~/.urs_cookies -c ~/.urs_cookies -L -n --verbose -O https://oceandata.sci.gsfc.nasa.gov/echo/getfile/S3A_OL_1_EFR____20170111T004805_20170111T005105_20170112T060801_0179_013_102_3059_LN1_O_NT_002.zip > curl.log 2>&1
$ grep 'Issue another request' curl.log
* Issue another request to this URL: 'https://urs.earthdata.nasa.gov/oauth/authorize?redirect_uri=https%3A%2F%2Foceandata.sci.gsfc.nasa.gov%2Fecho%2Fgetfile%2Frestrict&response_type=code&client_id=hNX5KEIeCjXnRUidBTF0Uw&required_scope=study_area,country'
* Issue another request to this URL: 'https://oceandata.sci.gsfc.nasa.gov/echo/getfile/restrict?error=access_denied'
* Issue another request to this URL: 'https://urs.earthdata.nasa.gov/oauth/authorize?client_id=hNX5KEIeCjXnRUidBTF0Uw&response_type=code&redirect_uri=https%3A%2F%2Foceandata.sci.gsfc.nasa.gov%2Fecho%2Fgetfile%2Frestrict&required_scope=study_area,country'
* Issue another request to this URL: 'https://oceandata.sci.gsfc.nasa.gov/echo/getfile/restrict?error=access_denied'
-
- User Services
- Posts: 1485
- Joined: Wed Sep 18, 2019 6:15 pm America/New_York
- Been thanked: 5 times
OLCI data access
That redirect loop is weird...are either or both of you behind a proxy ? If so, maybe it's not playing nice...
...back to wget... are things happier if you include:
e.g.
...back to wget... are things happier if you include:
--auth-no-challenge=on
e.g.
wget --auth-no-challenge=on --load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies --keep-session-cookies <URL>
OLCI data access
I think Jacques is behind a proxy. What I'm behind is a mystery, even to the people responsible for keeping it working.
no longer appears in the Direct Data Access list.
There is now:
--auth-no-challenge=on
is in the example that worked (to download PM1ATTNR.P2016347.0000.003.2016347150040
) for both of us. I just noticed that S3A_OL_1_EFR____20170504T000013_20170504T000313_20170504T020102_0179_017_173_1980_SVL_O_NR_002.zip
no longer appears in the Direct Data Access list.
There is now:
S3A_OL_1_EFR____20170504T000013_20170504T000313_20170505T042813_0179_017_173_1980_LN1_O_NT_002.zip
. I'm able to download this new file with wget.-
- User Services
- Posts: 1485
- Joined: Wed Sep 18, 2019 6:15 pm America/New_York
- Been thanked: 5 times
OLCI data access
Good :)
Yes, we get both the "near real-time (NR)" and "not-time-critical (NT)" streams. Once the NT arrives, we remove the NR....I'd rather we just ever had one, as the NR doesn't precede the NT by much, but I've been overruled :cry:
Sean
Yes, we get both the "near real-time (NR)" and "not-time-critical (NT)" streams. Once the NT arrives, we remove the NR....I'd rather we just ever had one, as the NR doesn't precede the NT by much, but I've been overruled :cry:
Sean
OLCI data access
Sean et all.,
Adding --auth-no-challenge in my wget command works fine to download the OLCI file :
e.g., simply wget --auth-no-challenge https://oceandata.sci.gsfc.nasa.gov/cgi/getfile/S3A_OL_1_EFR____20170509T000017_20170509T000317_20170509T013847_0179_017_244_3780_SVL_O_NR_002.zip
no need to specify username and password.
Thank you all
Jacques
Adding --auth-no-challenge in my wget command works fine to download the OLCI file :
e.g., simply wget --auth-no-challenge https://oceandata.sci.gsfc.nasa.gov/cgi/getfile/S3A_OL_1_EFR____20170509T000017_20170509T000317_20170509T013847_0179_017_244_3780_SVL_O_NR_002.zip
no need to specify username and password.
Thank you all
Jacques