Earthdata Forum

Sean,

Curl also fails to download the file. Hereafter the message returned by your command :

curl -b ~/.urs_cookies -c ~/.urs_cookies -L -n -O https://oceandata.sci.gsfc.nasa.gov/echo/getfile/S3A_OL_1_EFR____20170111T004805_20170111T005105_20170112T060801_0179_013_102_3059_LN1_O_NT_002.zip
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
100   143    0   143    0     0     77      0 --:--:--  0:00:01 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:01 --:--:--     0
100   143    0   143    0     0     57      0 --:--:--  0:00:02 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:02 --:--:--     0
100   143    0   143    0     0     43      0 --:--:--  0:00:03 --:--:--    43
  0     0    0     0    0     0      0      0 --:--:--  0:00:03 --:--:--     0
100   143    0   143    0     0     37      0 --:--:--  0:00:03 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:04 --:--:--     0
100   143    0   143    0     0     32      0 --:--:--  0:00:04 --:--:--    32
  0     0    0     0    0     0      0      0 --:--:--  0:00:04 --:--:--     0
100   143    0   143    0     0     28      0 --:--:--  0:00:05 --:--:--    28
  0     0    0     0    0     0      0      0 --:--:--  0:00:05 --:--:--     0
100   143    0   143    0     0     24      0 --:--:--  0:00:05 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:06 --:--:--     0
100   143    0   143    0     0     21      0 --:--:--  0:00:06 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:06 --:--:--     0
100   143    0   143    0     0     20      0 --:--:--  0:00:07 --:--:--    20
  0     0    0     0    0     0      0      0 --:--:--  0:00:07 --:--:--     0
100   143    0   143    0     0     18      0 --:--:--  0:00:07 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:07 --:--:--     0
100   143    0   143    0     0     17      0 --:--:--  0:00:08 --:--:--    17
  0     0    0     0    0     0      0      0 --:--:--  0:00:08 --:--:--     0
100   143    0   143    0     0     15      0 --:--:--  0:00:09 --:--:--    15
  0     0    0     0    0     0      0      0 --:--:--  0:00:09 --:--:--     0
100   143    0   143    0     0     14      0 --:--:--  0:00:09 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:09 --:--:--     0
100   143    0   143    0     0     14      0 --:--:--  0:00:10 --:--:--    14
  0     0    0     0    0     0      0      0 --:--:--  0:00:10 --:--:--     0
100   143    0   143    0     0     13      0 --:--:--  0:00:10 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:11 --:--:--     0
100   143    0   143    0     0     12      0 --:--:--  0:00:11 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:11 --:--:--     0
100   143    0   143    0     0     11      0 --:--:--  0:00:12 --:--:--    11
  0     0    0     0    0     0      0      0 --:--:--  0:00:12 --:--:--     0
100   143    0   143    0     0     11      0 --:--:--  0:00:12 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:12 --:--:--     0
100   143    0   143    0     0     10      0 --:--:--  0:00:13 --:--:--    10
  0     0    0     0    0     0      0      0 --:--:--  0:00:13 --:--:--     0
100   143    0   143    0     0     10      0 --:--:--  0:00:13 --:--:--    10
  0     0    0     0    0     0      0      0 --:--:--  0:00:14 --:--:--     0
100   143    0   143    0     0      9      0 --:--:--  0:00:14 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:14 --:--:--     0
100   143    0   143    0     0      9      0 --:--:--  0:00:15 --:--:--     9
  0     0    0     0    0     0      0      0 --:--:--  0:00:15 --:--:--     0
100   143    0   143    0     0      8      0 --:--:--  0:00:15 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:16 --:--:--     0
100   143    0   143    0     0      8      0 --:--:--  0:00:16 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:16 --:--:--     0
100   143    0   143    0     0      8      0 --:--:--  0:00:17 --:--:--     8
  0     0    0     0    0     0      0      0 --:--:--  0:00:17 --:--:--     0
curl: (47) Maximum (50) redirects followed

The curl example also fails for me with same final message: curl: (47) Maximum (50) redirects followed.   If I add --verbose curl seems to be looping:$ curl -b ~/.urs_cookies -c ~/.urs_cookies -L -n --verbose -O https://oceandata.sci.gsfc.nasa.gov/echo/getfile/S3A_OL_1_EFR____20170111T004805_20170111T005105_20170112T060801_0179_013_102_3059_LN1_O_NT_002.zip > curl.log 2>&1
$ grep  'Issue another request' curl.log
* Issue another request to this URL: 'https://urs.earthdata.nasa.gov/oauth/authorize?redirect_uri=https%3A%2F%2Foceandata.sci.gsfc.nasa.gov%2Fecho%2Fgetfile%2Frestrict&response_type=code&client_id=hNX5KEIeCjXnRUidBTF0Uw&required_scope=study_area,country'
* Issue another request to this URL: 'https://oceandata.sci.gsfc.nasa.gov/echo/getfile/restrict?error=access_denied'
* Issue another request to this URL: 'https://urs.earthdata.nasa.gov/oauth/authorize?client_id=hNX5KEIeCjXnRUidBTF0Uw&response_type=code&redirect_uri=https%3A%2F%2Foceandata.sci.gsfc.nasa.gov%2Fecho%2Fgetfile%2Frestrict&required_scope=study_area,country'
* Issue another request to this URL: 'https://oceandata.sci.gsfc.nasa.gov/echo/getfile/restrict?error=access_denied'


That redirect loop is weird...are either or both of you behind a proxy ?  If so, maybe it's not playing nice...

...back to wget... are things happier if you include:

--auth-no-challenge=on

e.g.
wget --auth-no-challenge=on --load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies --keep-session-cookies <URL>


I think Jacques is behind a proxy.  What I'm behind is a mystery, even to the people responsible for keeping it working.  --auth-no-challenge=on is in the example that worked (to download PM1ATTNR.P2016347.0000.003.2016347150040) for both of us.  I just noticed that

S3A_OL_1_EFR____20170504T000013_20170504T000313_20170504T020102_0179_017_173_1980_SVL_O_NR_002.zip
no longer appears in the Direct Data Access list.

There is now:
S3A_OL_1_EFR____20170504T000013_20170504T000313_20170505T042813_0179_017_173_1980_LN1_O_NT_002.zip.  I'm able to download this new file with wget.

Good :)

Yes, we get both the "near real-time (NR)" and "not-time-critical (NT)" streams.  Once the NT arrives, we remove the NR....I'd rather we just ever had one, as the NR doesn't precede the NT by much, but I've been overruled :cry:

Sean

Sean et all.,

Adding --auth-no-challenge in my wget command works fine to download the OLCI file :

e.g., simply wget --auth-no-challenge https://oceandata.sci.gsfc.nasa.gov/cgi/getfile/S3A_OL_1_EFR____20170509T000017_20170509T000317_20170509T013847_0179_017_244_3780_SVL_O_NR_002.zip

no need to specify username and password.

Thank you all
Jacques