OLCI data access

Use this Forum to find information on, or ask a question about, NASA Earth Science data.
jstum
Posts: 83
Joined: Mon Jul 04, 2005 4:54 am America/New_York
Answers: 0
Been thanked: 1 time

OLCI data access

by jstum » Fri May 05, 2017 9:55 am America/New_York

Sean,

Curl also fails to download the file. Hereafter the message returned by your command :

curl -b ~/.urs_cookies -c ~/.urs_cookies -L -n -O https://oceandata.sci.gsfc.nasa.gov/echo/getfile/S3A_OL_1_EFR____20170111T004805_20170111T005105_20170112T060801_0179_013_102_3059_LN1_O_NT_002.zip
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
100   143    0   143    0     0     77      0 --:--:--  0:00:01 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:01 --:--:--     0
100   143    0   143    0     0     57      0 --:--:--  0:00:02 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:02 --:--:--     0
100   143    0   143    0     0     43      0 --:--:--  0:00:03 --:--:--    43
  0     0    0     0    0     0      0      0 --:--:--  0:00:03 --:--:--     0
100   143    0   143    0     0     37      0 --:--:--  0:00:03 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:04 --:--:--     0
100   143    0   143    0     0     32      0 --:--:--  0:00:04 --:--:--    32
  0     0    0     0    0     0      0      0 --:--:--  0:00:04 --:--:--     0
100   143    0   143    0     0     28      0 --:--:--  0:00:05 --:--:--    28
  0     0    0     0    0     0      0      0 --:--:--  0:00:05 --:--:--     0
100   143    0   143    0     0     24      0 --:--:--  0:00:05 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:06 --:--:--     0
100   143    0   143    0     0     21      0 --:--:--  0:00:06 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:06 --:--:--     0
100   143    0   143    0     0     20      0 --:--:--  0:00:07 --:--:--    20
  0     0    0     0    0     0      0      0 --:--:--  0:00:07 --:--:--     0
100   143    0   143    0     0     18      0 --:--:--  0:00:07 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:07 --:--:--     0
100   143    0   143    0     0     17      0 --:--:--  0:00:08 --:--:--    17
  0     0    0     0    0     0      0      0 --:--:--  0:00:08 --:--:--     0
100   143    0   143    0     0     15      0 --:--:--  0:00:09 --:--:--    15
  0     0    0     0    0     0      0      0 --:--:--  0:00:09 --:--:--     0
100   143    0   143    0     0     14      0 --:--:--  0:00:09 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:09 --:--:--     0
100   143    0   143    0     0     14      0 --:--:--  0:00:10 --:--:--    14
  0     0    0     0    0     0      0      0 --:--:--  0:00:10 --:--:--     0
100   143    0   143    0     0     13      0 --:--:--  0:00:10 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:11 --:--:--     0
100   143    0   143    0     0     12      0 --:--:--  0:00:11 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:11 --:--:--     0
100   143    0   143    0     0     11      0 --:--:--  0:00:12 --:--:--    11
  0     0    0     0    0     0      0      0 --:--:--  0:00:12 --:--:--     0
100   143    0   143    0     0     11      0 --:--:--  0:00:12 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:12 --:--:--     0
100   143    0   143    0     0     10      0 --:--:--  0:00:13 --:--:--    10
  0     0    0     0    0     0      0      0 --:--:--  0:00:13 --:--:--     0
100   143    0   143    0     0     10      0 --:--:--  0:00:13 --:--:--    10
  0     0    0     0    0     0      0      0 --:--:--  0:00:14 --:--:--     0
100   143    0   143    0     0      9      0 --:--:--  0:00:14 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:14 --:--:--     0
100   143    0   143    0     0      9      0 --:--:--  0:00:15 --:--:--     9
  0     0    0     0    0     0      0      0 --:--:--  0:00:15 --:--:--     0
100   143    0   143    0     0      8      0 --:--:--  0:00:15 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:16 --:--:--     0
100   143    0   143    0     0      8      0 --:--:--  0:00:16 --:--:--  8000
  0     0    0     0    0     0      0      0 --:--:--  0:00:16 --:--:--     0
100   143    0   143    0     0      8      0 --:--:--  0:00:17 --:--:--     8
  0     0    0     0    0     0      0      0 --:--:--  0:00:17 --:--:--     0
curl: (47) Maximum (50) redirects followed

Tags:

gnwiii
Posts: 713
Joined: Fri Jan 29, 2021 5:51 pm America/New_York
Answers: 2
Has thanked: 1 time

OLCI data access

by gnwiii » Fri May 05, 2017 10:16 am America/New_York


OB.DAAC - SeanBailey
User Services
User Services
Posts: 1464
Joined: Wed Sep 18, 2019 6:15 pm America/New_York
Answers: 1
Been thanked: 5 times

OLCI data access

by OB.DAAC - SeanBailey » Fri May 05, 2017 11:35 am America/New_York

That redirect loop is weird...are either or both of you behind a proxy ?  If so, maybe it's not playing nice...

...back to wget... are things happier if you include:

--auth-no-challenge=on

e.g.
wget --auth-no-challenge=on --load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies --keep-session-cookies <URL>

gnwiii
Posts: 713
Joined: Fri Jan 29, 2021 5:51 pm America/New_York
Answers: 2
Has thanked: 1 time

OLCI data access

by gnwiii » Fri May 05, 2017 2:27 pm America/New_York

I think Jacques is behind a proxy.  What I'm behind is a mystery, even to the people responsible for keeping it working.  --auth-no-challenge=on is in the example that worked (to download PM1ATTNR.P2016347.0000.003.2016347150040) for both of us.  I just noticed that

S3A_OL_1_EFR____20170504T000013_20170504T000313_20170504T020102_0179_017_173_1980_SVL_O_NR_002.zip
no longer appears in the Direct Data Access list.

There is now:
S3A_OL_1_EFR____20170504T000013_20170504T000313_20170505T042813_0179_017_173_1980_LN1_O_NT_002.zip.  I'm able to download this new file with wget.

OB.DAAC - SeanBailey
User Services
User Services
Posts: 1464
Joined: Wed Sep 18, 2019 6:15 pm America/New_York
Answers: 1
Been thanked: 5 times

OLCI data access

by OB.DAAC - SeanBailey » Fri May 05, 2017 4:04 pm America/New_York

Good :)

Yes, we get both the "near real-time (NR)" and "not-time-critical (NT)" streams.  Once the NT arrives, we remove the NR....I'd rather we just ever had one, as the NR doesn't precede the NT by much, but I've been overruled :cry:

Sean

jstum
Posts: 83
Joined: Mon Jul 04, 2005 4:54 am America/New_York
Answers: 0
Been thanked: 1 time

OLCI data access

by jstum » Tue May 09, 2017 4:03 am America/New_York

Sean et all.,

Adding --auth-no-challenge in my wget command works fine to download the OLCI file :

e.g., simply wget --auth-no-challenge https://oceandata.sci.gsfc.nasa.gov/cgi/getfile/S3A_OL_1_EFR____20170509T000017_20170509T000317_20170509T013847_0179_017_244_3780_SVL_O_NR_002.zip

no need to specify username and password.

Thank you all
Jacques

Post Reply