S3-Zugriff auf L2A-Daten vor 2018-10

S3-Zugriff auf L2A-Daten vor 2018-10  

  By: JonasB on Sept. 13, 2022, 1:25 p.m.

Hallo,
ich kann zur Zeit nur eingeschränkt auf die L2A-Daten vor Oktober 2018 zugreifen.
Ich nutze den boto3 Python Client.
Vor etwa 3 Monaten funktionierte es noch. Die aktuelleren Daten ab 2018-11 funktionieren auch weiterhin.

Hat noch jemand ähnliche Probleme?
Wurden die älteren Daten verschoben?
Ich bin für jeden Hinweis dankbar.

Das folgende Python Snippet nutze ich. Ich erwarte eine Liste mit 30 Obejkten für die Tage des Septembers. Bekomme aber nur 9 Tage.

import boto3

s3client = boto3.client('s3',
aws
accesskeyid=settings.COSACCESSKEYID.getsecretvalue(),
aws
secretaccesskey=settings.COSSECRETACCESSKEY.getsecretvalue(),
endpoint
url='http://cloud.code-de.org:8080')

objectslist = s3client.list_objects(Prefix='Sentinel-2/MSI/L2A/2018/09/',
Delimiter='/',
Bucket='tiles',
MaxKeys=30000)

objects_list

OUTPUT:
{'ResponseMetadata': {'RequestId': 'tx0000000000001720f6164-0063208457-7bbc1ac-default',
'HostId': '',
'HTTPStatusCode': 200,
'HTTPHeaders': {'server': 'nginx/1.17.8',
'content-type': 'application/xml',
'content-length': '1223',
'connection': 'keep-alive',
'x-amz-request-id': 'tx0000000000001720f6164-0063208457-7bbc1ac-default',
'date': 'Tue, 13 Sep 2022 13:23:35 GMT'},
'RetryAttempts': 0},
'IsTruncated': True,
'Marker': '',
'NextMarker': 'Sentinel-2/MSI/L2A/2018/09/09/S2AMSIL2A20180909T102021N0208R065T32TPT20180909T170353.SAFE/GRANULE/L2AT32TPTA01679320180909T102205/QIDATA/MSKSATURAB10.gml',
'Name': 'CODEDE',
'Prefix': 'Sentinel-2/MSI/L2A/2018/09/',
'Delimiter': '/',
'MaxKeys': 1000,
'CommonPrefixes': [{'Prefix': 'Sentinel-2/MSI/L2A/2018/09/01/'},
{'Prefix': 'Sentinel-2/MSI/L2A/2018/09/02/'},
{'Prefix': 'Sentinel-2/MSI/L2A/2018/09/03/'},
{'Prefix': 'Sentinel-2/MSI/L2A/2018/09/04/'},
{'Prefix': 'Sentinel-2/MSI/L2A/2018/09/05/'},
{'Prefix': 'Sentinel-2/MSI/L2A/2018/09/06/'},
{'Prefix': 'Sentinel-2/MSI/L2A/2018/09/07/'},
{'Prefix': 'Sentinel-2/MSI/L2A/2018/09/08/'},
{'Prefix': 'Sentinel-2/MSI/L2A/2018/09/09/'}],
'EncodingType': 'url'}

Re: S3-Zugriff auf L2A-Daten vor 2018-10  

  By: StefanK on Nov. 8, 2022, 9:52 a.m.

Hallo,

es könnte sein, dass der angegebene Endpoint der Auslöser für das Problem ist. Vielleicht hilft es, "endpoint_url='http://cloud.code-de.org:8080' " durch endpointurl='http://data.fra1-1.cloudferro.com' " zu ersetzen.

Gruß Stefan

Re: S3-Zugriff auf L2A-Daten vor 2018-10  

  By: JonasB on Feb. 15, 2024, 8:56 a.m.

Hallo Stefan,
ich habe in den letzten Wochen festgestellt, dass das Problem mit den "alten Daten" immer noch besteht und möchte daher diese Anfrage nochmal reaktivieren.
Ich habe jetzt auch folgende URLs ausprobiert.
endpointurl='http://data.fra1-1.cloudferro.com'
endpoint
url='http://data.cloud.code-de.org'
Der Response ist jeweils, wie unten beschrieben, eine zu kurze Liste der "Unterordner".

Könnte ihr das bitte nochmal prüfen (lassen)?
Danke und viele Grüße
Jonas