Acceso más fácil a los datos científicos
Traído a usted por NOAA NMFS SWFSC ERD
|
ERDDAP
Acceso más fácil a los datos científicos |
acceso |
Traído a usted por NOAA NMFS SWFSC ERD |
ERDDAP se diseñó en torno a la idea de que la mayoría de los conjuntos de datos son enormes, por lo que la mayoría de los usuarios solo necesitan o quieren un subconjunto del conjunto de datos que les interesa (por ejemplo, un área geográfica más pequeña, un rango de tiempo más pequeño o no todas las variables de datos).
.
Pero entendemos que algunos usuarios realmente quieren un conjunto de datos completo, o al menos el subconjunto que se encuentra en un subconjunto de los archivos de datos de origen.
Si ese es usted, entonces el sistema de "files" puede ser para usted.
Una ventaja del sistema de "files" es que puede ver el tamaño de cada archivo (en bytes) y la hora de la última modificación (zona horaria Zulu ), por lo que es fácil ver si un archivo ha sido modificado.
De manera similar, cuando solicita un subconjunto de datos de uno de los formularios de acceso a datos de ERDDAP, puede especificar el tipo de archivo (por ejemplo, .nc, .csv, .json, .mat ) que desea recibir en respuesta.
Naturalmente, los archivos de datos de origen disponibles a través de "files" sólo están disponibles en un tipo de archivo.
Si no está satisfecho con el tipo de archivo del archivo fuente, es posible que prefiera utilizar los formularios de acceso a datos del conjunto de datos.
en el encabezado de la solicitud HTTP GET enviada por el cliente.
Si se encuentra un tipo de compresión admitido (gzip, x-gzip o deflate ) en la lista de codificación aceptada, ERDDAP incluye "codificación de contenido" en el encabezado de respuesta HTTP y comprime los datos a medida que los transmite.
Depende del programa cliente buscar content-encoding y descomprimir los datos en consecuencia.
Solicitar compresión es opcional, pero las respuestas comprimidas suelen ser entre 3 y 10 veces más rápidas, por lo que supone un gran ahorro de tiempo si descarga muchos archivos grandes.
(Tenga en cuenta que no hay ningún beneficio en solicitar archivos .png comprimidos ya que el contenido de los archivos ya está comprimido).
.
(aunque debe manejar las respuestas deflate o no solicitar deflate).
e instalarlo.
Para acceder a una línea de comando en Windows, haga clic en el ícono de Windows y escriba cmd en el campo de texto de búsqueda.
("Win32 - Genérico, Win32, binario (sin SSL)" funcionó para mí en Windows 7.)
Las instrucciones para usar curl se encuentran en la
página de manual curl .
y en este
tutorial curl .
Pero aquí hay un tutorial rápido relacionado con el uso curl con ERDDAP :
curl --comprimido -g "https://coastwatch.pfeg.noaa.gov/erddap/files/cwwcNDBCMet/nrt/NDBC_41008_met.nc" -o ndbc/41008.ncEn curl, como en muchos otros programas, la parte de consulta de erddapUrl debe estar codificada en porcentaje.
:
todos los caracteres en los valores de los parámetros (las partes después de los signos '=' ) distintos de A-Za-z0-9_-!.~'()* deben codificarse como %HH, donde HH es el valor hexadecimal de 2 dígitos del carácter., por ejemplo, un espacio se convierte en %20.
Los caracteres superiores al #127 deben convertirse a bytes UTF-8, luego cada byte UTF-8 debe estar codificado en porcentaje (solicite ayuda a un programador).
Hay
sitios web que codifican y decodifican por ciento para usted.
.
Si obtiene la URL del campo de texto de dirección de su navegador, es posible que ya esté hecho.
ellos en erddapURL como %5B, %5D, %7B, %7D, respectivamente.
Afortunadamente, estos casi nunca están en los nombres de archivos "files" .
Luego, en erddapUrl, reemplace un número relleno con ceros (por ejemplo, 01) con un rango de valores (por ejemplo, [01-15]), o reemplace una subcadena (por ejemplo, 41008) con una lista de valores (por ejemplo, {41008,41009,41010}).
El #1 dentro del nombre del archivo de salida hace que el valor actual del rango o lista se coloque en el nombre del archivo de salida.
Por ejemplo, curl --comprimido "https://coastwatch.pfeg.noaa.gov/erddap/files/cwwcNDBCMet/nrt/NDBC_{41008,41009,41010}_met.nc" -o ndbc/#1.nc
De manera similar, para algunos tipos de archivos de audio (en particular, .mp3, .ogg y .wav), verá un control de audio que le permitirá escuchar el archivo de audio.
Estas funciones de vista previa solo funcionarán para ciertos tipos de archivos, en ciertos navegadores y en ciertos sistemas operativos. Dependen de las funciones del navegador, por lo que en gran medida están fuera de nuestro control.
Alternativamente, si hace clic en el enlace de un archivo de imagen, audio o video, se abrirá un visor o reproductor en una ventana separada.
(Si su navegador le pregunta qué desea hacer con el archivo, dígale que maneje el archivo multimedia por sí mismo (no a través de otro software) y dígale que recuerde esta elección para que se use automáticamente en el futuro).
Si, en cambio, elige descargar y trabajar con los archivos fuente originales que ofrece el sistema de "files" de ERDDAP, debe averiguar cómo desea trabajar con los archivos. Afortunadamente, existen muchas herramientas de software para trabajar con los distintos tipos de archivos:
.
que brindan una descripción básica del tipo de archivo y enumeran el software que se puede utilizar para trabajar con los archivos (ver, leer, escribir, editar, etc.).
O puede utilizar su motor de búsqueda favorito para buscar lo que desea.
Consulte la
lista Wikipedia de formatos de archivos de audio .
Si desea hacer otras cosas con estos archivos, existen numerosos programas para reproducir y editar archivos de audio, incluidos:
y
Audacity son programas de código abierto para grabar, editar, mezclar y masterizar audio en Linux, Mac OSX y Windows.
.
.
es un tipo común de archivo de datos binarios.
Existen algunos paquetes de software que pueden funcionar con archivos .hdf, incluidos:
es un software gratuito y de uso común para crear gráficos y mapas a partir de archivos .hdf .
es la biblioteca oficial del Grupo HDF para leer y escribir todos los archivos .hdf .
y
lenguaje R Puede leer archivos .hdf a través de una biblioteca complementaria.
Consulte la
lista de formatos de archivos de imagen Wikipedia .
Si desea hacer otras cosas con archivos de imágenes, existen numerosos programas de visualización y edición de imágenes, entre los que se incluyen:
, un programa de código abierto para todos los sistemas operativos.
, un editor de imágenes gratuito para Windows.
.
.
es un tipo común de archivo de datos binarios.
Hay dos subcategorías de archivos .nc : archivos de la versión 3 (aún utilizados ampliamente) y archivos de la versión 4 (que en realidad son archivos .hdf con algunos cambios). Los archivos de ambas versiones tienen la extensión .nc y pueden ser leídos por programas que leen archivos .nc .
Existe una gran cantidad de paquetes de software que pueden funcionar con archivos .nc, incluidos:
y
Ncview (que también se puede instalar
a través de Conda ).
, las principales bibliotecas de software para C, C++, Fortran o Java para leer y escribir archivos .nc .
,
Matlab y
lenguaje R Puede leer archivos .nc (quizás a través de una biblioteca complementaria), crear gráficos y mapas y trabajar con los datos en archivos .nc .
.
son diferentes a los archivos de procesamiento de textos, que tienen comandos de formato especiales integrados.
Si importa un archivo de texto a un procesador de textos y realiza cambios en el archivo, asegúrese de guardarlo como un archivo de texto ASCII una vez más.
O evite este problema utilizando un programa de edición de texto.
Si edita archivos .tsv (valores separados por tabulaciones), tenga mucho cuidado de mantener las pestañas que separan los valores en diferentes "columnas" en cada fila. De forma predeterminada (incluso en muchos editores de texto), las pestañas suelen aparecer como espacios (o unos pocos espacios). Así que asegúrese de utilizar la función del editor que hace visibles las pestañas (como un símbolo especial) para que pueda mantener las pestañas entre valores.
Los archivos .xml son técnicamente archivos de texto, pero existen ventajas al utilizar editores XML independientes para trabajar con ellos.
Existen docenas de programas de edición de texto para cada sistema operativo, incluidos:
.
Consulte la
lista Wikipedia de formatos de archivos de vídeo .
Si desea hacer otras cosas con archivos de vídeo, existen numerosos programas de reproducción y edición de vídeo, entre los que se incluyen:
.
.
Son archivos de texto estructurados.
Puede verlos en su navegador o en un editor de texto, pero también existe software especializado para trabajar con archivos XML.
Vea esta
comparación de Wikipedia de editores XML .
.
Algunos software de cliente (por ejemplo, reproductores de audio y vídeo en navegadores web) lo utilizan para solicitar fragmentos del archivo en lugar del archivo completo.
Acceder a un archivo remoto a través de rangos de bytes suele ser lento e ineficiente. A veces vale la pena leer pequeñas muestras de archivos remotos, especialmente archivos de audio y vídeo. Pero cuantas más veces necesite acceder al archivo, más eficiente será simplemente descargarlo y luego trabajar con el archivo local.
El sistema de "files" de ERDDAP rechaza todas las solicitudes de rango de bytes para archivos .nc y .hdf, así que ni siquiera intente utilizar Netcdf-java/c, ncview, Ferret u otras herramientas de software para conectarse a .nc o .hdf archivos servidos por el sistema de "files" de ERDDAP como si fueran archivos locales. Estas solicitudes se bloquean porque este enfoque es terriblemente ineficaz y, a menudo, causa otros problemas. En cambio:
