Skip to content

Commit

Permalink
Adding user agent header in vignettes and examples to resubmit to CRAN
Browse files Browse the repository at this point in the history
  • Loading branch information
hmeleiro committed May 27, 2024
1 parent e673370 commit d747724
Show file tree
Hide file tree
Showing 21 changed files with 100 additions and 73 deletions.
2 changes: 1 addition & 1 deletion DESCRIPTION
Original file line number Diff line number Diff line change
@@ -1,7 +1,7 @@
Package: infoelectoral
Type: Package
Title: Download Spanish Election Results
Version: 1.0.0
Version: 1.0.1
Authors@R:
person("Héctor", "Meleiro",
email = "[email protected]",
Expand Down
16 changes: 9 additions & 7 deletions R/candidatos_nosenado.R
Original file line number Diff line number Diff line change
Expand Up @@ -14,6 +14,8 @@
#' @importFrom dplyr select
#' @importFrom dplyr arrange
#' @importFrom dplyr %>%
#' @importFrom dplyr full_join
#' @importFrom dplyr left_join
#'
#' @keywords internal
#'
Expand All @@ -22,14 +24,14 @@ candidatos_nosenado <- function(tipo, anno, mes) {
urlbase <- "https://infoelectoral.interior.gob.es/estaticos/docxl/apliextr/"
url <- paste0(urlbase, tipo, anno, mes, "_MUNI", ".zip")
### Descargo el fichero zip en un directorio temporal y lo descomprimo
tempd <- tempdir(check = F)
tempd <- tempdir(check = FALSE)
temp <- tempfile(tmpdir = tempd, fileext = ".zip")
download.file(url, temp, mode = "wb")
unzip(temp, overwrite = T, exdir = tempd)
unzip(temp, overwrite = TRUE, exdir = tempd)

### Construyo las rutas a los ficheros DAT necesarios
codigo_eleccion <- paste0(substr(anno, nchar(anno)-1, nchar(anno)), mes)
todos <- list.files(tempd, recursive = T)
todos <- list.files(tempd, recursive = TRUE)
x <- todos[grepl(paste0("04", tipo, codigo_eleccion, ".DAT"), todos)]
xbasicos <- todos[grepl(paste0("05", tipo, codigo_eleccion, ".DAT"), todos)]
xcandidaturas <- todos[grepl(paste0("03", tipo, codigo_eleccion, ".DAT"), todos)]
Expand All @@ -44,12 +46,12 @@ candidatos_nosenado <- function(tipo, anno, mes) {
dfbasicos <- dfbasicos[dfbasicos$codigo_distrito == "99",]

### Limpio el directorio temporal (IMPORTANTE: Si no lo hace, puede haber problemas al descargar más de una elección)
borrar <- list.files(tempd, full.names = T, recursive = T)
try(file.remove(borrar), silent = T)
borrar <- list.files(tempd, full.names = TRUE, recursive = TRUE)
try(file.remove(borrar), silent = TRUE)

### Junto los datos de los tres ficheros
df <- merge(dfbasicos, dfcandidatos, by = c("tipo_eleccion", "vuelta", "anno", "mes", "codigo_provincia", "codigo_municipio", "codigo_distrito"), all = T)
df <- merge(df, dfcandidaturas, by = c("tipo_eleccion", "anno", "mes", "codigo_partido"), all.x = T)
df <- full_join(dfbasicos, dfcandidatos, by = c("tipo_eleccion", "vuelta", "anno", "mes", "codigo_provincia", "codigo_municipio", "codigo_distrito"))
df <- left_join(df, dfcandidaturas, by = c("tipo_eleccion", "anno", "mes", "codigo_partido"))

### Limpieza: Quito los espacios en blanco a los lados de estas variables
df$siglas <- str_trim(df$siglas)
Expand Down
13 changes: 8 additions & 5 deletions R/examples/candidatos.R
Original file line number Diff line number Diff line change
@@ -1,5 +1,8 @@
\dontrun{
data <- candidatos(tipo_eleccion = "senado", anno = "2004",
mes = "03", nivel = "municipio")
str(data)
}
ua <- "Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko)"
options(HTTPUserAgent = ua)

data <- candidatos(
tipo_eleccion = "senado", anno = "2004",
mes = "03", nivel = "municipio"
)
str(data)
2 changes: 1 addition & 1 deletion R/examples/mesas.R
Original file line number Diff line number Diff line change
@@ -1,4 +1,4 @@
\dontrun{
\donttest{
data <- mesas(tipo_eleccion = "congreso", anno = "2023", mes = "07")
str(data)
}
10 changes: 6 additions & 4 deletions R/examples/municipios.R
Original file line number Diff line number Diff line change
@@ -1,4 +1,6 @@
\dontrun{
data <- municipios(tipo_eleccion = "congreso", anno = "2019", mes = "11")
str(data)
}
ua <- "Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko)"
options(HTTPUserAgent = ua)

data <- municipios(tipo_eleccion = "congreso", anno = "2019", mes = "11")
str(data)

9 changes: 5 additions & 4 deletions R/examples/provincias.R
Original file line number Diff line number Diff line change
@@ -1,4 +1,5 @@
\dontrun{
data <- provincias(tipo_eleccion = "congreso", anno = "1982", mes = "10")
str(data)
}
ua <- "Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko)"
options(HTTPUserAgent = ua)

data <- provincias(tipo_eleccion = "congreso", anno = "1982", mes = "10")
str(data)
10 changes: 5 additions & 5 deletions R/mesas.R
Original file line number Diff line number Diff line change
Expand Up @@ -36,14 +36,14 @@ mesas <- function(tipo_eleccion, anno, mes) {
url <- paste0(urlbase, tipo, anno, mes, "_MESA", ".zip")

### Descargo el fichero zip en un directorio temporal y lo descomprimo
tempd <- tempdir(check = F)
tempd <- tempdir(check = FALSE)
temp <- tempfile(tmpdir = tempd, fileext = ".zip")
download.file(url, temp, mode = "wb")
unzip(temp, overwrite = T, exdir = tempd)
unzip(temp, overwrite = TRUE, exdir = tempd)

### Construyo las rutas a los ficheros DAT necesarios
codigo_eleccion <- paste0(substr(anno, nchar(anno)-1, nchar(anno)), mes)
todos <- list.files(tempd, recursive = T)
todos <- list.files(tempd, recursive = TRUE)
x <- todos[grepl(paste0("10", tipo, codigo_eleccion, ".DAT"), todos)]
xbasicos <- todos[grepl(paste0("09", tipo, codigo_eleccion, ".DAT"), todos)]
xcandidaturas <- todos[grepl(paste0("03", tipo, codigo_eleccion, ".DAT"), todos)]
Expand All @@ -54,8 +54,8 @@ mesas <- function(tipo_eleccion, anno, mes) {
dfmesas <- read10(x, tempd)

### Limpio el directorio temporal (IMPORTANTE: Si no lo hace, puede haber problemas al descargar más de una elección)
borrar <- list.files(tempd, full.names = T, recursive = T)
try(file.remove(borrar), silent = T)
borrar <- list.files(tempd, full.names = TRUE, recursive = TRUE)
try(file.remove(borrar), silent = TRUE)


### Junto los datos de los tres ficheros
Expand Down
8 changes: 4 additions & 4 deletions R/muni.R
Original file line number Diff line number Diff line change
Expand Up @@ -43,11 +43,11 @@ municipios <- function(tipo_eleccion, anno, mes, distritos = FALSE) {
temp <- tempfile(tmpdir = tempd, fileext = ".zip")
download.file(url, temp, mode = "wb")

unzip(temp, overwrite = T, exdir = tempd)
unzip(temp, overwrite = TRUE, exdir = tempd)

### Construyo las rutas a los ficheros DAT necesarios
codigo_eleccion <- paste0(substr(anno, nchar(anno)-1, nchar(anno)), mes)
todos <- list.files(tempd, recursive = T)
todos <- list.files(tempd, recursive = TRUE)
x <- todos[grepl(paste0("06", tipo, codigo_eleccion, ".DAT"), todos)]
xbasicos <- todos[grepl(paste0("05", tipo, codigo_eleccion, ".DAT"), todos)]
xcandidaturas <- todos[grepl(paste0("03", tipo, codigo_eleccion, ".DAT"), todos)]
Expand All @@ -73,8 +73,8 @@ municipios <- function(tipo_eleccion, anno, mes, distritos = FALSE) {
}

### Limpio el directorio temporal (IMPORTANTE: Si no lo hace, puede haber problemas al descargar más de una elección)
borrar <- list.files(tempd, full.names = T, recursive = T)
try(file.remove(borrar), silent = T)
borrar <- list.files(tempd, full.names = TRUE, recursive = TRUE)
try(file.remove(borrar), silent = TRUE)

### Junto los datos de los tres ficheros
df <- full_join(dfbasicos, dfmunicipios,
Expand Down
8 changes: 4 additions & 4 deletions R/provincias.R
Original file line number Diff line number Diff line change
Expand Up @@ -40,12 +40,12 @@ provincias <- function(tipo_eleccion, anno, mes) {
tempd <- tempdir()
temp <- tempfile(tmpdir = tempd, fileext = ".zip")
download.file(url, temp, mode = "wb")
unzip(temp, overwrite = T, exdir = tempd)
unzip(temp, overwrite = TRUE, exdir = tempd)


### Construyo las rutas a los ficheros DAT necesarios
codigo_eleccion <- paste0(substr(anno, nchar(anno)-1, nchar(anno)), mes)
todos <- list.files(tempd, recursive = T)
todos <- list.files(tempd, recursive = TRUE)
x <- todos[todos == paste0("03", tipo, codigo_eleccion, ".DAT")]
xbasicos <- todos[todos == paste0("07", tipo, codigo_eleccion, ".DAT")]
xcandidaturas <- todos[todos == paste0("08", tipo, codigo_eleccion, ".DAT")]
Expand All @@ -58,8 +58,8 @@ provincias <- function(tipo_eleccion, anno, mes) {


### Limpio el directorio temporal (IMPORTANTE: Si no lo hace, puede haber problemas al descargar más de una elección)
borrar <- list.files(tempd, full.names = T, recursive = T)
try(file.remove(borrar), silent = T)
borrar <- list.files(tempd, full.names = TRUE, recursive = TRUE)
try(file.remove(borrar), silent = TRUE)

### Junto los datos de los tres ficheros
df <- full_join(dfcandidaturas_basicos, dfcandidaturas,
Expand Down
19 changes: 10 additions & 9 deletions R/senado_mesas.R
Original file line number Diff line number Diff line change
Expand Up @@ -16,6 +16,7 @@
#' @importFrom dplyr select
#' @importFrom dplyr arrange
#' @importFrom dplyr %>%
#' @importFrom dplyr full_join
#'
#' @keywords internal
senado_mesas <- function(anno, mes) {
Expand All @@ -27,14 +28,14 @@ senado_mesas <- function(anno, mes) {
url <- paste0(urlbase, tipo, anno, mes, "_MESA", ".zip")

### Descargo el fichero zip en un directorio temporal y lo descomprimo
tempd <- tempdir(check = F)
tempd <- tempdir(check = FALSE)
temp <- tempfile(tmpdir = tempd, fileext = ".zip")
download.file(url, temp, mode = "wb")
unzip(temp, overwrite = T, exdir = tempd)
unzip(temp, overwrite = TRUE, exdir = tempd)

### Construyo las rutas a los ficheros DAT necesarios
codigo_eleccion <- paste0(substr(anno, nchar(anno)-1, nchar(anno)), mes)
todos <- list.files(tempd, recursive = T)
todos <- list.files(tempd, recursive = TRUE)
x <- todos[todos == paste0("04", tipo, codigo_eleccion, ".DAT")]
xmesas <- todos[todos == paste0("10", tipo, codigo_eleccion, ".DAT")]
xbasicos <- todos[todos == paste0("09", tipo, codigo_eleccion, ".DAT")]
Expand All @@ -47,17 +48,17 @@ senado_mesas <- function(anno, mes) {
dfmesas <- read10(xmesas, tempd)

### Limpio el directorio temporal (IMPORTANTE: Si no lo hace, puede haber problemas al descargar más de una elección)
borrar <- list.files(tempd, full.names = T, recursive = T)
try(file.remove(borrar), silent = T)
borrar <- list.files(tempd, full.names = TRUE, recursive = TRUE)
try(file.remove(borrar), silent = TRUE)

### Junto los datos de los tres ficheros
df <- merge(dfbasicos, dfmesas, by = c("tipo_eleccion", "anno", "mes", "vuelta", "codigo_ccaa", "codigo_provincia", "codigo_municipio", "codigo_distrito", "codigo_seccion", "codigo_mesa"), all = T)
df <- merge(df, dfcandidatos, by = c("tipo_eleccion", "anno", "mes", "vuelta", "codigo_provincia", "codigo_senador"), all = T)
df <- merge(df, dfcandidaturas, by = c("tipo_eleccion", "anno", "mes", "codigo_partido"), all = T)
df <- full_join(dfbasicos, dfmesas, by = c("tipo_eleccion", "anno", "mes", "vuelta", "codigo_ccaa", "codigo_provincia", "codigo_municipio", "codigo_distrito", "codigo_seccion", "codigo_mesa"))
df <- full_join(df, dfcandidatos, by = c("tipo_eleccion", "anno", "mes", "vuelta", "codigo_provincia", "codigo_senador"))
df <- full_join(df, dfcandidaturas, by = c("tipo_eleccion", "anno", "mes", "codigo_partido"))

# Inserto el nombre del municipio más reciente y reordeno algunas variables
codigos_municipios <- infoelectoral::codigos_municipios
df <- merge(df, codigos_municipios, by = c("codigo_provincia", "codigo_municipio"), all = T)
df <- full_join(df, codigos_municipios, by = c("codigo_provincia", "codigo_municipio"))

### Limpieza: Quito los espacios en blanco a los lados de estas variables
df$siglas <- str_trim(df$siglas)
Expand Down
19 changes: 10 additions & 9 deletions R/senado_municipios.R
Original file line number Diff line number Diff line change
Expand Up @@ -16,6 +16,7 @@
#' @importFrom dplyr select
#' @importFrom dplyr arrange
#' @importFrom dplyr %>%
#' @importFrom dplyr full_join
#'
#' @keywords internal
senado_municipios <- function(anno, mes) {
Expand All @@ -26,14 +27,14 @@ senado_municipios <- function(anno, mes) {
url <- paste0(urlbase, tipo, anno, mes, "_MUNI", ".zip")

### Descargo el fichero zip en un directorio temporal y lo descomprimo
tempd <- tempdir(check = F)
tempd <- tempdir(check = FALSE)
temp <- tempfile(tmpdir = tempd, fileext = ".zip")
download.file(url, temp, mode = "wb")
unzip(temp, overwrite = T, exdir = tempd)
unzip(temp, overwrite = TRUE, exdir = tempd)

### Construyo las rutas a los ficheros DAT necesarios
codigo_eleccion <- paste0(substr(anno, nchar(anno)-1, nchar(anno)), mes)
todos <- list.files(tempd, recursive = T)
todos <- list.files(tempd, recursive = TRUE)
x <- todos[todos == paste0("04", tipo, codigo_eleccion, ".DAT")]
xmunicipios <- todos[todos == paste0("06", tipo, codigo_eleccion, ".DAT")]
xbasicos <- todos[todos == paste0("05", tipo, codigo_eleccion, ".DAT")]
Expand All @@ -50,20 +51,20 @@ senado_municipios <- function(anno, mes) {


### Limpio el directorio temporal (IMPORTANTE: Si no lo hace, puede haber problemas al descargar más de una elección)
borrar <- list.files(tempd, full.names = T, recursive = T)
try(file.remove(borrar), silent = T)
borrar <- list.files(tempd, full.names = TRUE, recursive = TRUE)
try(file.remove(borrar), silent = TRUE)

### Junto los datos de los tres ficheros
df <- merge(dfbasicos, dfmunicipios, by = c("tipo_eleccion", "anno", "mes", "vuelta", "codigo_provincia", "codigo_municipio", "codigo_distrito"), all = T)
df <- merge(df, dfcandidatos, by = c("tipo_eleccion", "anno", "mes", "vuelta", "codigo_provincia", "codigo_distrito_electoral", "codigo_senador"), all = T)
df <- merge(df, dfcandidaturas, by = c("tipo_eleccion", "anno", "mes", "codigo_partido"), all = T)
df <- full_join(dfbasicos, dfmunicipios, by = c("tipo_eleccion", "anno", "mes", "vuelta", "codigo_provincia", "codigo_municipio", "codigo_distrito"))
df <- full_join(df, dfcandidatos, by = c("tipo_eleccion", "anno", "mes", "vuelta", "codigo_provincia", "codigo_distrito_electoral", "codigo_senador"))
df <- full_join(df, dfcandidaturas, by = c("tipo_eleccion", "anno", "mes", "codigo_partido"))

### Limpieza: Quito los espacios en blanco a los lados de estas variables
df$siglas <- str_trim(df$siglas)
df$denominacion <- str_trim(df$denominacion)

codigos_municipios <- infoelectoral::codigos_municipios
df <- merge(df, codigos_municipios, by = c("codigo_provincia", "codigo_municipio"), all = T) %>%
df <- full_join(df, codigos_municipios, by = c("codigo_provincia", "codigo_municipio")) %>%
mutate_if(is.character, str_trim) %>%
mutate(denominacion = str_remove_all("denominacion", '"')) %>%
select(
Expand Down
13 changes: 8 additions & 5 deletions man/candidatos.Rd

Some generated files are not rendered by default. Learn more about how customized files appear on GitHub.

2 changes: 1 addition & 1 deletion man/mesas.Rd

Some generated files are not rendered by default. Learn more about how customized files appear on GitHub.

10 changes: 6 additions & 4 deletions man/municipios.Rd

Some generated files are not rendered by default. Learn more about how customized files appear on GitHub.

9 changes: 5 additions & 4 deletions man/provincias.Rd

Some generated files are not rendered by default. Learn more about how customized files appear on GitHub.

2 changes: 1 addition & 1 deletion tests/testthat/test-candidatos.R
Original file line number Diff line number Diff line change
@@ -1,4 +1,5 @@
library(dplyr)
options(HTTPUserAgent="Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36")

set.seed(120)
x <- fechas_elecciones %>%
Expand All @@ -9,7 +10,6 @@ x <- fechas_elecciones %>%
data <- candidatos("senado", x$anno, x$mes, nivel = "municipio") %>%
filter(codigo_provincia != "99")


test_that("n_provincias function", {
n_provincias <- unique(data$codigo_provincia) %>% length()
expect_equal(n_provincias, 52)
Expand Down
2 changes: 2 additions & 0 deletions tests/testthat/test-mesas.R
Original file line number Diff line number Diff line change
@@ -1,4 +1,6 @@
library(dplyr)
# options(timeout = 120)
options(HTTPUserAgent="Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36")

set.seed(120)
x <- fechas_elecciones %>%
Expand Down
1 change: 1 addition & 0 deletions tests/testthat/test-municipios.R
Original file line number Diff line number Diff line change
@@ -1,4 +1,5 @@
library(dplyr)
options(HTTPUserAgent="Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36")

set.seed(120)
x <- fechas_elecciones %>%
Expand Down
1 change: 1 addition & 0 deletions tests/testthat/test-provincias.R
Original file line number Diff line number Diff line change
@@ -1,4 +1,5 @@
library(dplyr)
options(HTTPUserAgent="Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36")

set.seed(120)
x <- fechas_elecciones %>%
Expand Down
Loading

0 comments on commit d747724

Please sign in to comment.