Merge pull request #2047 from dzhw/release

Release v1.0.80
dzhw · Feb 18, 2019 · cebe693 · cebe693
2 parents 301adbe + e9307b2
commit cebe693
Show file tree

Hide file tree

Showing 945 changed files with 142,981 additions and 66,196 deletions.
diff --git a/.travis.yml b/.travis.yml
@@ -24,8 +24,12 @@ stages:
       if: branch =~ /^(development|master)$/
     - name: e2e smoketests
       if: branch = development || branch =~ /^saikotitis.*$/
-    - name: nightly e2e tests
-      if: type = cron || branch =~ /^saikotitis.*$/
+    - name: nightly e2e tests publicuser
+      if: branch = development || branch =~ /^saikotitis.*$/
+    - name: nightly e2e tests dataprovider
+      if: branch = development || branch =~ /^saikotitis.*$/
+    - name: nightly e2e tests publisher
+      if: branch = development || branch =~ /^saikotitis.*$/
 jobs:
   include:
     - stage: build
@@ -80,31 +84,81 @@ jobs:
         - ./src/test/robotframework/setup.sh
       script:
         - robot -P ./src/test/robotframework/libs -d target/test/robotframework/logs -v USE_SAUCELABS:TRUE -v BROWSER:ie --include smoketest --exclude firefoxonly --exclude chromeonly --exclude noslowpoke ./src/test/robotframework
-    - stage: nightly e2e tests
-      name: "Nightly Chrome Tests"
+    - stage: nightly e2e tests publicuser
+      name: "Nightly Chrome Tests (Public User)"
+      install:
+        - ./src/test/robotframework/setup.sh
+      script:
+        - export PYTHONWARNINGS="ignore"
+        - travis_wait 50 robot -P ./src/test/robotframework/libs -d target/test/robotframework/logs/chrome -v USE_SAUCELABS:TRUE -v BROWSER:chrome --include publicuserNOTsmoketestNOTfirefoxonly ./src/test/robotframework
+    - name: "Nightly Firefox Tests (Public User)"
+      install:
+        - ./src/test/robotframework/setup.sh
+      script:
+        - export PYTHONWARNINGS="ignore"
+        - travis_wait 50 robot -P ./src/test/robotframework/libs -d target/test/robotframework/logs/firefox -v USE_SAUCELABS:TRUE -v BROWSER:firefox --include publicuserNOTsmoketestNOTchromeonly ./src/test/robotframework
+    - name: "Nightly IE11 Tests (Public User)"
+      install:
+        - ./src/test/robotframework/setup.sh
+      script:
+        - export PYTHONWARNINGS="ignore"
+        - travis_wait 50 robot -P ./src/test/robotframework/libs -d target/test/robotframework/logs/ie11 -v USE_SAUCELABS:TRUE -v BROWSER:ie --include publicuserNOTsmoketestNOTfirefoxonlyNOTchromeonly ./src/test/robotframework
+    - name: "Nightly Edge Tests (Public User)"
+      install:
+        - ./src/test/robotframework/setup.sh
+      script:
+        - export PYTHONWARNINGS="ignore"
+        - travis_wait 50 robot -P ./src/test/robotframework/libs -d target/test/robotframework/logs/edge -v USE_SAUCELABS:TRUE -v BROWSER:edge --include publicuserNOTsmoketestNOTfirefoxonlyNOTchromeonlyNOTnoslowpoke ./src/test/robotframework
+    - stage: nightly e2e tests dataprovider
+      name: "Nightly Chrome Tests (Dataprovider)"
+      install:
+        - ./src/test/robotframework/setup.sh
+      script:
+        - export PYTHONWARNINGS="ignore"
+        - travis_wait 50 robot -P ./src/test/robotframework/libs -d target/test/robotframework/logs/chrome -v USE_SAUCELABS:TRUE -v BROWSER:chrome --include dataproviderNOTsmoketestNOTfirefoxonly ./src/test/robotframework
+    - name: "Nightly Firefox Tests (Dataprovider)"
+      install:
+        - ./src/test/robotframework/setup.sh
+      script:
+        - export PYTHONWARNINGS="ignore"
+        - travis_wait 50 robot -P ./src/test/robotframework/libs -d target/test/robotframework/logs/firefox -v USE_SAUCELABS:TRUE -v BROWSER:firefox --include dataproviderNOTsmoketestNOTchromeonly ./src/test/robotframework
+    - name: "Nightly IE11 Tests (Dataprovider)"
+      install:
+        - ./src/test/robotframework/setup.sh
+      script:
+        - export PYTHONWARNINGS="ignore"
+        - travis_wait 50 robot -P ./src/test/robotframework/libs -d target/test/robotframework/logs/ie11 -v USE_SAUCELABS:TRUE -v BROWSER:ie --include dataproviderNOTsmoketestNOTfirefoxonlyNOTchromeonly ./src/test/robotframework
+    - name: "Nightly Edge Tests (Dataprovider)"
+      install:
+        - ./src/test/robotframework/setup.sh
+      script:
+        - export PYTHONWARNINGS="ignore"
+        - travis_wait 50 robot -P ./src/test/robotframework/libs -d target/test/robotframework/logs/edge -v USE_SAUCELABS:TRUE -v BROWSER:edge --include dataproviderNOTsmoketestNOTfirefoxonlyNOTchromeonlyNOTnoslowpoke ./src/test/robotframework
+    - stage: nightly e2e tests publisher
+      name: "Nightly Chrome Tests (Publisher)"
       install:
         - ./src/test/robotframework/setup.sh
       script:
         - export PYTHONWARNINGS="ignore"
-        - travis_wait 50 robot -P ./src/test/robotframework/libs -d target/test/robotframework/logs/chrome -v USE_SAUCELABS:TRUE -v BROWSER:chrome --exclude smoketest --exclude firefoxonly ./src/test/robotframework
-    - name: "Nightly Firefox Tests"
+        - travis_wait 50 robot -P ./src/test/robotframework/libs -d target/test/robotframework/logs/chrome -v USE_SAUCELABS:TRUE -v BROWSER:chrome --include publisherNOTsmoketestNOTfirefoxonly ./src/test/robotframework
+    - name: "Nightly Firefox Tests (Publisher)"
       install:
         - ./src/test/robotframework/setup.sh
       script:
         - export PYTHONWARNINGS="ignore"
-        - travis_wait 50 robot -P ./src/test/robotframework/libs -d target/test/robotframework/logs/firefox -v USE_SAUCELABS:TRUE -v BROWSER:firefox --exclude smoketest --exclude chromeonly ./src/test/robotframework
-    - name: "Nightly IE11 Tests"
+        - travis_wait 50 robot -P ./src/test/robotframework/libs -d target/test/robotframework/logs/firefox -v USE_SAUCELABS:TRUE -v BROWSER:firefox --include publisherNOTsmoketestNOTchromeonly ./src/test/robotframework
+    - name: "Nightly IE11 Tests (Publisher)"
       install:
         - ./src/test/robotframework/setup.sh
       script:
         - export PYTHONWARNINGS="ignore"
-        - travis_wait 50 robot -P ./src/test/robotframework/libs -d target/test/robotframework/logs/ie11 -v USE_SAUCELABS:TRUE -v BROWSER:ie --exclude smoketest --exclude firefoxonly --exclude chromeonly ./src/test/robotframework
-    - name: "Nightly Edge Tests"
+        - travis_wait 50 robot -P ./src/test/robotframework/libs -d target/test/robotframework/logs/ie11 -v USE_SAUCELABS:TRUE -v BROWSER:ie --include publisherNOTsmoketestNOTfirefoxonlyNOTchromeonly ./src/test/robotframework
+    - name: "Nightly Edge Tests (Publisher)"
       install:
         - ./src/test/robotframework/setup.sh
       script:
         - export PYTHONWARNINGS="ignore"
-        - travis_wait 50 robot -P ./src/test/robotframework/libs -d target/test/robotframework/logs/edge -v USE_SAUCELABS:TRUE -v BROWSER:edge --exclude smoketest --exclude firefoxonly --exclude chromeonly --exclude noslowpoke ./src/test/robotframework
+        - travis_wait 50 robot -P ./src/test/robotframework/libs -d target/test/robotframework/logs/edge -v USE_SAUCELABS:TRUE -v BROWSER:edge --include publisherNOTsmoketestNOTfirefoxonlyNOTchromeonlyNOTnoslowpoke ./src/test/robotframework
 notifications:
   email:
     recipients:

diff --git a/bower.json b/bower.json
@@ -5,23 +5,23 @@
   "testPath": "src/test/javascript/spec",
   "dependencies": {
     "jquery": "^3.3.1",
-    "angular": "1.7.6",
-    "angular-aria": "1.7.6",
+    "angular": "1.7.7",
+    "angular-aria": "1.7.7",
     "angular-bootstrap": "2.5.0",
-    "angular-cookies": "1.7.6",
+    "angular-cookies": "1.7.7",
     "angular-dynamic-locale": "0.1.37",
-    "angular-i18n": "1.7.6",
+    "angular-i18n": "1.7.7",
     "angular-local-storage": "0.7.1",
-    "angular-resource": "1.7.6",
-    "angular-sanitize": "1.7.6",
+    "angular-resource": "1.7.7",
+    "angular-sanitize": "1.7.7",
     "angular-translate": "2.18.1",
     "angular-translate-interpolation-messageformat": "^2.18.1",
     "angular-translate-storage-cookie": "2.18.1",
     "angular-ui-router": "1.0.20",
     "bootstrap-sass": "3.4.0",
     "json3": "3.3.2",
     "ng-file-upload": "12.2.13",
-    "elasticsearch": "15.3.0",
+    "elasticsearch": "15.4.1",
     "jszip": "3.1.5",
     "file-saver.js": "~1.20150507.2",
     "jszip-utils": "~0.0.2",
@@ -32,15 +32,15 @@
     "angular-material": "1.1.10",
     "angular-block-ui": "^0.2.2",
     "lodash": "^4.17.11",
-    "plotly.js": "1.42.5",
+    "plotly.js": "1.44.3",
     "highlightjs": "^9.12.0",
     "angular-highlightjs": "^0.7.1",
     "js-beautify": "^1.8.9",
     "ngclipboard": "^2.0.0",
     "angular-katex": "^0.10.0",
-    "angular-animate": "^1.7.6",
-    "angular-messages": "1.7.6",
-    "bowser": "^1.9.4",
+    "angular-animate": "^1.7.7",
+    "angular-messages": "1.7.7",
+    "bowser": "1.9.4",
     "angular-file-saver": "^1.1.3",
     "clientjs": "0.1.5",
     "angular-scroll": "^1.0.2",
@@ -92,7 +92,10 @@
     }
   },
   "devDependencies": {
-    "angular-mocks": "1.7.6",
-    "angular-scenario": "1.7.6"
+    "angular-mocks": "1.7.7",
+    "angular-scenario": "1.7.7"
+  },
+  "resolutions": {
+    "angular": "1.7.7"
   }
 }
diff --git a/docs/source/_static/datensatz_attachments.png b/docs/source/_static/datensatz_attachments.png
diff --git a/docs/source/_static/datensatz_eingabemaske.png b/docs/source/_static/datensatz_eingabemaske.png
diff --git a/docs/source/_static/nachricht_an_publisher.png b/docs/source/_static/nachricht_an_publisher.png
diff --git a/docs/source/_static/projectcockpit_dataprovider_ready.png b/docs/source/_static/projectcockpit_dataprovider_ready.png
diff --git a/docs/source/_static/projectcockpit_dataprovider_status_empty.png b/docs/source/_static/projectcockpit_dataprovider_status_empty.png
diff --git a/docs/source/_static/projectcockpit_papierflieger.png b/docs/source/_static/projectcockpit_papierflieger.png
diff --git a/docs/source/_static/projectcockpit_settings_dataprovider.png b/docs/source/_static/projectcockpit_settings_dataprovider.png
diff --git a/docs/source/_static/studie_anlegen_per_suche.png b/docs/source/_static/studie_anlegen_per_suche.png
diff --git a/docs/source/_static/studie_leer.png b/docs/source/_static/studie_leer.png
diff --git a/docs/source/_static/studie_ready.png b/docs/source/_static/studie_ready.png
diff --git a/docs/source/conf.py b/docs/source/conf.py
@@ -1,4 +1,4 @@
-# -*- coding: utf-8 -*-
+# -*- coding: UTF-8 -*-
 #
 # Configuration file for the Sphinx documentation builder.
 #
@@ -20,13 +20,13 @@
 # -- Project information -----------------------------------------------------
 
 project = 'Metadatamanagement (MDM)'
-copyright = '2018, Robert Birkelbach, Anne Gärtner, René Reitmann'
-author = 'Robert Birkelbach, Anne Gärtner, René Reitmann'
+copyright = u'2019, Robert Birkelbach, Anne Gärtner, René Reitmann'
+author = u'Robert Birkelbach, Anne Gärtner, René Reitmann'
 
 # The short X.Y version
 version = ''
 # The full version, including alpha/beta/rc tags
-release = '1.0.75'
+release = '1.0.79'
 
 
 # -- General configuration ---------------------------------------------------
@@ -151,7 +151,7 @@
 #  author, documentclass [howto, manual, or own class]).
 latex_documents = [
     (master_doc, 'MetaDataManagement.tex', 'MetaDataManagement Documentation',
-     'Robert Birkelbach, Anne Gärtner, René Reitmann', 'manual'),
+     u'Robert Birkelbach, Anne Gärtner, René Reitmann', 'manual'),
 ]
 
 

diff --git a/docs/source/datengeber_vorlage_ordner.rst b/docs/source/datengeber_vorlage_ordner.rst
@@ -0,0 +1,11 @@
+Die korrekte Anordnung der Dateien im Ordner
+============================================
+
+Für einen erfolgreichen Upload der Metadaten attachments müssen
+Sie sämtliche Dateien ihrer zugehörigen Ebene entsprechend in den vom
+FDZ vorbereiteten Vorlage-Ordner_ ablegen, welcher nach der jeweiligen
+Ebene benannt ist. Dieser Ordner sowie auch seine Unterordner sind mit
+englischen Begriffen betitelt. Der Unterordner, welche alle Anhänge enthält,
+heißt unabhängig von der Ebene immer „attachments“.
+
+.. _Vorlage-Ordner: https://github.com/dzhw/metadatamanagement-io/wiki/Vorlagen/Vorlagen_fuer_Datengeber.zip
diff --git a/docs/source/datensatzreport_erzeugen.rst b/docs/source/datensatzreport_erzeugen.rst
@@ -0,0 +1,13 @@
+Datensatzreport erzeugen
+========================
+
+Wenn ein Datensatz und die zugehörigen Variablen im MDM vorliegen, kann mit
+Hilfe des MDMs ein Datensatzreport erstellt werden.
+Hierzu wird das
+`Template
+<https://github.com/dzhw/metadatamanagement-io/tree/master/datasetreport/template/>`_
+auf den Datensatz im MDM gezogen. Nach einiger Zeit (je nach Anzahl an Variablen
+länger als eine Minute) erfolgt ein Download.
+Die resultierenden Dateien werden von FDZ-MitarbeiterInnen zu einem PDF
+kompiliert. Dokumentation zum Umgang mit dem dafür benötigten Docker-Image
+folgt.
diff --git a/docs/source/domainmodel.rst b/docs/source/domainmodel.rst
@@ -0,0 +1,8 @@
+.. _domainmodel:
+
+Domänenmodell
+=============
+
+Im Domänenmodell_ werden alle Domänenobjekte, ihre Relationen zueinander
+und, ob diese verpflichtend auszufüllen sind, dokumentiert.
+.. _Domänenmodell: https://github.com/dzhw/metadatamanagement/wiki/Domain-Model
diff --git a/docs/source/excel_templates.rst b/docs/source/excel_templates.rst
@@ -0,0 +1,110 @@
+.. _excel-tabellen-label:
+
+Excel-Tabellen
+~~~~~~~~~~~~~~
+
+Für die weiteren Ebenen können Sie bereits vorbereitete Excel-Tabellen
+verwenden, in denen verschiedene Metadaten spaltenweise erfasst werden.
+Diese Excel-Tabellen finden Sie im Vorlage-Ordner_ der jeweiligen Ebene
+(vgl. Kapitel 3.4). Welche Metadaten Sie an welcher Stelle in der
+Excel-Tabelle eintragen müssen, erkennen Sie an den bereits vorgegebenen
+Spaltenüberschriften in der ersten Zeile der Tabelle. Dort stehen die
+Bezeichnungen der jeweiligen Metadaten.
+
+.. _Vorlage-Ordner: https://github.com/dzhw/metadatamanagement-io/wiki/Vorlagen/Vorlagen_fuer_Datengeber.zip
+
+Die Suffixe „.de“ und „.en“ sind Teil vieler Spaltenüberschriften und
+weisen auf die Sprache des einzutragenden Metadatums hin.
+Ab der zweiten Zeile sind die Tabellenvorlagen leer. Dort können Sie Ihre
+Inhalte entsprechend der Spaltenüberschriften eintragen. Inhaltliche
+Hilfen hierfür finden Sie in den Erklärungen zu den einzelnen Ebenen.
+
+Bitte beachten Sie außerdem:
+
+-  Die Excel-Tabellen enthalten je nach Ebene unterschiedlich viele
+   Tabellenblätter, die Sie bearbeiten müssen.
+
+-  Die Anzahl der Spalten pro Tabellenblatt variiert, sodass ein
+   seitliches Scrollen oftmals notwendig ist.
+
+-  Es gibt Metadaten, die Sie ausfüllen *müssen*, und solche, die Sie
+   ausfüllen *können*. Die konkreten Ausfüllanweisungen finden Sie in
+   Kapitel 4.
+
+   **Kontrolliertes Vokabular**
+
+Für einige Metadaten gibt es ein sogenanntes „kontrolliertes Vokabular“,
+d.h. dort können nur bestimmte Inhalte in die Spalten eingetragen
+werden. In diesen Spalten wird Ihnen in jeder Zelle eine Auswahl der
+möglichen Antworten anhand eines Drop-Down-Menüs angeboten und Sie
+müssen diese nur auswählen.
+
+Häufig ist es der Fall, dass aus dem kontrollierten Vokabular einer
+bestimmten Zelle automatisch der Inhalt der nächsten Zelle folgt. Für
+dieses Szenario sind die Excel-Vorlagen_ vorbereitet, d. h. in den
+betreffenden Spalten sind über mehrere Zeilen bereits Formeln
+hinterlegt, die die nächste Zelle automatisch füllen und Ihnen viel
+Tipparbeit ersparen. Die Vorlagen sind für alle Fälle
+vorbereitet, so dass die Formeln auch in höher nummerierten Zeilen
+stehen werden, die Sie voraussichtlich nicht mehr benötigen (bis
+einschließlich Zeile 20 der Excel-Vorlage für die Ebenen Instrumente
+sowie Datensätze, bis einschließlich Zeile 2000 der Excel-Vorlage für
+die Fragen- und Variablenebene). Zum leichteren Erkennen sind die
+betreffenden Zeilen in den Vorlagen bereits grau hinterlegt.
+
+.. _Excel-Vorlagen: https://github.com/dzhw/metadatamanagement-io/wiki/Vorlagen/Vorlagen_fuer_Datengeber.zip
+
+Da Formeln in solchen Zellen, die nicht mit Inhalt befüllt sind,
+einen fehlerhaften Upload der Excel-Tabelle hervorrufen,
+müssen die überflüssigen Formeln aus den nicht benötigten Zeilen
+herausgelöscht werden. Dies können Sie erledigen, indem Sie die nicht
+benötigten der grau eingefärbten Zeilen bis einschließlich der Zeile 2000
+(für Fragen- und Variablenebene) markieren und über das Menü per
+„Blattzeilen löschen“ komplett entfernen (vgl. dazu analog zur ehemaligen
+Exceltabelle für die Datensatzebene -- mittlerweile gibt es dort nur noch
+Eingabemasken :numref:`nicht_benötigte_formel`).
+
+.. figure:: ./_static/11_de.png
+   :name: nicht_benötigte_formel
+
+   Beispiel für das Löschen nicht benötigter Formeln aus der Excel-Vorlage für
+   die Ebene *Datensätze*
+
+Templates
+~~~~~~~~~
+
+In dem `Template
+<https://github.com/dzhw/metadatamanagement-io/tree/master/datasetreport/template/>`_
+befinden sich die relevanten Exceldateien für DatengeberInnen.
+Dies ist nur noch relevant für questions/variables und für die related
+publications.
+
+Ausfüllhinweis: Die Excel-Interfaces enthalten teilweise Dropdownmenüs und
+Formeln als Hilfestellung. Alle Zeilen, die grau eingefärbt sind, enthalten
+diese Hilfestellungen. Der Datengeber kann einfach die Felder ausfüllen. Nach
+Fertigstellung der Dateien und vor Hochladen der Excel-Interfaces in das MDM
+müssen alle grauen Zeilen, die nicht genutzt werden gelöscht werden. Fertig!
+Vom FDZ-Team müssen im Anschluss noch folgende Punkte erledigt werden:
+
++--------------------------+---------------------------------------------------+
+| Felder                   | To Do                                             |
++==========================+===================================================+
+| Datenaufbereitungsfelder | bei Bedarf für externe Projekte löschen (z.B.     |
+|                          | varname_alt, Varlabel_alt)                        |
++--------------------------+---------------------------------------------------+
+| alle Felder              | nur einblenden, wenn Datengeber die Informationen |
+|                          | liefern (z.B. englische Felder,                   |
+|                          | GenerationDetails, …)                             |
++--------------------------+---------------------------------------------------+
+| Zugangswege              | - Spalte "accessWays" entfernen, diese wird im    |
+|                          |   Nachheinein vom FDZ auf Basis der               |
+|			   |   Zugangswegspalten ausgefüllt                    |
+|                          |                                                   |
+|			   | - entspr. Absprache zu Zugangswegen nur relevante |
+|			   |   Zugangsweg-Spalten drin lassen                  |
+|                          |                                                   |
+|			   | - wenn nur ein Zugangsweg -> alle                 |
+|            		   |   Zugangsweg-Spalten rauslassen                   |
++--------------------------+---------------------------------------------------+
+| accessWays               | raus                                              |
++--------------------------+---------------------------------------------------+