Merge branch 'dev' into bullseye

2024-09-03 20:06:10 +02:00 · 2022-01-11 16:10:51 +01:00 · 2022-01-11 16:10:51 +01:00 · 04a92e547d
commit 04a92e547d
parent 6315166749 23d58c1217
12 changed files with 100 additions and 38 deletions
--- a/.codeclimate.yml
+++ b/.codeclimate.yml
@ -0,0 +1,24 @@
+---
+version: "2"
+plugins:
+  duplication:
+    enabled: true
+    config:
+      languages:
+        python:
+          python_version: 3
+  shellcheck:
+    enabled: true
+  pep8:
+    enabled: true
+  fixme:
+    enabled: true
+  sonar-python:
+    enabled: true
+    config:
+      tests_patterns:
+        - bin/*
+        - data/**
+        - doc/*
+        - src/**
+        - tests/**
--- a/.gitlab-ci.yml
+++ b/.gitlab-ci.yml
@ -2,7 +2,7 @@
 stages:
  - build
  - install
-  - tests
+  - test
  - lint
  - doc
  - translation
@ -13,6 +13,17 @@ default:
  # All jobs are interruptible by default
  interruptible: true

+code_quality:
+  tags:
+    - docker
+
+code_quality_html:
+  extends: code_quality
+  variables:
+    REPORT_FORMAT: html
+  artifacts:
+    paths: [gl-code-quality-report.html]
+
 # see: https://docs.gitlab.com/ee/ci/yaml/#switch-between-branch-pipelines-and-merge-request-pipelines
 workflow:
  rules:
@ -29,4 +40,5 @@ variables:
  YNH_BUILD_DIR: "ynh-build"

 include:
+  - template: Code-Quality.gitlab-ci.yml
  - local: .gitlab/ci/*.gitlab-ci.yml
--- a/.gitlab/ci/test.gitlab-ci.yml
+++ b/.gitlab/ci/test.gitlab-ci.yml
@ -4,7 +4,7 @@
    - pip3 install -U mock pip pytest pytest-cov pytest-mock pytest-sugar requests-mock tox ansi2html black jinja2

 .test-stage:
-  stage: tests
+  stage: test
  image: "after-install"
  variables:
    PYTEST_ADDOPTS: "--color=yes"
@ -28,7 +28,7 @@
 ########################################

 full-tests:
-  stage: tests
+  stage: test
  image: "before-install"
  variables:
    PYTEST_ADDOPTS: "--color=yes"
--- a/helpers/apt
+++ b/helpers/apt
@ -394,6 +394,12 @@ ynh_install_extra_app_dependencies() {
    # Install requested dependencies from this extra repository.
    ynh_install_app_dependencies "$package"

+    # Force to upgrade to the last version...
+    # Without doing apt install, an already installed dep is not upgraded
+    local apps_auto_installed="$(apt-mark showauto $package)"
+    ynh_package_install "$package"
+    apt-mark auto $apps_auto_installed
+
    # Remove this extra repository after packages are installed
    ynh_remove_extra_repo --name=$app
 }
--- a/hooks/conf_regen/10-apt
+++ b/hooks/conf_regen/10-apt
@ -12,6 +12,11 @@ do_pre_regen() {
    echo "deb https://packages.sury.org/php/ $(lsb_release --codename --short) main" > "${pending_dir}/etc/apt/sources.list.d/extra_php_version.list"

    # Ban some packages from sury
+    echo "
+Package: php-common
+Pin: origin \"packages.sury.org\"
+Pin-Priority: 500" >>"${pending_dir}/etc/apt/preferences.d/extra_php_version"
+
    packages_to_refuse_from_sury="php php-* openssl libssl1.1 libssl-dev"
    for package in $packages_to_refuse_from_sury; do
        echo "
@ -21,12 +26,6 @@ Pin-Priority: -1" >>"${pending_dir}/etc/apt/preferences.d/extra_php_version"
    done

    echo "
-Package: php-common
-Pin: origin \"packages.sury.org\"
-Pin-Priority: 500" >>"${pending_dir}/etc/apt/preferences.d/extra_php_version"
-
-    # Ban some packages that users may inadvertendly try to install such as apache2 ...
-    echo "

 # PLEASE READ THIS WARNING AND DON'T EDIT THIS FILE

--- a/locales/de.json
+++ b/locales/de.json
@ -285,7 +285,7 @@
    "diagnosis_no_cache": "Kein Diagnose Cache aktuell für die Kategorie '{category}'",
    "diagnosis_ip_no_ipv4": "Der Server hat kein funktionierendes IPv4.",
    "diagnosis_ip_connected_ipv6": "Der Server ist mit dem Internet über IPv6 verbunden!",
-    "diagnosis_ip_no_ipv6": "Der Server hat kein funktionierendes IPv6.",
+    "diagnosis_ip_no_ipv6": "Der Server verfügt nicht über eine funktionierende IPv6-Adresse.",
    "diagnosis_ip_not_connected_at_all": "Der Server scheint überhaupt nicht mit dem Internet verbunden zu sein!?",
    "diagnosis_failed_for_category": "Diagnose fehlgeschlagen für die Kategorie '{category}': {error}",
    "diagnosis_cache_still_valid": "(Cache noch gültig für {category} Diagnose. Es wird keine neue Diagnose durchgeführt!)",
@ -315,10 +315,10 @@
    "diagnosis_domain_not_found_details": "Die Domäne {domain} existiert nicht in der WHOIS-Datenbank oder sie ist abgelaufen!",
    "diagnosis_domain_expiration_not_found": "Das Ablaufdatum einiger Domains kann nicht überprüft werden",
    "diagnosis_dns_try_dyndns_update_force": "Die DNS-Konfiguration dieser Domäne sollte automatisch von YunoHost verwaltet werden. Andernfalls könntest Du mittels <cmd>yunohost dyndns update --force</cmd> ein Update erzwingen.",
-    "diagnosis_dns_point_to_doc": "Bitte schaue in die Dokumentation unter <a href='https://yunohost.org/dns_config'>https://yunohost.org/dns_config</a>  wenn du hilfe bei der Konfiguration der DNS Einträge brauchst.",
+    "diagnosis_dns_point_to_doc": "Bitte schauen Sie in der Dokumentation unter <a href='https://yunohost.org/dns_config'>https://yunohost.org/dns_config</a> nach, wenn Sie Hilfe bei der Konfiguration der DNS-Einträge brauchen.",
    "diagnosis_dns_discrepancy": "Der folgende DNS Eintrag scheint nicht den empfohlenen Einstellungen zu entsprechen:<br>Typ: <code>{type}</code><br>Name: <code>{name}</code><br>Aktueller Wert: <code>{current}</code><br>Erwarteter Wert: <code>{value}</code>",
    "diagnosis_dns_missing_record": "Gemäß der empfohlenen DNS-Konfiguration sollten Sie einen DNS-Eintrag mit den folgenden Informationen hinzufügen.<br>Typ: <code>{type}</code><br>Name: <code>{name}</code><br>Wert: <code>{value}</code>",
-    "diagnosis_dns_bad_conf": "Einige DNS Einträge für die Domäne {domain} fehlen oder sind nicht korrekt (Kategorie {category})",
+    "diagnosis_dns_bad_conf": "Einige DNS-Einträge für die Domäne {domain} fehlen oder sind nicht korrekt (Kategorie {category})",
    "diagnosis_ip_local": "Lokale IP: <code>{local}</code>",
    "diagnosis_ip_global": "Globale IP: <code>{global}</code>",
    "diagnosis_ip_no_ipv6_tip": "Die Verwendung von IPv6 ist nicht Voraussetzung für das Funktionieren Ihres Servers, trägt aber zur Gesundheit des Internet als Ganzes bei. IPv6 sollte normalerweise automatisch von Ihrem Server oder Ihrem Provider konfiguriert werden, sofern verfügbar. Andernfalls müßen Sie einige Dinge manuell konfigurieren. Weitere Informationen finden Sie hier:  <a href='https://yunohost.org/#/ipv6'>https://yunohost.org/#/ipv6</a>. Wenn Sie IPv6 nicht aktivieren können oder Ihnen das zu technisch ist, können Sie diese Warnung gefahrlos ignorieren.",
@ -560,7 +560,7 @@
    "service_description_dovecot": "Ermöglicht es E-Mail-Clients auf Konten zuzugreifen (IMAP und POP3)",
    "service_description_dnsmasq": "Verarbeitet die Auflösung des Domainnamens (DNS)",
    "restore_backup_too_old": "Dieses Backup kann nicht wieder hergestellt werden, weil es von einer zu alten YunoHost Version stammt.",
-    "service_description_slapd": "Speichert Benutzer:innen, Domains und verbundene Informationen",
+    "service_description_slapd": "Speichert Benutzer:innen, Domänen und verbundene Informationen",
    "service_description_rspamd": "Spamfilter und andere E-Mail-Merkmale",
    "service_description_redis-server": "Eine spezialisierte Datenbank für den schnellen Datenzugriff, die Aufgabenwarteschlange und die Kommunikation zwischen Programmen",
    "service_description_postfix": "Wird benutzt, um E-Mails zu senden und zu empfangen",
--- a/locales/es.json
+++ b/locales/es.json
@ -599,5 +599,9 @@
    "diagnosis_apps_bad_quality": "Esta aplicación está etiquetada como defectuosa en el catálogo de aplicaciones YunoHost. Podría ser un problema temporal mientras las personas responsables corrigen el asunto. Mientras tanto, la actualización de esta aplicación está desactivada.",
    "diagnosis_apps_broken": "Esta aplicación está etiquetada como defectuosa en el catálogo de aplicaciones YunoHost. Podría ser un problema temporal mientras las personas responsables corrigen el asunto. Mientras tanto, la actualización de esta aplicación está desactivada.",
    "diagnosis_apps_deprecated_practices": "La versión instalada de esta aplicación usa aún prácticas de empaquetado obsoletas. Deberías actualizarla.",
-    "diagnosis_apps_outdated_ynh_requirement": "La versión instalada de esta aplicación solo necesita YunoHost >= 2.x, lo que indica que no está al día con la buena praxis de ayudas y empaquetado recomendadas. Deberías actualizarla."
+    "diagnosis_apps_outdated_ynh_requirement": "La versión instalada de esta aplicación solo necesita YunoHost >= 2.x, lo que indica que no está al día con la buena praxis de ayudas y empaquetado recomendadas. Deberías actualizarla.",
+    "domain_dns_conf_special_use_tld": "Este dominio se basa en un dominio de primer nivel (TLD) de usos especiales como .local o .test y no debería tener entradas DNS reales.",
+    "diagnosis_sshd_config_insecure": "Parece que la configuración SSH ha sido modificada manualmente, y es insegura porque no tiene ninguna instrucción 'AllowGroups' o 'AllowUsers' para limitar el acceso a los usuarios autorizados.",
+    "domain_dns_push_not_applicable": "La configuración automática de los registros DNS no puede realizarse en el dominio {domain}. Deberìas configurar manualmente los registros DNS siguiendo la <a href='https://yunohost.org/dns'>documentación</a>.",
+    "domain_dns_push_managed_in_parent_domain": "La configuración automática de los registros DNS es administrada desde el dominio superior {parent_domain}."
 }
--- a/locales/fr.json
+++ b/locales/fr.json
@ -480,7 +480,7 @@
    "diagnosis_ports_forwarding_tip": "Pour résoudre ce problème, vous devez probablement configurer la redirection de port sur votre routeur Internet comme décrit dans <a href='https://yunohost.org/isp_box_config'>https://yunohost.org/isp_box_config</a>",
    "diagnosis_http_connection_error": "Erreur de connexion : impossible de se connecter au domaine demandé, il est probablement injoignable.",
    "diagnosis_no_cache": "Pas encore de cache de diagnostique pour la catégorie '{category}'",
-    "yunohost_postinstall_end_tip": "La post-installation terminée ! Pour finaliser votre configuration, il est recommandé de :\n- ajouter un premier utilisateur depuis la section \"Utilisateurs\" de l'interface web (ou 'yunohost user create <nom d'utilisateur>' en ligne de commande) ;\n- diagnostiquer les potentiels problèmes dans la section \"Diagnostic\" de l'interface web (ou 'yunohost diagnosis run' en ligne de commande) ;\n- lire les parties 'Finalisation de votre configuration' et 'Découverte de YunoHost' dans le guide de l'administrateur : https://yunohost.org/admindoc.",
+    "yunohost_postinstall_end_tip": "La post-installation est terminée ! Pour finaliser votre configuration, il est recommandé de :\n- ajouter un premier utilisateur depuis la section \"Utilisateurs\" de l'interface web (ou 'yunohost user create <nom d'utilisateur>' en ligne de commande) ;\n- diagnostiquer les potentiels problèmes dans la section \"Diagnostic\" de l'interface web (ou 'yunohost diagnosis run' en ligne de commande) ;\n- lire les parties 'Finalisation de votre configuration' et 'Découverte de YunoHost' dans le guide de l'administrateur : https://yunohost.org/admindoc.",
    "diagnosis_services_bad_status_tip": "Vous pouvez essayer de <a href='#/services/{service}'>redémarrer le service</a>, et si cela ne fonctionne pas, consultez <a href='#/services/{service}'>les journaux de service dans le webadmin</a> (à partir de la ligne de commande, vous pouvez le faire avec <cmd>yunohost service restart {service}</cmd> et <cmd>yunohost service log {service}</cmd> ).",
    "diagnosis_http_bad_status_code": "Le système de diagnostique n'a pas réussi à contacter votre serveur. Il se peut qu'une autre machine réponde à la place de votre serveur. Vérifiez que le port 80 est correctement redirigé, que votre configuration Nginx est à jour et qu'un reverse-proxy n'interfère pas.",
    "diagnosis_http_timeout": "Expiration du délai en essayant de contacter votre serveur de l'extérieur. Il semble être inaccessible. Vérifiez que vous transférez correctement le port 80, que Nginx est en cours d'exécution et qu'un pare-feu n'interfère pas.",
@ -580,7 +580,7 @@
    "diagnosis_rootfstotalspace_critical": "Le système de fichiers racine ne fait que {space} ! Vous allez certainement le remplir très rapidement ! Il est recommandé d'avoir au moins 16 GB pour ce système de fichiers.",
    "diagnosis_rootfstotalspace_warning": "Le système de fichiers racine n'est que de {space}. Cela peut suffire, mais faites attention car vous risquez de les remplir rapidement... Il est recommandé d'avoir au moins 16 GB pour ce système de fichiers.",
    "app_restore_script_failed": "Une erreur s'est produite dans le script de restauration de l'application",
-    "restore_backup_too_old": "Cette sauvegarde ne peut pas être restaurée car elle provient d'une version trop ancienne de YunoHost.",
+    "restore_backup_too_old": "Cette sauvegarde ne peut pas être restaurée car elle provient d'une version de YunoHost trop ancienne.",
    "log_backup_create": "Créer une archive de sauvegarde",
    "global_settings_setting_ssowat_panel_overlay_enabled": "Activer la superposition de la vignette SSOwat",
    "migration_ldap_rollback_success": "Système rétabli dans son état initial.",
@ -684,5 +684,6 @@
    "migration_0021_cleaning_up": "Nettoyage du cache et des paquets qui ne sont plus nécessaires...",
    "migration_0021_patch_yunohost_conflicts": "Application du correctif pour contourner le problème de conflit...",
    "migration_0021_not_buster": "La distribution Debian actuelle n'est pas Buster !",
-    "migration_description_0021_migrate_to_bullseye": "Mise à niveau du système vers Debian Bullseye et YunoHost 11.x"
+    "migration_description_0021_migrate_to_bullseye": "Mise à niveau du système vers Debian Bullseye et YunoHost 11.x",
+    "global_settings_setting_security_ssh_password_authentication": "Autoriser l'authentification par mot de passe pour SSH"
 }
--- a/locales/gl.json
+++ b/locales/gl.json
@ -684,5 +684,6 @@
    "migration_0021_patch_yunohost_conflicts": "Solucionando os problemas e conflitos...",
    "migration_description_0021_migrate_to_bullseye": "Actualizar o sistema a Debian Bullseye e YunoHost 11.x",
    "migration_0021_system_not_fully_up_to_date": "O teu sistema non está completamente actualizado. Fai unha actualización normal antes de executar a migración a Bullseye.",
-    "migration_0021_general_warning": "Ten en conta que a migración é unha operación delicada. O equipo de YunoHost fixo todo o que puido para revisalo e probalo, pero aínda así poderían acontecer fallos no sistema ou apps.\n\nAsí as cousas, é recomendable:\n   - Facer unha copia de apoio dos datos e apps importantes. Máis info en https://yunohost.org/backup;\n   - Ter paciencia unha vez inicias a migración: dependendo da túa conexión a internet e hardware, podería levarlle varias horas completar o proceso."
+    "migration_0021_general_warning": "Ten en conta que a migración é unha operación delicada. O equipo de YunoHost fixo todo o que puido para revisalo e probalo, pero aínda así poderían acontecer fallos no sistema ou apps.\n\nAsí as cousas, é recomendable:\n   - Facer unha copia de apoio dos datos e apps importantes. Máis info en https://yunohost.org/backup;\n   - Ter paciencia unha vez inicias a migración: dependendo da túa conexión a internet e hardware, podería levarlle varias horas completar o proceso.",
+    "global_settings_setting_security_ssh_password_authentication": "Permitir autenticación con contrasinal para SSH"
 }
--- a/locales/uk.json
+++ b/locales/uk.json
@ -684,5 +684,6 @@
    "migration_0021_not_enough_free_space": "Вільного місця в /var/ досить мало! У вас повинно бути не менше 1 ГБ вільного місця, щоб запустити цю міграцію.",
    "migration_0021_system_not_fully_up_to_date": "Ваша система не повністю оновлена. Будь ласка, виконайте регулярне оновлення перед запуском міграції на Bullseye.",
    "migration_0021_general_warning": "Будь ласка, зверніть увагу, що ця міграція є делікатною операцією. Команда YunoHost зробила все можливе, щоб перевірити і протестувати її, але міграція все ще може порушити частину системи або її застосунків.\n\nТому рекомендовано:\n - Виконати резервне копіювання всіх важливих даних або застосунків. Подробиці на сайті https://yunohost.org/backup; \n - Наберіться терпіння після запуску міграції: В залежності від вашого з'єднання з Інтернетом і апаратного забезпечення, оновлення може зайняти до декількох годин.",
-    "migration_description_0021_migrate_to_bullseye": "Оновлення системи до Debian Bullseye і YunoHost 11.x"
+    "migration_description_0021_migrate_to_bullseye": "Оновлення системи до Debian Bullseye і YunoHost 11.x",
+    "global_settings_setting_security_ssh_password_authentication": "Дозволити автентифікацію паролем для SSH"
 }
--- a/src/migrations/0021_migrate_to_bullseye.py
+++ b/src/migrations/0021_migrate_to_bullseye.py
@ -7,7 +7,12 @@ from moulinette.utils.log import getActionLogger
 from moulinette.utils.process import check_output, call_async_output
 from moulinette.utils.filesystem import read_file, rm

-from yunohost.tools import Migration, tools_update, tools_upgrade, _apt_log_line_is_relevant
+from yunohost.tools import (
+    Migration,
+    tools_update,
+    tools_upgrade,
+    _apt_log_line_is_relevant,
+)
 from yunohost.app import unstable_apps
 from yunohost.regenconf import manually_modified_files, _force_clear_hashes
 from yunohost.utils.filesystem import free_space_in_directory
@ -182,14 +187,16 @@ class MyMigration(Migration):
            "zip",
        ]

-        cmd = "apt show '*-ynh-deps' 2>/dev/null" \
-              "  | grep Depends" \
-              f" | grep -o -E \"php7.3-({'|'.join(php73packages_suffixes)})\"" \
-              "  | sort | uniq" \
-              "  | sed 's/php7.3/php7.4/g'" \
+        cmd = (
+            "apt show '*-ynh-deps' 2>/dev/null"
+            "  | grep Depends"
+            f" | grep -o -E \"php7.3-({'|'.join(php73packages_suffixes)})\""
+            "  | sort | uniq"
+            "  | sed 's/php7.3/php7.4/g'"
            "  || true"
+        )

-        php74packages_to_install = [
+        basephp74packages_to_install = [
            "php7.4-fpm",
            "php7.4-common",
            "php7.4-ldap",
@ -200,7 +207,7 @@ class MyMigration(Migration):
            "php-php-gettext",
        ]

-        php74packages_to_install += [
+        php74packages_to_install = basephp74packages_to_install + [
            f.strip() for f in check_output(cmd).split("\n") if f.strip()
        ]

@ -211,7 +218,11 @@ class MyMigration(Migration):
        )
        if ret != 0:
            # FIXME: i18n once this is stable?
-            raise YunohostError("Failed to force the install of php dependencies ?", raw_msg=True)
+            raise YunohostError(
+                "Failed to force the install of php dependencies ?", raw_msg=True
+            )
+
+        os.system(f"apt-mark auto {' '.join(basephp74packages_to_install)}")

        # Clean the mess
        logger.info(m18n.n("migration_0021_cleaning_up"))
@ -230,12 +241,15 @@ class MyMigration(Migration):
        cmd += " APT_LISTCHANGES_FRONTEND=none"
        cmd += " apt dist-upgrade "
        cmd += " --quiet -o=Dpkg::Use-Pty=0 --fix-broken --dry-run"
-        cmd += " | grep -q '-ynh-deps'"
+        cmd += " | grep -q 'ynh-deps'"

        logger.info("Simulating upgrade...")
        if os.system(cmd) == 0:
            # FIXME: i18n once this is stable?
-            raise YunohostError("The upgrade cannot be completed, because some app dependencies would need to be removed?", raw_msg=True)
+            raise YunohostError(
+                "The upgrade cannot be completed, because some app dependencies would need to be removed?",
+                raw_msg=True,
+            )

        tools_upgrade(target="system")

@ -359,11 +373,11 @@ class MyMigration(Migration):

    def hold(self, packages):
        for package in packages:
-            os.system("apt-mark hold {}".format(package))
+            os.system(f"apt-mark hold {package}")

    def unhold(self, packages):
        for package in packages:
-            os.system("apt-mark unhold {}".format(package))
+            os.system(f"apt-mark unhold {package}")

    def apt_install(self, cmd):
        def is_relevant(line):