Merge pull request #6 from YunoHost-Apps/testing

Testing

README.md

@@ -15,7 +15,6 @@ If you don't have YunoHost, please consult [the guide](https://yunohost.org/#/in
 
 ## Overview
 
-**!! WORK IN PROGRESS !! - DO NOT INSTALL YET**
 
 ### Features
 
@@ -24,6 +23,7 @@ Integrate zwave-js-ui natively in Domoticz_ynh.
 **Zwave-JS-UI**, also known under previous name ZWaveJS2MQTT, is a replacement for Openzwave. It exposes Z-Wave devices to an MQTT broker in a fully configurable manner.
 
 To work correctly, this app require **domoticz** with **mqtt broker Mosquitto** installed. Please refer to [domoticz package for Yunohost](https://github.com/YunoHost-Apps/domoticz_ynh) for more information about how to set up domoticz and Mosquitto.
+You may also install both app separatly.
 
 This app may also be usable with [Home-Assistant package](https://github.com/YunoHost-Apps/homeassistant_ynh) but I never tested it.
 
@@ -32,11 +32,11 @@ This app may also be usable with [Home-Assistant package](https://github.com/Yun
 
 
 
-**!! WORK IN PROGRESS !! - DO NOT INSTALL YET**
 
-For now, although the package is fully functional (install, remove, backup, restore...), it is not yet integrated with domoticz and mosquitto package, this means that all settings needs to be done manually from inside the app.
+For now, although the package is fully functional (install, remove, backup, restore...), it is not integrated with domoticz and mosquitto package, this means that all settings needs to be done manually from inside the app.
 
 
+During install, the whole app need to be recompile using yarn, this lead to long installation time. Also, a temporary swap file will be created if less than 2Gb of memory (RAM+Swap) are available : Be sure to have enough space on disk.
 ## Documentation and resources
 
 * Official app website: <https://zwave-js.github.io/zwave-js-ui/#/>

README_fr.md

@@ -16,8 +16,6 @@ Si vous n'avez pas YunoHost, regardez [ici](https://yunohost.org/#/install) pour
 ## Vue d'ensemble
 
 
-**!! EN COURS DE CONSTRUCTION !! - NE PAS INSTALLER**
-
 ### Fonctionnalités
 
 Intègre zwave-js-ui dans domoticz_ynh de façon native.
@@ -25,6 +23,7 @@ Intègre zwave-js-ui dans domoticz_ynh de façon native.
 **Zwave-JS-UI**, aussi connu sous le nom de ZWaveJS2MQTT, est un remplaçant pour Openzwave. Il permet d'exposer les terminaux Z-Wave à un broker  MQTT de façon complètement configurable.
 
 Pour fonctionner correctement, cette application nécessite d'avoir **domoticz** avec le **broker MQTT mosquitto** d'également installés. Veuillez vous reporter au [paquet domoticz pour Yunohost](https://github.com/YunoHost-Apps/domoticz_ynh) afin d'obtenir plus d'information sur comment le faire.
+Vous pouvez également installer les deux applications séparément.
 
 Cette application fonctionne également peut-être avec [le paquet Home-Assistant](https://github.com/YunoHost-Apps/homeassistant_ynh) mais je ne l'ai jamais testée.
 
@@ -33,9 +32,10 @@ Cette application fonctionne également peut-être avec [le paquet Home-Assistan
 
 
 
-**!! EN COURS DE CONSTRUCTION !! - NE PAS INSTALLER**
 
-Pour l'instant, bien que le package fonctionne (installation, désinstallation, sauvegarde, restauration...), il n'est pas encore intégré avec domoticz et mosquitto, les paramétrages doivent être fait manuellement depuis l'application.
+Pour l'instant, bien que le package fonctionne (installation, désinstallation, sauvegarde, restauration...), il n'est pas intégré avec domoticz et mosquitto, les paramétrages doivent être fait manuellement depuis l'application.
+
+Pendant l'installation, la totalité de l'application doit être recompilé en utilisant yarn : cela amène à des temps d'installation très long. Un fichier de swap temporaire sera créé si moins de 2Go de mémoire sont disponibles (RAM + swap): Assurez vous d'avoir suffisament d'espace disque.
 ## Documentations et ressources
 
 * Site officiel de l'app : <https://zwave-js.github.io/zwave-js-ui/#/>

conf/systemd.service

@@ -19,11 +19,11 @@ StandardError=inherit
 # Details for these options: https://www.freedesktop.org/software/systemd/man/systemd.exec.html
 NoNewPrivileges=yes
 PrivateTmp=yes
-PrivateDevices=yes
+#PrivateDevices=yes
 RestrictAddressFamilies=AF_UNIX AF_INET AF_INET6
 RestrictNamespaces=yes
 RestrictRealtime=yes
-DevicePolicy=closed
+#DevicePolicy=closed
 ProtectSystem=full
 ProtectControlGroups=yes
 ProtectKernelModules=yes

doc/DESCRIPTION.md

@@ -1,4 +1,3 @@
-**!! WORK IN PROGRESS !! - DO NOT INSTALL YET**
 
 ### Features
 
@@ -7,5 +6,6 @@ Integrate zwave-js-ui natively in Domoticz_ynh.
 **Zwave-JS-UI**, also known under previous name ZWaveJS2MQTT, is a replacement for Openzwave. It exposes Z-Wave devices to an MQTT broker in a fully configurable manner.
 
 To work correctly, this app require **domoticz** with **mqtt broker Mosquitto** installed. Please refer to [domoticz package for Yunohost](https://github.com/YunoHost-Apps/domoticz_ynh) for more information about how to set up domoticz and Mosquitto.
+You may also install both app separatly.
 
 This app may also be usable with [Home-Assistant package](https://github.com/YunoHost-Apps/homeassistant_ynh) but I never tested it.

doc/DESCRIPTION_fr.md

@@ -1,6 +1,4 @@
 
-**!! EN COURS DE CONSTRUCTION !! - NE PAS INSTALLER**
-
 ### Fonctionnalités
 
 Intègre zwave-js-ui dans domoticz_ynh de façon native.
@@ -8,5 +6,6 @@ Intègre zwave-js-ui dans domoticz_ynh de façon native.
 **Zwave-JS-UI**, aussi connu sous le nom de ZWaveJS2MQTT, est un remplaçant pour Openzwave. Il permet d'exposer les terminaux Z-Wave à un broker  MQTT de façon complètement configurable.
 
 Pour fonctionner correctement, cette application nécessite d'avoir **domoticz** avec le **broker MQTT mosquitto** d'également installés. Veuillez vous reporter au [paquet domoticz pour Yunohost](https://github.com/YunoHost-Apps/domoticz_ynh) afin d'obtenir plus d'information sur comment le faire.
+Vous pouvez également installer les deux applications séparément.
 
 Cette application fonctionne également peut-être avec [le paquet Home-Assistant](https://github.com/YunoHost-Apps/homeassistant_ynh) mais je ne l'ai jamais testée.

doc/DISCLAIMER.md

@@ -1,6 +1,7 @@
 
 
-**!! WORK IN PROGRESS !! - DO NOT INSTALL YET**
 
-For now, although the package is fully functional (install, remove, backup, restore...), it is not yet integrated with domoticz and mosquitto package, this means that all settings needs to be done manually from inside the app.
+For now, although the package is fully functional (install, remove, backup, restore...), it is not integrated with domoticz and mosquitto package, this means that all settings needs to be done manually from inside the app.
 
+
+During install, the whole app need to be recompile using yarn, this lead to long installation time. Also, a temporary swap file will be created if less than 2Gb of memory (RAM+Swap) are available : Be sure to have enough space on disk.

doc/DISCLAIMER_fr.md

@@ -1,5 +1,6 @@
 
 
-**!! EN COURS DE CONSTRUCTION !! - NE PAS INSTALLER**
 
-Pour l'instant, bien que le package fonctionne (installation, désinstallation, sauvegarde, restauration...), il n'est pas encore intégré avec domoticz et mosquitto, les paramétrages doivent être fait manuellement depuis l'application.
+Pour l'instant, bien que le package fonctionne (installation, désinstallation, sauvegarde, restauration...), il n'est pas intégré avec domoticz et mosquitto, les paramétrages doivent être fait manuellement depuis l'application.
+
+Pendant l'installation, la totalité de l'application doit être recompilé en utilisant yarn : cela amène à des temps d'installation très long. Un fichier de swap temporaire sera créé si moins de 2Go de mémoire sont disponibles (RAM + swap): Assurez vous d'avoir suffisament d'espace disque.

scripts/_common.sh

@@ -3,7 +3,7 @@
 #=================================================
 # COMMON VARIABLES
 #=================================================
-# dependencies used by the app (must be on a single line)
+MEMORY_NEEDED="2048"
 NODEJS_VERSION=18
 
 #=================================================
@@ -14,6 +14,99 @@ NODEJS_VERSION=18
 # EXPERIMENTAL HELPERS
 #=================================================
 
+# Add swap
+#
+# usage: ynh_add_swap --size=SWAP in Mb
+# | arg: -s, --size= - Amount of SWAP to add in Mb.
+ynh_add_swap () {
+	# Declare an array to define the options of this helper.
+	declare -Ar args_array=( [s]=size= )
+	local size
+	# Manage arguments with getopts
+	ynh_handle_getopts_args "$@"
+
+	local swap_max_size=$(( $size * 1024 ))
+
+	local free_space=$(df --output=avail / | sed 1d)
+	# Because we don't want to fill the disk with a swap file, divide by 2 the available space.
+	local usable_space=$(( $free_space / 2 ))
+
+ 	SD_CARD_CAN_SWAP=${SD_CARD_CAN_SWAP:-0}
+
+	# Swap on SD card only if it's is specified
+	if ynh_is_main_device_a_sd_card && [ "$SD_CARD_CAN_SWAP" == "0" ]
+	then
+		ynh_print_warn --message="The main mountpoint of your system '/' is on an SD card, swap will not be added to prevent some damage of this one, but that can cause troubles for the app $app. If you still want activate the swap, you can relaunch the command preceded by 'SD_CARD_CAN_SWAP=1'"
+		return
+	fi
+
+	# Compare the available space with the size of the swap.
+	# And set a acceptable size from the request
+	if [ $usable_space -ge $swap_max_size ]
+	then
+		local swap_size=$swap_max_size
+	elif [ $usable_space -ge $(( $swap_max_size / 2 )) ]
+	then
+		local swap_size=$(( $swap_max_size / 2 ))
+	elif [ $usable_space -ge $(( $swap_max_size / 3 )) ]
+	then
+		local swap_size=$(( $swap_max_size / 3 ))
+	elif [ $usable_space -ge $(( $swap_max_size / 4 )) ]
+	then
+		local swap_size=$(( $swap_max_size / 4 ))
+	else
+		echo "Not enough space left for a swap file" >&2
+		local swap_size=0
+	fi
+
+	# If there's enough space for a swap, and no existing swap here
+	if [ $swap_size -ne 0 ] && [ ! -e /swap_$app ]
+	then
+		# Preallocate space for the swap file, fallocate may sometime not be used, use dd instead in this case
+		if ! fallocate -l ${swap_size}K /swap_$app
+		then
+			dd if=/dev/zero of=/swap_$app bs=1024 count=${swap_size}
+		fi
+		chmod 0600 /swap_$app
+		# Create the swap
+		mkswap /swap_$app
+		# And activate it
+		swapon /swap_$app
+		# Then add an entry in fstab to load this swap at each boot.
+		echo -e "/swap_$app swap swap defaults 0 0 #Swap added by $app" >> /etc/fstab
+	fi
+}
+
+ynh_del_swap () {
+	# If there a swap at this place
+	if [ -e /swap_$app ]
+	then
+		# Clean the fstab
+		sed -i "/#Swap added by $app/d" /etc/fstab
+		# Desactive the swap file
+		swapoff /swap_$app
+		# And remove it
+		rm /swap_$app
+	fi
+}
+
+# Check if the device of the main mountpoint "/" is an SD card
+#
+# [internal]
+#
+# return 0 if it's an SD card, else 1
+ynh_is_main_device_a_sd_card () {
+	local main_device=$(lsblk --output PKNAME --noheadings $(findmnt / --nofsroot --uniq --output source --noheadings --first-only))
+
+	if echo $main_device | grep --quiet "mmc" && [ $(tail -n1 /sys/block/$main_device/queue/rotational) == "0" ]
+	then
+		return 0
+	e
+lse
+		return 1
+	fi
+}
+
 #=================================================
 # FUTURE OFFICIAL HELPERS
 #=================================================

scripts/install

@@ -48,6 +48,24 @@ ynh_script_progression --message="Storing installation settings..." --weight=1
 ynh_app_setting_set --app=$app --key=domain --value=$domain
 ynh_app_setting_set --app=$app --key=path --value=$path_url
 
+#=================================================
+# ADD SWAP IF NEEDED
+#=================================================
+#https://github.com/zwave-js/zwave-js-ui/issues/2699
+ynh_script_progression --message="Adding swap if needed for compiling..."
+
+total_memory=$(ynh_get_ram --total)
+swap_needed=0
+
+if [ $total_memory -lt $MEMORY_NEEDED ]; then
+	# Need a minimum of 2Go of memory
+	swap_needed=$(($MEMORY_NEEDED - $total_memory))
+	ynh_script_progression --message="Adding $swap_needed Mo to swap..."
+	SD_CARD_CAN_SWAP=1
+	ynh_add_swap --size=$swap_needed
+
+fi
+
 #=================================================
 # STANDARD MODIFICATIONS
 #=================================================
@@ -67,6 +85,16 @@ ynh_script_progression --message="Configuring system user..." --weight=1
 # Create a system user
 ynh_system_user_create --username=$app --home_dir="$final_path"
 
+if grep dialout -q < /etc/group; then
+	usermod -a -G dialout "$app"
+fi
+if grep i2c -q < /etc/group; then
+	usermod -a -G i2c "$app"
+fi
+if grep gpio -q < /etc/group; then
+	usermod -a -G gpio "$app"
+fi
+
 
 #=================================================
 # INSTALL EXTRA DEPENDENCIES
@@ -97,11 +125,19 @@ ynh_script_progression --message="Building from sources..." --weight=1
 
 pushd "$final_path"
 	ynh_script_progression --message="Fetching Yarn dependencies... This can be very long, be patient !" --weight=40
-	ynh_exec_warn_less ynh_exec_as $app env $ynh_node_load_PATH yarn install
+	ynh_exec_warn_less ynh_exec_as $app env $ynh_node_load_PATH yarn plugin import workspace-tools
+	ynh_exec_warn_less ynh_exec_as $app env $ynh_node_load_PATH yarn workspaces focus --production
+	ynh_exec_warn_less ynh_exec_as $app env $ynh_node_load_PATH yarn install --network-timeout 1000000000
+	#On slow/low memory system, yarn silently fails with a 0 return code and nothing seems to be doable about that so far.
+	#relaunching yarn install seems to do the trick for raspberry at least as it resumes from where it fails
+	#https://github.com/yarnpkg/berry/issues/3996
+	#https://github.com/yarnpkg/berry/issues/5065
+	ynh_exec_warn_less ynh_exec_as $app env $ynh_node_load_PATH yarn install --network-timeout 1000000000
 	ynh_script_progression --message="Cleaning cache... " --weight=3
 	ynh_exec_warn_less ynh_exec_as $app env $ynh_node_load_PATH yarn cache clean 2>&1
 	ynh_script_progression --message="Building Yarn dependencies... This can be very long, be patient !" --weight=30
-	ynh_exec_warn_less ynh_exec_as $app env $ynh_node_load_PATH yarn run build
+	#https://geeklearning.io/angular-aot-webpack-memory-trick/
+	ynh_exec_warn_less ynh_exec_as $app env $ynh_node_load_PATH NODE_OPTIONS=--max-old-space-size=2048 yarn run build
 	ynh_script_progression --message="Cleaning cache... " --weight=3
 	ynh_exec_warn_less ynh_exec_as $app env $ynh_node_load_PATH yarn cache clean 2>&1
 popd
@@ -111,7 +147,14 @@ chmod -R o-rwx "$final_path"
 chown -R $app: "$final_path"
 
 
+#=================================================
+# REMOVE ADDITIONNAL SWAP
+#=================================================
+ynh_script_progression --message="Remove additionnal swap..." --weight=2
 
+if [ $swap_needed > 0 ]; then
+	ynh_del_swap
+fi
 #=================================================
 # NGINX CONFIGURATION
 #=================================================

scripts/remove

@@ -64,6 +64,16 @@ ynh_script_progression --message="Removing app main directory..." --weight=1
 # Remove the app directory securely
 ynh_secure_remove --file="$final_path"
 
+
+#=================================================
+# REMOVE ADDITIONNAL SWAP
+#=================================================
+#In case install or upgrade went wrong, remove script is launched, so we need to ensure additional swap is deleted
+if [ -e /swap_$app ]; then
+	ynh_script_progression --message="Remove additionnal swap..." --weight=2
+	ynh_del_swap
+fi
+
 #=================================================
 # REMOVE NGINX CONFIGURATION
 #=================================================

scripts/restore

@@ -50,6 +50,16 @@ ynh_script_progression --message="Recreating the dedicated system user..." --wei
 # Create the dedicated user (if not existing)
 ynh_system_user_create --username=$app --home_dir="$final_path"
 
+if grep dialout -q < /etc/group; then
+	usermod -a -G dialout "$app"
+fi
+if grep i2c -q < /etc/group; then
+	usermod -a -G i2c "$app"
+fi
+if grep gpio -q < /etc/group; then
+	usermod -a -G gpio "$app"
+fi
+
 #=================================================
 # INSTALL EXTRA DEPENDENCIES
 #=================================================

scripts/upgrade

@@ -55,7 +55,22 @@ ynh_systemd_action --service_name=$app --action="stop" --log_path="/var/log/$app
 #=================================================
 #ynh_script_progression --message="Ensuring downward compatibility..." --weight=1
 
-#
+#=================================================
+# ADD SWAP IF NEEDED
+#=================================================
+#https://github.com/zwave-js/zwave-js-ui/issues/2699
+ynh_script_progression --message="Adding swap if needed for compiling..."
+
+total_memory=$(ynh_get_ram --total)
+swap_needed=0
+
+if [ $total_memory -lt $MEMORY_NEEDED ]; then
+	# Need a minimum of 2Go of memory
+	swap_needed=$(($MEMORY_NEEDED - $total_memory))
+	ynh_script_progression --message="Adding $swap_needed Mo to swap..."
+	SD_CARD_CAN_SWAP=1
+	ynh_add_swap --size=$swap_needed
+fi
 
 #=================================================
 # CREATE DEDICATED USER
@@ -65,6 +80,16 @@ ynh_script_progression --message="Making sure dedicated system user exists..." -
 # Create a dedicated user (if not existing)
 ynh_system_user_create --username=$app --home_dir="$final_path"
 
+if grep dialout -q < /etc/group; then
+	usermod -a -G dialout "$app"
+fi
+if grep i2c -q < /etc/group; then
+	usermod -a -G i2c "$app"
+fi
+if grep gpio -q < /etc/group; then
+	usermod -a -G gpio "$app"
+fi
+
 #=================================================
 # UPGRADE DEPENDENCIES
 #=================================================
@@ -92,11 +117,19 @@ then
 	ynh_script_progression --message="Building from sources..." --weight=15
 	pushd "$final_path"
 		ynh_script_progression --message="Fetching Yarn dependencies... This can be very long, be patient !" --weight=18
-		ynh_exec_warn_less ynh_exec_as $app env $ynh_node_load_PATH yarn install
+		ynh_exec_warn_less ynh_exec_as $app env $ynh_node_load_PATH yarn plugin import workspace-tools
+		ynh_exec_warn_less ynh_exec_as $app env $ynh_node_load_PATH yarn workspaces focus --production
+		ynh_exec_warn_less ynh_exec_as $app env $ynh_node_load_PATH yarn install --network-timeout 1000000000
+		#On slow/low memory system, yarn silently fails with a 0 return code and nothing seems to be doable about that so far.
+		#relaunching yarn install seems to do the trick for raspberry at least as it resumes from where it fails
+		#https://github.com/yarnpkg/berry/issues/3996
+		#https://github.com/yarnpkg/berry/issues/5065
+		ynh_exec_warn_less ynh_exec_as $app env $ynh_node_load_PATH yarn install --network-timeout 1000000000
 		ynh_script_progression --message="Cleaning cache... " --weight=3
 		ynh_exec_warn_less ynh_exec_as $app env $ynh_node_load_PATH yarn cache clean 2>&1
 		ynh_script_progression --message="Building Yarn dependencies... This can be very long, be patient !" --weight=18
-		ynh_exec_warn_less ynh_exec_as $app env $ynh_node_load_PATH yarn run build
+		#https://geeklearning.io/angular-aot-webpack-memory-trick/
+		ynh_exec_warn_less ynh_exec_as $app env $ynh_node_load_PATH NODE_OPTIONS=--max-old-space-size=2048 yarn run build
 		ynh_script_progression --message="Cleaning cache... " --weight=3
 		ynh_exec_warn_less ynh_exec_as $app env $ynh_node_load_PATH yarn cache clean 2>&1
 	popd
@@ -107,6 +140,16 @@ then
 
 fi
 
+#=================================================
+# REMOVE ADDITIONNAL SWAP
+#=================================================
+ynh_script_progression --message="Remove additionnal swap..." --weight=2
+
+if [ $swap_needed > 0 ]; then
+	ynh_del_swap
+fi
+
+
 #=================================================
 # NGINX CONFIGURATION
 #=================================================