Cloud storage

 Cloud storages :

* https://teledriveapp.com

 Use with rclone

https://rclone.org/

Linux cleaning tips (systemd, apt/ubuntu, docker)

 (evolutive article where I store what's been useful to me to clean space on linux servers I'm using)

Note : my current servers are running Ubuntu.

OS / SystemD : purge logs bigger than ...

Only keep 10M of each log files handle through syslog

sudo journalctl --vacuum-size 10M

OS / apt : remove remnants

Remove automatically all unused packages Remove automatically installed packages not needed anymore (i.e. packages that were installed as dependencies of packages that have now been removed or aren't requiring this dependency anymore)

apt options :

•   autoremove - Remove automatically all unused packages
•   clean - Erase downloaded archive files
•   autoclean - Erase old downloaded archive files

sudo apt-get clean autoremove autoclean

Docker : remove logs older than ...

Only keep the last 1000h of docker containers logs

sudo docker image prune --all --filter "until=1000h" -f

Docker : remove remnants

Be careful ! If your docker environments are not running they might be deleted by some of the following commands !

Remove unused volumes, containers, images, networks, etc.

sudo docker system prune -f 

sudo docker system prune -a --volumes

Mac Os X - mount issues on /Users after upgrade to mac os X 10.15 / error 77

 fixing /Users defined partition after an upgrade of mac os X.

The Mac I was using was configured before I got it, and I needed to upgrade it to use some more recent applications, but I ran into some issues due to a specific configuration of the /Users partition being located on a different partition than the OS data.

I could not mount it properly, due to 2 errors (might have been possible to mount it directly in HFS, but I also fixed it during the debug, just publishing my fix here with both steps).

Error :

sudo mount -uw /Users

Password:

mount_apfs: volume could not be mounted: Operation not permitted

mount: /Users failed with 77

Step 1 : convert from HFS to APFS

with Disk Utility tool > menu "Edit" > "Convert to APFS"...

Step 2 : edit mount description

/etc/fstab, edited with (sudo) vifs 

was :

UUID=12QW345E-1234-5678-123QWE123QWE /Users hfs auto

changed to :

UUID=12QW345E-1234-5678-123QWE123QWE /Users apfs rw 1 2

Step 3 : grant mount on /Users

Boot in recovery mode ( mac + R )

Launch (menu Utilities) > Terminal

csrutil status
csrutil enable --without fs

reboot

Rsync and exclusions

 

an old post found back on disqr about rsync (original date : circa 2016)

You might want to use the rsync exclude options directly in your script either by specifying a file with all the exclusions to perform, or by specifying them in the command line directly :

--exclude-from <file-name with 1 pattern by line>
--exclude <file or="" dir="">

For example :

rsync -r -a -v -e "ssh -l Username" \

        --exclude 'dbconfig.xml' --exclude 'WEB-INF/classes/' --delete \

        /local/Directory remote.server:/remoteDirectory

One important thing to keep in mind when excluding a directory is that rsync will always consider the path to be relative to the source directory.

This can be used for example when you want to push your production from a Production JIRA instance to a Staging JIRA instance, but your dbconfig.xml is different (different DB auth parameters for example), and hence want to avoid some files. 

Mac OS X : show (hidden) .files in the finder.

Finder options:

1.  CMD + Shift + .

Terminal options + restart finder:

1. Open Terminal found in Finder > Applications > Utilities.
2. In Terminal, paste the following:
     defaults write com.apple.finder AppleShowAllFiles YES.
3. Press return.
4. Hold the 'Option/alt' key, then right click on the Finder icon in the dock and click Relaunch.

from :

https://ianlunn.co.uk/articles/quickly-showhide-hidden-files-mac-os-x-mavericks/

Ext4 (non crypté) macosx

 sudo fuse-ext2 /dev/disk2s1 /Volumes/elem/ -o force



Avec :
http://osxfuse.github.com/

Install NetBSD via clef USB

Voici le challenge :

créer une clef usb bootable en NetBSD, en n'ayant qu'une seule clef dispo et pas de machine netbsd sous la main. Le principal problème est de formater la clef USB dans le bon format (et pas de mkfs dispo pour ce systeme de fichier BSD)

Solution trouvée :

booter netbsd-Live en virtualisé dans Qemu pour transférer vers le disque dur virtuel de Qemu les fichiers à copier sur la clef usb, puis formater la clef usb et y remettre les fichiers de boot.

Samsung Gallaxy S, lagfix

Le lagfix permet d'augmenter les performances du téléphone sans pour autant changer le système d'exploitation.

Cyanoged Mod 6.1 Béta disponible pour Galaxy S (version définitive devant être disponible en décembre 2010).

Le principe est simple : samsung a choisi pour ses téléphones un système de fichier tout sauf performant : RFS.
En remplaçant ce dernier, les performances sont considérablement augmentées.

mount iso image via loopback under NetBSD

Mounting

# vnconfig vnd0 image.iso                      
# mount -t cd9660 /dev/vnd0a /mnt

Unmounting

# umount /mnt
# vnconfig -u vnd0

(Found here)

svn + ssh on NetBSD

Problème : sur une machine uniquement accessible en ssh, je souhaite installer un serveur svn pour la gestion de version. Je souhaite avoir plusieurs utilisateurs. Ces utilisateurs doivent pouvoir faire des "checkout", des "commit", et autres opérations avec svn, mais ne doivent pas pouvoir se logguer sur le serveur pour autre chose que pour utiliser le serveur.

1ère étape :
Création d'un utilisateur svn qui sera celui utiliser pour se logguer sur le serveur.

1.1 Authentification par clefs publique/privée ssh

 Chaque utilisateur créé une clef ssh ( ssh-keygen ). Ajouter la clef publique générée dans ~/.ssh/authorized_keys

cat clef.pub > ~svn/.ssh/authorized_keys

Maintenant les utilisateurs peuvent se logguer directement en tant que l'utilisateur svn.

Allons voir un peu plus avant le contenu du fichier ~svn/.ssh/authorized_keys ...
Chaque ligne est indépendante, et de la la forme

  command="COMMAND" TYPE KEY COMMENT
 

En utilisant cette syntaxe, pour restreindre l'accès uniquement au service svn, on peut également ajouter "no-port-forwarding" ainsi que "no-agent-forwarding,no-X11-forwarding,no-pty"

  command="svnserve -t",no-port-forwarding TYPE KEY COMMENT

ainsi l'on utilisera une fois la clef ssh enregistrée (ssh-agent bash; ssh-add clef)

  svn co svn+ssh://svn@host/path/to/base/repos
 

1.2 Plusieurs utilisateurs
Pour l'instant tout le monde se loggue en tant qu'utilisateur "svn". En particulier, il est ainsi impossible de différentier les auteurs des différents commits effectués.



ajouter l'option "--tunnel-user=user" également pour l'identifier.


2ème étape : Eviter d'avoir à afficher tout le path sur le serveur

Si le repo est dans /path/to/base/repos, alors :

  command="svnserve -r /path/to/base/",no-port-forwarding TYPE KEY COMMENT

Attention : il semble que l'option -r et l'option -t soient incompatibles si l'on utilise pas l'option --tunnel-user

3 Et Au Final...

Nous obtenons dans le fichier ~svn/.ssh/authorized_keys :

   command="/path/to/svnserve -t -r /repository/root --tunnel-user=alice",no-port-forwarding,no-agent-forwarding,no-X11-forwarding,no-pty TYPE1 KEY1 COMMENT1
  command="/path/to/svnserve -t -r /repository/root --tunnel-user=bob",no-port-forwarding,no-agent-forwarding,no-X11-forwarding,no-pty TYPE2 KEY2 COMMENT2
 

1.4 liens/remerciements.

• Merci à PeterS sur irc.freenode.net/#svn
• Pour certain des exemples : http://svn.collab.net/repos/svn/trunk/notes/ssh-tricks

non-root mount for external usb ext3 hard drive

J'ai récemment acquis un disque dur externe USB 2.5", que j'ai formaté en ext3.

Mauvaise surprise à l'auto-détection, il est par défaut (contrairement aux clefs usb en FAT32) mis en lecture seule pour les utilisateurs lambdas, et uniquement en lecture-écriture pour root.

Lors du formatage utilisation de :

sudo fdisk /dev/sdb1
sudo mkfs.ext3 /dev/sdb1 
sudo e2label /dev/sdb1 {{snip label}}

Pour modifier le mode de montage et mettre ça dans fstab, j'ai eu recours à la commande vol_id pour trouver les paramètres.

# vol_id /dev/sdb1
ID_FS_USAGE=filesystem
ID_FS_TYPE=ext3
ID_FS_VERSION=1.0
ID_FS_UUID={{snip}}
ID_FS_UUID_ENC={{snip}}
ID_FS_LABEL={{snip label}}
ID_FS_LABEL_ENC={{snip}}
ID_FS_LABEL_SAFE={{snip}}

J'ajoute alors dans /etc/fstab la ligne suivante :

LABEL={{snip label}} /media/{{snip mount point}} ext3 user,auto 0 0

Ca à l'air de marcher comme il faut !!

---

VOL_ID(8)                           vol_id                           VOL_ID(8)

NAME
       vol_id - probe filesystem type and read label and uuid

SYNOPSIS
       vol_id [--export] [--type] [--label] [--label-raw] [--uuid]
              [--skip-raid] [--probe-all] [--help] [device]

DESCRIPTION
       vol_id is usually called from a udev rule, to provide udev with the
       filesystem type, the label and the uuid of a volume. It supports most
       of the common filesystem formats and detects various raid setups to
       prevent the recognition of raid members as a volume with a filesystem.