Debian on SecretMine.de

Lokaler APT-Cache mit Apt-Cacher NG

Mon, 08 Sep 2025 00:00:00 +0000

Caching ist ein alter Hut - früher vor allem genutzt, um bei vielen Clients hinter einem Internetanschluss Assets wie Bilder und Videos möglichst nur einmal herunterzuladen und dann bei weiteren Aufrufen das Bild aus dem Cache auszuliefern. Kurz gesagt, um Bandbreite zu sparen bzw. die Auslieferung von Daten an mehrere Clients zu beschleunigen.

Das Ganze lässt sich auch für APT (den Paketmanager, den bspw. Debian und Ubuntu einsetzen) umsetzen - das ist tatsächlich auch einer der Gründe, warum APT-Repos heutzutage immer noch meistens via http und nicht https ausgeliefert werden. Mit https kommt Verschlüsselung dazu, was Caching ungemein erschwert.

Was bringt das?

Ich habe bekanntlich mehrere physische Server sowie irgendwas um die 30-40 virtuellen Server (sowohl virtuelle Maschinen als auch containerbasiert, z. B. LXC), die regelmäßig mit Updates versorgt werden wollen. Bisher hat sich dann jeder Server seine Pakete direkt aus dem Internet gezogen, was natürlich für eine gute Menge an Traffic gesorgt hat. Mit einem Cache lädt jeweils nur der erste Server ein bestimmtes Paket durch den Cache aus dem Internet herunter, die anderen Server ziehen sich das Paket dann vom Cache. Der Cache funktioniert dabei als Proxy, bis auf die Einstellungen für den Proxy muss bei APT nichts angepasst werden. Der Cache spart bei mir primär ein wenig Zeit, da vor allem bei größeren Paketen dann alle weiteren Server mit Geschwindigkeiten nahe an 1 GBit/s die Pakete herunterladen können.

Automatische Nutzung mittels auto-apt-proxy

Es gibt für Debian und Ubuntu (und diverse weitere Distros) das Tool auto-apt-proxy (Paketname ist identisch). Damit lässt sich ein Apt-Proxy (was der Cache ja auch ist) im Netzwerk automatisch erkennen und nutzen. Ich habe die dafür notwendigen DNS-Einträge lokal hinzugefügt und via Ansible das Paket auf allen Servern installiert, damit nutzt jeder Server direkt den Proxy, ohne weitere manuelle Einstellungen vornehmen zu müssen. Neben DNS gibt es allerdings auch andere Methoden, um auto-apt-proxy den korrenten Proxy zu signalisieren.

Wie viel bringt das?

Apt-Cacher NG hat eine Statistikseite (http://ip-vom-cache:3142/acng-report.html), die einige Einblicke in den Cache erlauben. Ich erreiche insgesamt eine Bandbreitenersparnis von über 70%, das kann sich schon sehen lassen. Hier einmal die Details:

Meine Config

Die Datei befindet sich unter /etc/apt-cacher-ng/acng.conf. Relevant ist vor allem das CacheDir, darin werden die zwischengespeicherten Pakete abgelegt.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


CacheDir: /mnt/data/apt-cacher-ng
LogDir: /var/log/apt-cacher-ng
SupportDir: /usr/lib/apt-cacher-ng
Remap-debrep: file:deb_mirror*.gz /debian ; file:backends_debian # Debian Archives
Remap-uburep: file:ubuntu_mirrors /ubuntu ; file:backends_ubuntu # Ubuntu Archives
Remap-klxrep: file:kali_mirrors /kali ; file:backends_kali # Kali Linux Archives
Remap-cygwin: file:cygwin_mirrors /cygwin # ; file:backends_cygwin # incomplete, please create this file or specify preferred mirrors here
Remap-sfnet: file:sfnet_mirrors # ; file:backends_sfnet # incomplete, please create this file or specify preferred mirrors here
Remap-alxrep: file:archlx_mirrors /archlinux # ; file:backend_archlx # Arch Linux
Remap-fedora: file:fedora_mirrors # Fedora Linux
Remap-epel: file:epel_mirrors # Fedora EPEL
Remap-slrep: file:sl_mirrors # Scientific Linux
Remap-gentoo: file:gentoo_mirrors.gz /gentoo ; file:backends_gentoo # Gentoo Archives
debian-security ; deb.debian.org/debian-security security.debian.org cdn-fastly.deb.debian.org/debian-security
ReportPage: acng-report.html
ExThreshold: 4
FollowIndexFileRemoval: 1
LocalDirs: acng-doc /usr/share/doc/apt-cacher-ng
AllowUserPorts: 80 443
PassThroughPattern: .* # this would allow CONNECT to everything

Das meiste davon ist Standard, ich habe vor allem PassThroughPattern ergänzt, damit auch Fremd-Repos mit https, die ja nicht ohne weiteres gecached werden können, weiterhin funktionieren. Was die Optionen konkret machen ist in der Default-Config gut erklärt. Wenn man mehrere Apt-Cacher-NG hintereinander schalten möchte (ich habe einen zweiten im Keller) sollte noch folgende Option gesetzt werden:

1

VfileUseRangeOps: 0

TS3-Server inkl. Autostart installieren - 2.0 (Docker-Basis)

Mon, 26 Feb 2024 00:00:00 +0000

Hinweis: Nutzung auf eigene Gefahr.

Einleitung

Das alte Tutorial zum Installieren von einem TS3-Server basierte ja auf einer direkten Installation auf dem System. Das hat den Vorteil, dass es schlank ist - aber dafür ist auch mehr manuell zu pflegen. Ich habe kürzlich für jemanden einen TS3-Server inkl. automatischen Updates auf Dockerbasis aufgesetzt und finde das Setup eleganter als die bisherige Lösung, daher möchte ich es auch anderen zur Verfügung stellen.

Voraussetzungen

Auf dem Server muss Docker installiert sein. Sofern das noch nicht der Fall ist, lässt sich das einfach mit

1

wget -O- https://get.docker.com | sudo bash

durchführen. (Ja, das direkte Ausführen von fremdem Code als Root ist böse, aber die Quelle ist vertrauenswürdig. Trotzdem ist es empfehlenswert, das heruntergeladene Script einmal zu prüfen, bevor man es ausführt).

Sollte wget noch nicht ins alliert sein, geht das schnell mit

1
2


sudo apt-get update
sudo apt-get -y install wget

Das Tool, was zum Updaten des Containers genutzt wird, kann dir via Discord Webhooks (und diverse andere Varianten) Benachrichtigungen zu durchgeführten Updates schicken. Lege dazu einen Channel an und generiere dir einen Webhook - ich verwende hier im Beispiel die Webhook-URL https://discord.com/api/webhooks/asd/fgh.

Erstellen vom Datenverzeichnis

Die Daten für den Server sollen später unter /opt/teamspeak3/data liegen, die Compose-Datei im darüberliegenden Verzeichnis. Das lässt sich schnell mit

1

mkdir -p /opt/teamspeak3/data/

anlegen.

Erzeugung der Docker-Compose-Datei

Zur Verwaltung der Container nutze ich in solchen Fällen gerne Docker-Compose. Dafür muss eine Datei angelegt werden ( die docker-compose.yml), die die zu erstellenden Container inkl. Konfiguration beinhaltet. Ich nutze hier das offizielle TS3-Container-Image (von hier: https://hub.docker.com/_/teamspeak). Um das ganze möglichst pflegeleicht zu gestalten, stelle ich noch einen Watchtower-Container (von hier: https://hub.docker.com/r/containrrr/watchtower) dazu. Watchtower sorgt dafür, dass der TS3-Container immer auf dem aktuellsten Stand gehalten wird. Dazu wird in gewissen Abständen geprüft, ob es eine neue Version vom Container-Image gibt. Sofern ein Update verfügbar ist, wird das gezogen und der TS3-Container einmal frisch erzeugt.

Um den TS3-Server später nutzen zu können, musst du die Lizenzbedingungen explizit akzeptieren. Die Bedingungen kannst du dir mit dem Befehl

1

docker run --rm -it -e TS3SERVER_LICENSE=view teamspeak

ansehen.

Lege also die Datei docker-compose.yml unter /opt/teamspeak3/ beispielsweise mit nano /opt/teamspeak3/docker-compose.yml an. Der Inhalt sollte wie folgt aussehen:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


version: '3.8'
services:
 teamspeak:
 image: teamspeak:latest
 restart: always
 ports:
 - 9987:9987/udp
 - 10011:10011
 - 30033:30033
 volumes:
 - "/opt/teamspeak3/data:/var/ts3server/"
 environment:
 TS3SERVER_LICENSE: view # "view" durch "accept" ersetzen, um die Lizenzbedingungen zu akzeptieren
 watchtower:
 image: containrrr/watchtower:latest
 restart: always
 environment:
 WATCHTOWER_SCHEDULE: '0 0 5 * * *' # Update-Prüfung täglich um 05:00 Uhr
 WATCHTOWER_NOTIFICATIONS: 'slack'
 WATCHTOWER_NOTIFICATION_SLACK_HOOK_URL: 'https://discord.com/api/webhooks/asd/fgh/slack' 
 WATCHTOWER_NOTIFICATION_SLACK_IDENTIFIER: 'Watchtower'
 WATCHTOWER_NOTIFICATION_SLACK_CHANNEL: '#watchtower'
 volumes:
 - /var/run/docker.sock:/var/run/docker.sock

Die Zeilen, die mit WATCHTOWER_NOTIFICATIONS beginnen, sind für die Notifications zuständig. An die Webhook-URL muss, wie im Beispiel sichtbar, noch /slack angefügt werden.

Erster Start

Wechsle zuerst in das Verzeichnis vom Server:

1

cd /opt/teamspeak3

starte nun einmal den TS3-Server im Attached-Modus, damit du den Serveradmin-Token sehen kannst:

1

docker compose up teamspeak

Nach einigen Sekunden kannst du den Server mit Strg + c wieder beenden. Das sieht dann etwa so aus:

In der Ausgabe findest du neben dem Admin-Token auch die Zugangsdaten für die Query-Schnittstelle. Bewahre diese Daten gut auf!

Finaler Start

Mit

1

docker compose up -d

startest du nun den Server. Der Server wird auch automatisch bei Systemstart mit gestartet, also dort ist nichts weiter zu tun.

Damit sollte der Server nun erreichbar sein und das Tutorial ist beendet. Viel Spaß!

SSH-Keys beim nächsten Booten neu generieren (z.B. für ein Template)

Sat, 03 Nov 2018 10:51:45 +0000

Um z.B. für ein Template bzw. golden image die SSH-Keys aus einer VM mit Debian/Ubuntu zu entfernen, reichen zwei simple Dinge:

1

/bin/rm -v /etc/ssh/ssh_host_

Damit werden die aktuellen SSH-Keys entfernt. Nun im Crontab (crontab -e) folgendes eintragen:

1

@reboot /usr/sbin/dpkg-reconfigure openssh-server; crontab -r

Damit wird dann beim nächsten Booten das Generieren der neuen Keys angestoßen, danach dann der crontab gelöscht.

[Debian/Ubuntu] TS3-Server inkl. Autostart installieren

Sat, 03 Nov 2018 00:00:00 +0000

Hinweis: Nutzung auf eigene Gefahr.

Einen TS3-Server zu installieren ist schnell erledigt. Führe dafür einfach folgende Befehle aus, du kannst den ganzen Block kopieren

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


VERSION=$(wget -O- 'https://www.teamspeak.com/versions/server.json' | jq -r ".linux.x86_64.version")
adduser --disabled-password --disabled-login --gecos "" teamspeak
cd /home/teamspeak/
wget https://files.teamspeak-services.com/releases/server/$VERSION/teamspeak3-server_linux_amd64-$VERSION.tar.bz2
tar xf teamspeak3-server_linux_amd64-$VERSION.tar.bz2
rm teamspeak3-server_linux_amd64-$VERSION.tar.bz2
touch /home/teamspeak/teamspeak3-server_linux_amd64/.ts3server_license_accepted
chown -R teamspeak: *
sudo -u teamspeak /home/teamspeak/teamspeak3-server_linux_amd64/ts3server_startscript.sh start
sudo -u teamspeak /home/teamspeak/teamspeak3-server_linux_amd64/ts3server_startscript.sh stop

An dieser Stelle werden nun die Zugangsdaten für den TS-Query sowie der erste Admin-Token angezeigt. Kopiere dir diese Daten und speichere sie irgendwo, du brauchst sie später noch.

Jetzt erstellen wir noch den Service, aktivieren ihn und starten ihn auch direkt (und damit den TS3-Server):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


cat > /etc/systemd/system/teamspeak3.service &lt;&lt; EOF
[Unit]
Description=TeamSpeak3-Server
After=network.service

[Service]
User=teamspeak
Group=teamspeak
Type=forking
WorkingDirectory=/home/teamspeak/teamspeak3-server_linux_amd64/
ExecStart=/home/teamspeak/teamspeak3-server_linux_amd64/ts3server_startscript.sh start
ExecStop=/home/teamspeak/teamspeak3-server_linux_amd64/ts3server_startscript.sh stop
PIDFile=/home/teamspeak/teamspeak3-server_linux_amd64/ts3server.pid
RestartSec=5
Restart=always

[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload
systemctl enable teamspeak3.service
systemctl start teamspeak3

An dieser Stelle ist ein Reboot zum Testen sicherlich nicht falsch, aber auch nicht zwingend notwendig. Ich habe dieses Skript selbst schon an diversen Stellen genutzt, bei mir läuft es sehr gut.

Updates lassen sich wie folgt durchführen, wenn das obige Skript zur Installation genutzt wurde (vorher natürlich eine Sicherung machen):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


VERSION=$(wget -O- 'https://www.teamspeak.com/versions/server.json' | jq -r ".linux.x86_64.version")
rsync -rt --delete /home/teamspeak/teamspeak3-server_linux_amd64/ /home/teamspeak/teamspeak3-server_linux_amd64.bak/
cd /home/teamspeak/
wget https://files.teamspeak-services.com/releases/server/$VERSION/teamspeak3-server_linux_amd64-$VERSION.tar.bz2
systemctl stop teamspeak3
tar xf teamspeak3-server_linux_amd64-$VERSION.tar.bz2
rm teamspeak3-server_linux_amd64-$VERSION.tar.bz2
touch /home/teamspeak/teamspeak3-server_linux_amd64/.ts3server_license_accepted
chown -R teamspeak: *
systemctl start teamspeak3

Wer eine ältere Version des Installers genutzt hat, muss vorher folgendes ausführen:

1

apt-get -y install jq rsync tar gzip