71 lines
2.3 KiB
Bash
71 lines
2.3 KiB
Bash
# ============================================================
|
|
# JonasSearch Crawler Gamma 0.1
|
|
# ============================================================
|
|
|
|
# PostgreSQL
|
|
JONASSEARCH_DB_HOST=127.0.0.1
|
|
JONASSEARCH_DB_PORT=25432
|
|
JONASSEARCH_DB_NAME=jonassearch
|
|
JONASSEARCH_DB_USER=jonassearch
|
|
JONASSEARCH_DB_PASSWORD=MeinStarkesPasswort123!
|
|
|
|
# Crawler
|
|
JONASSEARCH_START_URL=https://reddit.com
|
|
JONASSEARCH_WORKERS=4
|
|
|
|
# Mindestabstand zwischen Requests zur gleichen Domain
|
|
JONASSEARCH_DELAY=3.0
|
|
|
|
# robots.txt Cache
|
|
JONASSEARCH_ROBOTS_CACHE_SECONDS=86400
|
|
|
|
# HTTP
|
|
JONASSEARCH_TIMEOUT=20
|
|
JONASSEARCH_MAX_CONTENT_LENGTH=5242880
|
|
|
|
# User-Agent
|
|
JONASSEARCH_USER_AGENT=JonasSearchBot/0.1 (+https://jonassearch.local/bot)
|
|
|
|
# ============================================================
|
|
# Rolling Updates (Launcher + Crawler)
|
|
# ============================================================
|
|
|
|
# Version dieser Crawler-Codebasis (NICHT die Deployment-Generation).
|
|
# Muss bei jedem verteilten Crawler-Änderung erhöht werden.
|
|
JONASSEARCH_CRAWLER_VERSION=1
|
|
|
|
# Wie oft jeder Crawler außerhalb der Transaktionen nach einer neuen
|
|
# Deployment-Generation sieht (Sekunden). Der Check setzt nur ein
|
|
# internes Signal; beendet wird sich erst am nächsten sicheren Commit.
|
|
JONASSEARCH_UPDATE_CHECK_SECONDS=30
|
|
|
|
# Verzeichnis für gestagte Crawler-Releases (releases/<VERSION>/crawler.py).
|
|
# Relative Pfade gelten relativ zur crawler.py.
|
|
#JONASSEARCH_RELEASES_DIR=releases
|
|
|
|
# Launcher: Wohin mit neuen Versionen? Eine der beiden Quellen setzen,
|
|
# sonst kann der Launcher nur extern abgelegte Releases prüfen/aktivieren.
|
|
#JONASSEARCH_UPDATE_SOURCE_URL=https://example.com/jonassearch/releases
|
|
#JONASSEARCH_UPDATE_SOURCE_DIR=/srv/jonassearch/new-release
|
|
|
|
# Launcher: Wartezeit nach Crash (Sekunden), bevor der Crawler neu startet
|
|
#JONASSEARCH_LAUNCHER_ERROR_RESTART_DELAY=10
|
|
|
|
# Launcher: Wartezeit vor dem Neustart nach einem Update-Zyklus
|
|
#JONASSEARCH_LAUNCHER_RESTART_DELAY=2
|
|
|
|
# ============================================================
|
|
# Suchmaschine (search/)
|
|
# ============================================================
|
|
|
|
# PostgreSQL-Textsuch-Konfiguration (Stemming/Stopwörter)
|
|
JONASSEARCH_TS_CONFIG=german
|
|
|
|
# tsvector-Spalte der Tabelle `pages` erzwingen (optional,
|
|
# wird automatisch erkannt)
|
|
#JONASSEARCH_VECTOR_COLUMN=search_vector
|
|
|
|
# HTTP-API (search/api.py)
|
|
JONASSEARCH_API_HOST=0.0.0.0
|
|
JONASSEARCH_API_PORT=8082
|