# ============================================================ # JonasSearch Crawler Gamma 0.1 # ============================================================ # PostgreSQL JONASSEARCH_DB_HOST=127.0.0.1 JONASSEARCH_DB_PORT=25432 JONASSEARCH_DB_NAME=jonassearch JONASSEARCH_DB_USER=jonassearch JONASSEARCH_DB_PASSWORD=MeinStarkesPasswort123! # Crawler JONASSEARCH_START_URL=https://reddit.com JONASSEARCH_WORKERS=4 # Mindestabstand zwischen Requests zur gleichen Domain JONASSEARCH_DELAY=3.0 # robots.txt Cache JONASSEARCH_ROBOTS_CACHE_SECONDS=86400 # HTTP JONASSEARCH_TIMEOUT=20 JONASSEARCH_MAX_CONTENT_LENGTH=5242880 # User-Agent JONASSEARCH_USER_AGENT=JonasSearchBot/0.1 (+https://jonassearch.local/bot) # ============================================================ # Rolling Updates (Launcher + Crawler) # ============================================================ # Version dieser Crawler-Codebasis (NICHT die Deployment-Generation). # Muss bei jedem verteilten Crawler-Änderung erhöht werden. JONASSEARCH_CRAWLER_VERSION=1 # Wie oft jeder Crawler außerhalb der Transaktionen nach einer neuen # Deployment-Generation sieht (Sekunden). Der Check setzt nur ein # internes Signal; beendet wird sich erst am nächsten sicheren Commit. JONASSEARCH_UPDATE_CHECK_SECONDS=30 # Verzeichnis für gestagte Crawler-Releases (releases//crawler.py). # Relative Pfade gelten relativ zur crawler.py. #JONASSEARCH_RELEASES_DIR=releases # Launcher: Wohin mit neuen Versionen? Eine der beiden Quellen setzen, # sonst kann der Launcher nur extern abgelegte Releases prüfen/aktivieren. #JONASSEARCH_UPDATE_SOURCE_URL=https://example.com/jonassearch/releases #JONASSEARCH_UPDATE_SOURCE_DIR=/srv/jonassearch/new-release # Launcher: Wartezeit nach Crash (Sekunden), bevor der Crawler neu startet #JONASSEARCH_LAUNCHER_ERROR_RESTART_DELAY=10 # Launcher: Wartezeit vor dem Neustart nach einem Update-Zyklus #JONASSEARCH_LAUNCHER_RESTART_DELAY=2 # ============================================================ # Suchmaschine (search/) # ============================================================ # PostgreSQL-Textsuch-Konfiguration (Stemming/Stopwörter) JONASSEARCH_TS_CONFIG=german # tsvector-Spalte der Tabelle `pages` erzwingen (optional, # wird automatisch erkannt) #JONASSEARCH_VECTOR_COLUMN=search_vector # HTTP-API (search/api.py) JONASSEARCH_API_HOST=0.0.0.0 JONASSEARCH_API_PORT=8082