#!/bin/bash

set -e
set -o pipefail
set -u

cd /srv/web/www.alpha/mirror

sites=()
sites+=(http://debreceni-korhazlelkeszseg.emecclesia.hu/)
sites+=(http://kalvariavedootthon.emecclesia.hu/)
sites+=(http://kotajiromkat.emecclesia.hu/)
sites+=(http://szentpioromkat.emecclesia.hu/)
sites+=(http://nyirszolosromkat.emecclesia.hu/)
sites+=(http://szolnokigorogkatolikus.emecclesia.hu/)
sites+=(http://szentgellertplebania.emecclesia.hu/)
sites+=(http://matyasfold.emecclesia.hu/)
sites+=(http://plebaniadecs.emecclesia.hu/)
sites+=(http://edelenyigorogkatolikus.emecclesia.hu/)
sites+=(http://egeragiplebania.emecclesia.hu/)
sites+=(http://szabadhegy.emecclesia.hu/)
sites+=(http://kisbacsaplebania.emecclesia.hu/)
sites+=(http://szentharomsag.emecclesia.hu/)
sites+=(http://szentgyorgykobanya.emecclesia.hu/)
sites+=(http://kazincbarcikai-plebania.emecclesia.hu/)
sites+=(http://szentrozaliakaritasz.emecclesia.hu/)
sites+=(http://nagyhalasz.emecclesia.hu/)
sites+=(http://nagyteteny.emecclesia.hu/)
sites+=(http://plebania-sajoszentpeter.emecclesia.hu/)
sites+=(http://sashalom.emecclesia.hu/)
sites+=(http://sioplebania.emecclesia.hu/)
sites+=(http://timar.emecclesia.hu/)
sites+=(http://vencselloplebania.emecclesia.hu/)
sites+=(http://hodmezovasarhelyiplebaniak.emecclesia.hu/)


extra_args=(+'*.emecclesia.hu/*')


LD_PRELOAD=/usr/lib/yazzy-preload/ip_dscp.so \
SOCKET_IP_DSCP=0x08 \
httrack --continue --include-query-string=0 --purge-old=0 --keep-alive --can-go-down -I0 --path emecclesia.hu,hts-cache/emecclesia.hu "${sites[@]}" "${extra_args[@]}"


{
	cd emecclesia.hu/hodmezovasarhelyiplebaniak.emecclesia.hu
	# régi kézjegyem törlése
	for f in *.html; { sed -e '/<p class="latin">/,/<\/p>/d' -i "$f"; }
	# httrack bug workaroundolása
	for f in *.html; { sed -e 's@split("index.html")@split("/")@g' -i "$f"; }
}
{
	cd emecclesia.hu/debreceni-korhazlelkeszseg.emecclesia.hu
	# tele spam-elt vendégkönyv törlése
	ag -F '<!-- Mirrored from debreceni-korhazlelkeszseg.emecclesia.hu/index.php?pageid=121' -l | xargs rm
}
{
	cd emecclesia.hu/timar.emecclesia.hu
	# tele spam-elt vendégkönyv törlése
	rm index09c4.htm
}
for site in kazincbarcikai-plebania.emecclesia.hu \
	plebania-sajoszentpeter.emecclesia.hu \
	szentpioromkat.emecclesia.hu \
	szentrozaliakaritasz.emecclesia.hu
do
(
	cd emecclesia.hu/$site
	# potenciálisan spam vendégkönyv-bejegyzések törlése
	spam_strings_pcre="finanszíroz|pénzügyi hitel|&lt;a href"
	spam_strings_pcre=`iconv -t latin1 <<<"$spam_strings_pcre"`
	
	for f in *.html;
	{
		cat "$f" |\
		perl -e '$/=undef; $_=<>; $spams=0;
			if(/('"$spam_strings_pcre"')/)
			{
				s{(<td.*?>)(.*?)(</td)}{
					($a,$b,$c)=($1,$2,$3);
					$b =~ s/.*('"$spam_strings_pcre"').*/[SPAM]/ims and $spams++;
					sprintf "%s%s%s", $a, $b, $c}imgse;
			}
			print;
			END { print STDERR "$spams spams\n"; }
		' \
		> "$f.nospam" && \
		mv -f "$f.nospam" "$f"
	}
)
done