Download a website, czyli httrack w akcji

Chcemy dzisiaj Wam przedstawić w tym krótkim tutorialu ciekawe narzędzie do klonowania stron internetowych. Jeśli pamiętacie wpis opisujący jeden z łatwiejszych sposobów hakerów na włamania się na facebooka to dzisiejszy poradnik jest pewnym uzupełnieniem narzędziowym. Oczywiście narzędzia te nie zostały stworzone do tworzenia stron phishingowych. Mogą Wam posłużyć do klonowania materiałów edukacyjnych do własnych celów, aby potem do nich wrócić offline. Mi osobiście już nieraz zdarzyło się, że mniej znana a bardzo cenna informacyjnie strona internetowa znikła z internetu i musiałem korzystać z web archiwów. Przejdźmy od razu do wpisu opisującego program httrack ,który jest dostępnym w systemie Kali Linux. Dodatkowo pokazujemy aplikacje wget i HTTrack Website Copier dedykowaną z kolei pod system operacyjny Microsoft Windows. Nie mogło również zabraknąć wzmianki o narzędziu Social-Engineer Toolkit.

httrack w systemie Kali Linux

Czym jest httrack? Najprościej mówiąc jest to narzędzie do klonowania (pobierania) stron internetowych. Mnogość jego parametrów i możliwości umożliwia pobranie całych strony www wedle swoich upodobań. Tworzenie za pomocą tego narzędzia witryny mogą być między innymi:

• być pobierane z użyciem proxy,
• filtrowane i ograniczone tylko do konkretnych rozszerzeń plików z witryny,
• symulowanie konkretnej przeglądarki www (user-agent).

Myślę że tutaj należy przerwać wymienianie cech tego programu ponieważ wystarczy wpisać w swojej konsoli polecenie man httrack aby się przekonać, że autorzy tej aplikacji odwalili kawał dobrej roboty. Mnogość możliwych parametrów może przytłaczać nawet starego wyjadacza linuksowego.

Przejdźmy od razu do demonstracji przykładowego działania programu httrack, bo z tego co zauważyłem najbardziej lubicie właśnie przykłady praktyczne. Ogólnie najłatwiejszy sposób na skorzystanie z tego narzędzia jest skorzystanie z kreatora nowego projektu. Wydaj polecenie:

httrack

Następnie całą najprostszą sesje pracy z programem demonstrujemy na poniższym obrazku.

Opis wybranych parametrów:

1. nazwa projektu – w katalogu o tej nazwie zostanie utworzony nasz projekt klonu strony internetowej,
2. ścieżka do folderu w którym chcemy zapisać naszą skopiowaną stronę www,
3. wybór typu pracy w interaktywnym trybie programu httrack (my wybierami tryb z kreatorem nr 2),
4. adres proxy – tutaj możemy skorzystać z listy proxy dostępnej w sieci lub w przypadku tora wpisać coś w rodzaju 127.0.0.1:8080 zależnie od jego konfiguracji
5. typy plików wpisujemy gwiazdę ponieważ chcemy sklonować całą stronę www, możemy za pomocą tej funkcji ograniczyć pobierane pliki do danych typów rozszerzeń
6. dodatkowe argumenty – dostępne opcjonalne parametry są w dokumentacji (man httrack),
7. zatwierdzamy httrack wciskając Y.

Warto zwrócić uwagę na wygenerowaną komendę pomiędzy 6 a 7 krokiem na obrazku. Warto wiedzieć że httrack może być wywoływany bez kreatora i trybu interaktywnego za pomocą gotowej komendy. Nasz kreator Mirror Web Site(s) with Wizard wygenerował komendę, którą moglibyśmy następnie użyć w swoim terminalu bez męczenia się z kolejnymi krokami konfiguracyjnymi kreatora. Polecenia takie możemy oczywiście budować sami z pomocą podręcznika użytkownika tego programu. Jeśli chciałbyś sprawdzić czy to polecenie też działa, wystarczy że skopiujesz sobie linijkę za znajdującą się za frazą Wizard command line i wpiszesz ją w swojej drugiej konsoli. Z naszego przykładu wygląda to tak:

httrack http://192.168.0.20/website -W -0 "/root/websites/stronaLogowania" -%v *

Dobrym sposobem zawsze na naukę w takich przypadkach jest analiza parametrów  z manuala i ich chociaż pobieżne zrozumienie.

Wartymi parametrami jeszcze do wspomnienia są -Y i -rN. Pozwólcie, że  fragmenty dokumentacji:

-Y     mirror ALL links located in the first level pages (mirror links) (–mirrorlinks)

-rN    set the mirror depth to N (* r9999) (–depth[=N])

Poniżej przedstawiam efekt działania aplikacji httrack. Mam nadzieje że podobny jest klon :-)? Od razu zaznaczam dla tych „niewiedzących”, że adres po lewej może być oczywiście nazwą domenową a nie zwykłym adresem IP (używamy lokalnego serwera www na drugiej maszynie wirtualnej z systemem Windows).

 

 

HTTrack Website Copier dla Windows

Tego programu nie trzeba przedstawiać bo jest to klasyk dedykowany na systemy z rodziny Microsoft Windows. Posiada graficzny interfejs użytkownika (nakładka na httracka). Akurat tego narzędzia nie zamierzam dzisiaj opisywać więc odsyłam do wyszukiwarki Google. Wymieniam go tylko ze względu na chęć kompletności wykładu ;-).

wget – pobieranie rekurencyjne całej strony internetowej

Program wget jest aplikacją do pobierania plików z internetu z poziomu konsoli. Narzędzie jest świetne z tego powodu że możemy je sobie wykorzystać w swoich skryptach napisanych np: w języku programowania Python (który osobiście polecam do nauki). Istnieje również wersja skompilowana pod system Microsoft Windows tego narzędzia. Przejdźmy od razu do przykładu bo jak okazuje się wget może również posłużyć do kopiowania całych stron internetowych.

wget --no-clobber --convert-links -r -E -p http://192.168.0.20/website/

Opis parametrów:

• –no-clobber  – nie nadpisuj istniejących plików w tym samym katalogu,
• –convert-links – bardzo ciekawy parametr konwertujący adresy URL w kodzie źródłowym strony internetowej w taki sposó, aby działały lokalnie,
• -E – dodaje odpowiednie rozszerzenia do nazwy pliku, przykładowo jeśli serwer był skonfigurowany za pomocą mod_rewrite tak że w pasku adresu nie było rozszerzenia .html to wget to naprawi aby działo lokalnie,
• -p -przedrostek katalogów,
• -r – najważniejszy parametr włączający pobieranie rekurencyjne,
• http://192.168.0.20/website/ – adres URL pobieranej strony internetowej.

Polecam poczytać sobie manual za pomocą polecenia man wget lub spojrzeć do tłumaczenia podręcznika wget które odnalazłem.

Social-Engineer Toolkit

To narzędzie dedykowane jest bardziej pentesterom. Wykorzystywane jest do tworzenia wektorów ataków socjaltechnicznych np: stron phishingowych. Również pomijam wywód na ten temat ponieważ narzędzie SET zostało już przez nas opisane więc zapraszamy do świetnego wpisu: The Social-Engineer atak MITM.

Podsumowanie on narzędziach full website download

Ten wpis pokazuje dobitnie, że mnogość narzędzi nawet tak mniej znanych wśród użytkowników Internetu jest olbrzymia. Warto szukać, dokształcać się i czytać przede wszystkim manuale i testować polecenia. Jest to najlepsza forma nauki w formie praktyki. Należy pamiętać, że kopiowanie cudzych witryn za pomocą htttrack nie do swojego użytku i umieszczanie ich w internecie może nie być do końca zgodne z prawem. Często widzę, że ludzie kopiując szablon aukcji na allegro nie słyszeli chyba o prawie autorskim. Stronę internetową można jak najbardziej podciągnąć pod twór artystyczny już nie wspominając o znakach towarowych. Jeżeli to czytasz być może zainteresuje Cię nasz darmowy 6 częściowy kurs hakerów z wideo. Zapraszamy również do subskrypcji naszego kanału na YouTube no i oczywiście fejsa. Pozdrawiamy! 😉