Download a website, czyli httrack w akcji

Chcemy dzisiaj Wam przedstawić w tym krótkim tutorialu ciekawe narzędzie do klonowania stron internetowych. Jeśli pamiętacie wpis opisujący jeden z łatwiejszych sposobów hakerów na włamania się na facebooka to dzisiejszy poradnik jest pewnym uzupełnieniem narzędziowym. Oczywiście narzędzia te nie zostały stworzone do tworzenia stron phishingowych. Mogą Wam posłużyć do klonowania materiałów edukacyjnych do własnych celów, aby potem do nich wrócić offline. Mi osobiście już nieraz zdarzyło się, że mniej znana a bardzo cenna informacyjnie strona internetowa znikła z internetu i musiałem korzystać z web archiwów. Przejdźmy od razu do wpisu opisującego program httrack ,który jest dostępnym w systemie Kali Linux. Dodatkowo pokazujemy aplikacje wgetHTTrack Website Copier dedykowaną z kolei pod system operacyjny Microsoft Windows. Nie mogło również zabraknąć wzmianki o narzędziu Social-Engineer Toolkit.

httrack w systemie Kali Linux

Czym jest httrack? Najprościej mówiąc jest to narzędzie do klonowania (pobierania) stron internetowych. Mnogość jego parametrów i możliwości umożliwia pobranie całych strony www wedle swoich upodobań. Tworzenie za pomocą tego narzędzia witryny mogą być między innymi:

  • być pobierane z użyciem proxy,
  • filtrowane i ograniczone tylko do konkretnych rozszerzeń plików z witryny,
  • symulowanie konkretnej przeglądarki www (user-agent).

Myślę że tutaj należy przerwać wymienianie cech tego programu ponieważ wystarczy wpisać w swojej konsoli polecenie man httrack aby się przekonać, że autorzy tej aplikacji odwalili kawał dobrej roboty. Mnogość możliwych parametrów może przytłaczać nawet starego wyjadacza linuksowego.

download a website httrack tools
Mnogość parametrów Linuksowej wersji narzędzia httrack może przyprawić nie jednego o zawrót głowy. Warto rzucić chociaż okiem na możliwości tego programu w systemowym manualu.

Przejdźmy od razu do demonstracji przykładowego działania programu httrack, bo z tego co zauważyłem najbardziej lubicie właśnie przykłady praktyczne. Ogólnie najłatwiejszy sposób na skorzystanie z tego narzędzia jest skorzystanie z kreatora nowego projektu. Wydaj polecenie:

Następnie całą najprostszą sesje pracy z programem demonstrujemy na poniższym obrazku.

linux httrack copy website
Praca z kreatorem httrack Mirror Web Site(s) with Wizard

Opis wybranych parametrów:

  1. nazwa projektu – w katalogu o tej nazwie zostanie utworzony nasz projekt klonu strony internetowej,
  2. ścieżka do folderu w którym chcemy zapisać naszą skopiowaną stronę www,
  3. wybór typu pracy w interaktywnym trybie programu httrack (my wybierami tryb z kreatorem nr 2),
  4. adres proxy – tutaj możemy skorzystać z listy proxy dostępnej w sieci lub w przypadku tora wpisać coś w rodzaju 127.0.0.1:8080 zależnie od jego konfiguracji
  5. typy plików wpisujemy gwiazdę ponieważ chcemy sklonować całą stronę www, możemy za pomocą tej funkcji ograniczyć pobierane pliki do danych typów rozszerzeń
  6. dodatkowe argumenty – dostępne opcjonalne parametry są w dokumentacji (man httrack),
  7. zatwierdzamy httrack wciskając Y.

Warto zwrócić uwagę na wygenerowaną komendę pomiędzy 6 a 7 krokiem na obrazku. Warto wiedzieć że httrack może być wywoływany bez kreatora i trybu interaktywnego za pomocą gotowej komendy. Nasz kreator Mirror Web Site(s) with Wizard wygenerował komendę, którą moglibyśmy następnie użyć w swoim terminalu bez męczenia się z kolejnymi krokami konfiguracyjnymi kreatora. Polecenia takie możemy oczywiście budować sami z pomocą podręcznika użytkownika tego programu. Jeśli chciałbyś sprawdzić czy to polecenie też działa, wystarczy że skopiujesz sobie linijkę za znajdującą się za frazą Wizard command line i wpiszesz ją w swojej drugiej konsoli. Z naszego przykładu wygląda to tak:

Dobrym sposobem zawsze na naukę w takich przypadkach jest analiza parametrów  z manuala i ich chociaż pobieżne zrozumienie.




Wartymi parametrami jeszcze do wspomnienia są -Y i -rN. Pozwólcie, że  fragmenty dokumentacji:

-Y     mirror ALL links located in the first level pages (mirror links) (–mirrorlinks)

-rN    set the mirror depth to N (* r9999) (–depth[=N])

Poniżej przedstawiam efekt działania aplikacji httrack. Mam nadzieje że podobny jest klon :-)? Od razu zaznaczam dla tych „niewiedzących”, że adres po lewej może być oczywiście nazwą domenową a nie zwykłym adresem IP (używamy lokalnego serwera www na drugiej maszynie wirtualnej z systemem Windows).

 

kopia strony internetowej i oryginalna strona www
Efekt działałania powyższej sesji klonowania strony internetowej programu httrack. Po lewej stronie widnieje oryginalna strona www a po prawej jej lokalny klon.

 

HTTrack Website Copier dla Windows

Tego programu nie trzeba przedstawiać bo jest to klasyk dedykowany na systemy z rodziny Microsoft Windows. Posiada graficzny interfejs użytkownika (nakładka na httracka). Akurat tego narzędzia nie zamierzam dzisiaj opisywać więc odsyłam do wyszukiwarki Google. Wymieniam go tylko ze względu na chęć kompletności wykładu ;-).

wget – pobieranie rekurencyjne całej strony internetowej

Program wget jest aplikacją do pobierania plików z internetu z poziomu konsoli. Narzędzie jest świetne z tego powodu że możemy je sobie wykorzystać w swoich skryptach napisanych np: w języku programowania Python (który osobiście polecam do nauki). Istnieje również wersja skompilowana pod system Microsoft Windows tego narzędzia. Przejdźmy od razu do przykładu bo jak okazuje się wget może również posłużyć do kopiowania całych stron internetowych.

Opis parametrów:

  • –no-clobber  – nie nadpisuj istniejących plików w tym samym katalogu,
  • –convert-links – bardzo ciekawy parametr konwertujący adresy URL w kodzie źródłowym strony internetowej w taki sposó, aby działały lokalnie,
  • -E – dodaje odpowiednie rozszerzenia do nazwy pliku, przykładowo jeśli serwer był skonfigurowany za pomocą mod_rewrite tak że w pasku adresu nie było rozszerzenia .html to wget to naprawi aby działo lokalnie,
  • -p -przedrostek katalogów,
  • -r – najważniejszy parametr włączający pobieranie rekurencyjne,
  • http://192.168.0.20/website/ – adres URL pobieranej strony internetowej.
pobieranie strony www za pomocą programu wget
Konsolowa aplikacja wget pobierający całą przykładową witrynę internetową w sposób rekurencyjny w systemie Kali Linux.

Polecam poczytać sobie manual za pomocą polecenia man wget lub spojrzeć do tłumaczenia podręcznika wget które odnalazłem.

Social-Engineer Toolkit

To narzędzie dedykowane jest bardziej pentesterom. Wykorzystywane jest do tworzenia wektorów ataków socjaltechnicznych np: stron phishingowych. Również pomijam wywód na ten temat ponieważ narzędzie SET zostało już przez nas opisane więc zapraszamy do świetnego wpisu: The Social-Engineer atak MITM.

Podsumowanie on narzędziach full website download

Ten wpis pokazuje dobitnie, że mnogość narzędzi nawet tak mniej znanych wśród użytkowników Internetu jest olbrzymia. Warto szukać, dokształcać się i czytać przede wszystkim manuale i testować polecenia. Jest to najlepsza forma nauki w formie praktyki. Należy pamiętać, że kopiowanie cudzych witryn za pomocą htttrack nie do swojego użytku i umieszczanie ich w internecie może nie być do końca zgodne z prawem. Często widzę, że ludzie kopiując szablon aukcji na allegro nie słyszeli chyba o prawie autorskim. Stronę internetową można jak najbardziej podciągnąć pod twór artystyczny już nie wspominając o znakach towarowych. Jeżeli to czytasz być może zainteresuje Cię nasz darmowy 6 częściowy kurs hakerów z wideo. Zapraszamy również do subskrypcji naszego kanału na YouTube no i oczywiście fejsa. Pozdrawiamy! ;-)




6 myśli na temat “Download a website, czyli httrack w akcji

  1. Serwer odpala się na telefonie z kalim, a śmigasz na nim przez klientaVNC z komputera lub bezpośrednio na telefonie przez aplikacje i operujesz.
    Właśnie udało mi sie po 3 testach rozgryźć jak zainstalować ten system na Androidzie chwilowo aktualizuje sie cały, zobaczymy za godzinę jak spróbuje coś na nim porobić, jak mi telefon nie zdechnie bo na 1GB ram musze utrzymać android 5.1.1 i linuxa i na 2 rdzeniach po 1.2Ghz heh

    PS: Nie wiem czy dobrze odpowiedziałem na twoje pytanie, ale chyba o to chodziło.

    PS: Jak to zadziała to przedstawię na filmie jak to zainstalować od zera itp.. bo są poradniki na youtube ale oni to robią na telefonach po 1000zł a tam system pobiera sie automatycznie do pamięci wew. a problem polega na tym, iż on nie chce sie pobierać na karte SD bezpośrednio.

  2. Oou chętnie to sprawdzę jak się mi uda postawić kaliego na Androidzie (telefon LG L65) jak to zadziała to strzeżcie się sieci publiczne… hehe

    1. Kto pentestuje na Androidzie! Pewnie ciekawe doświadczenie wydajnościowe. Rozumiem że wtedy dostęp tylko do terminala?

    2. Za pomocą aplikacji VNCViewer mam widok na pulpit systemu i z telefonum i z komputera podłączonego do tej samej sieci co telefon.
      Największy problem z instalacją linuxa na systemie android jest sama pamieć mojego telefonu, która jest mała i trzeba trochę kombinować (mam tu na myśli pamięć wewnętrzną).
      W najbliższym czasie i z tym dam rade.
      Teraz jedynie co mnie ogranicza to sam telefon, ale jak wasze poradniki będą działać na systemie postawionym na Androidzie to chętnie sie tym wam pochwale.

    3. Dzięki za komentarz Hurley! VNC? To to się śmiga za pomocą zdalnego pulpitu? Że jak? Serwer na kompie z Kalim a na telefonie używa się tylko zdalnie łącząc się z kompem?

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *