Pisah Trafik SosMed dan OL Shop Menggunakan RAW MikroTik

Selain mengunakan layer 7 protocol kita bisa juga menggunakan alamat server yang digunakan oleh video yang kita tonton di internet agar bisa kita limitasi kecepatanya menggunakan queue tree. Caranya dengan menggunakan firewall raw.

Di mikrotik router os, firewall terdiri dari beberapa tabel. Ada tabel filter, nat, mangle, serta yang terbaru adalah raw.

RAW merupakan tabel firewall yang mirip dengan tabel filter yakni menangani filtering paket. Namun raw memiliki keunggulan yaitu tidak memakan resource cpu sebanyak pada firewall filter (lebih ringan). Hal ini dikarenakan raw mampu melakukan bypass atau drop paket sebelum terjadinya proses connection tracking.

Apa itu connection tracking ? Connection tracking merupakan fitur atau kemampuan untuk melihat informasi pada koneksi yang sedang terjadi. Informasi apa ? Ya seperti source address, destination address, source and destination port, tipe protokol, dan lain sebagainya. 

Manfaat dari conn-track ini adalah firewall dapat melakukan filterisasi secara mendalam yang tentunya akan semakin memperbaik kinerja firewall tersebut. Namun disisi lain, penggunaan connection tracking juga memiliki konsekuensi yakni penggunaan resource perangkat firewall menjadi lebih tinggi khususnya pada cpu load.

Sementara itu, raw tidak menggunakan conn-track dalam proses filtering, itulah yang membuat raw menjadi lebih ramah sumber daya. Dengan kemampuannya tersebut, raw dapat digunakan untuk melakukan dropping paket dalam jumlah yang banyak (cocok digunakan untuk mitigasi serangan DDOS)

Firewall raw sebenarnya hampir sama dengan fire filters, namun yang membedakan firewall raw dinilai lebih ringan karena tidak menggunakan resource cpu yang tinggi. Salah satunya kita bisa menggunakan firewall raw untuk pisah trafik streaming video.

Tambahkan address list untuk alamat ip client lokal kita(client yang menggunakan interet dari router) caranya masuk 

ip - firewall - address list - add

/ip firewall address-list

add address=192.168.2.0/24 list=LOKAL

add address=192.168.3.0/24 list=LOKAL

Masukan semua alamat ip yang digunakan oleh client yang ingin di limitasi bandwidth/pisah trafik streaming video. Kecuali alamat ip ISP.

kemudian setelah kita membuat address list, kita buat firewall raw untuk mendapatkan alamat server dari trafik SosMed dan OL Shop. 

ip - firewall - raw - add

• chain = prerouting
• src. address list = -LOKAL (yang tadi di buat)
• content = .lazada.com
• action = add dst to address list (untuk menangkap ip content SosMed atau OL Shop)
• address list = SosMed atau OL-Shop

Read More

Memisah Bandwidth Lokal (IIX) dan Internasional (IX) - Bagian 2

Mulai Mikrotik RouterOS versi 2.9, dikenal dengan fitur yang disebut IP Address List. Fitur ini adalah pengelompokan IP Address tertentu dan setiap IP Address tersebut bisa kita namai. Kelompok ini bisa digunakan sebagai parameter dalam mangle, firewall filter, nat, ataupun queue.

Pengaturan IP Address List

Mikrotik Indonesia telah menyediakan daftar IP Address yang diadvertise di OpenIXP dan IIX, yang bisa didownload dengan bebas di URL: http://www.mikrotik.co.id/getfile.php?nf=nice.rsc

File nice.rsc ini dibuat secara otomatis di server Mikrotik Indonesia setiap jam, dan merupakan data yang telah dioptimalkan untuk menghilangkan duplikasi entri dan tumpang tindih subnet. Saat ini jumlah baris pada script tersebut berkisar 7000 baris.

Contoh isi file nice.rsc : 

Proses pengambilan file nice.rsc bisa dilakukan langsung dari terminal di RouterOS dengan perintah :

/tool fetch address=ixp.mikrotik.co.id src-path=/download/nice.rsc mode=http;

atau bisa juga

/tool fetch url="http://ixp.mikrotik.co.id/download/nice.rsc" mode=http

Kemudian, import-lah file tersebut.

[admin@MikroTik] > import nice.rsc

Opening script file nice.rsc
Script file loaded and executed successfully

Pastikan bahwa proses import telah berlangsung dengan sukses, dengan mengecek Address-List pada Menu IP - Firewall.

Proses upload ini dapat juga dilakukan secara otomatis jika memiliki pengetahuan scripting. Misalnya  membuat shell script pada Linux untuk melakukan download secara otomatis dan mengupload file secara otomatis setiap pk 06.00 pagi. Kemudian tinggal membuat scheduler pada router untuk melakukan import file.

Jika menggunakan RouterOS versi 3.x, proses update juga dapat dilakukan secara otomatis.

Perintah yang perlu dibuat adalah : 

/system sched add comment=�update-nice� disabled=no interval=1d name=�update-nice-rsc� on-event=�:if ([:len [/file find name=nice.rsc]] > 0) do={/file remove nice.rsc }; /tool fetch address=ixp.mikrotik.co.id src-path=/download/nice.rsc mode=http;/import nice.rsc� start-date=jan/01/1970 start-time=06:00:00

atau

/system sched add comment=�update-nice� disabled=no interval=1d name=�update-nice-rsc� on-event=�:if ([:len [/file find name=nice.rsc]] > 0) do={/file remove nice.rsc }; /tool fetch url=http://ixp.mikrotik.co.id src-path=/download/nice.rsc mode=http;/import nice.rsc� start-date=jan/01/1970 start-time=06:00:00

Hati-hati! Setelah copy paste, pastikan hasil copy paste sama persis. Proses copy paste kadang-kadang menghilangkan beberapa karakter tertentu.

Pengaturan Mangle

Langkah selanjutnya adalah membuat mangle. Kita perlu membuat 1 buah connection mark dan 2 buah packet mark, masing-masing untuk trafik internasional dan lokal. 

Untuk rule #0, pastikanlah bahwa Anda memilih interface yang mengarah ke client. Untuk chain, kita menggunakan prerouting, dan untuk kedua packet-mark, kita menggunakan passthrough=no.

/ip firewall mangle

add chain=prerouting in-interface=ether-LAN dst-address-list=nice action=mark-connection new-connection-mark=Koneksi-IIX passthrough=yes

add chain=prerouting connection-mark=Koneksi-IIX action=mark-packet new-packet-mark=Paket-IIX passthrough=no

add chain=prerouting action=mark-packet new-packet-mark=Paket-Internasional passthrough=no

Pengaturan Simple Queue

Untuk setiap client, kita harus membuat 2 buah rule simple queue. Pada contoh berikut ini, kita akan melakukan limitasi untuk IP client 100.10.5.1/24 dan client lain yang terkoneksi dengan port mikrotik kita, dan kita akan memberikan limitasi IIX (up/down) sebesar 512k/10M, dan untuk internasional sebesar (up/down) 512k/5M.

Pengecekan Akhir

Setelah selesai, lakukanlah pengecekan dengan melakukan akses ke situs lokal maupun ke situs internasional, dan perhatikanlah counter baik pada firewall mangle maupun pada simple queue.

Read More

Memisah Bandwidth Lokal (IIX) dan Internasional (IX) - Bagian 1

IX (international eXchange) dan IXP (international eXchange point) IX atau IXP adalah infrastruktur fisik yang memungkinkan penyedia layanan Internet (ISP) dan Jaringan Pengiriman Konten (CDNs) menukar lalu lintas Internet antara jaringan mereka ke international dengan kata lain IX adalah link luar negeri / website / CDN yang berada di luar negeri

IIX singkatan dari Indonesia Internet eXchange. Sedang OpenIXP adalah singkatan dari Open Internet eXchange Point kedua exhange point tersebut berada di jakarta.

IIX atau OpenIXP terdiri dari beberapa ISPs (Internet Service Provider) di seluruh Indonesia. IIX dijalankan oleh organisasi bernama APJII. Sedangkan OpenIXP dijalankan oleh perusahaan datacenter yang bernama IDC (Indonesia Data Center).

Beberapa ISP menawarkan bandwidth yang berbeda antara koneksi IIX dan IX (Internasional) Yang kadang menjadi kebingungan bagi pelanggan dan calon pelanggan adalah pada suatu IP address tujuan apakah termasuk kategori IIX atau IX? Hal ini ditambah lagi dengan ada bandwidth tambahan seperti MCSIX, PGASCOM atau SDIIX yang terkadang dimasukkan dalam jalur IIX ISP. Tambah bingung kan?

ISP juga membantu dengan memberi list IIX++ tapi jumlah nya yang ribuan (bahkan ada yang sampai puluhan ribu), membuat Router SOHO kembang kempis untuk mengimpor dan mengeksekusi list.

Jalur IIX++ itu biasanya digunakan untuk konten yang bersifat CDN. Dalam promosi nya, ISP meng-klaim bahwa youtube tanpa buffer karena lewat jalur IIX++. facebook lebih cepat karena lewat jalur IIX++. Akamai juga lebih cepat, karena juga dihitung lewat IIX++.

Nah, sebagai pelanggan bagaimana mengetahui jalur yang digunakan itu termasuk jalur yang mana? Apa benar youtube dan facebook lewat IIX++?

Secara manual untuk menentukan suatu IP Address termasuk bandwidth mana yang diberikan ISP, salah satu cara nya dengan melalui fungsi traceroute pada mikrotik.

Adakah solusi lain cara menentukan bandwidth dengan tujuan IP address tertentu pada router klien? Tanpa import list dari ISP dan tanpa menggunakan cara manual dengan traceroute. Ada, salah satu dengan pengiriman informasi routing dari ISP ke router pelanggan (BGP peer). Untuk hal ini dapat ditanyakan ke masing-masing ISP yang bersangkutan. Apakah ISP mau mengirim dinamik routing dengan protocol BGP kepada klien nya.

(Sumber : https://www.itbali.org/e-library/apa-itu-ix-dan-iix/ )

Dengan metode queue tree serta menambahkan address list pada setinggan mikrotik dan membagi jaringan menjadi beberapa segmen (VLAN), diharapkan cara ini efektif untuk memanage pemakaian bandwidth disetiap segmen jaringan sehingga setiap user yang terhubung dalam segment jaringan dapat mendapat akses internet sesuai dengan yang ditentukan oleh administrator jaringan. Management bandwidth pemisahan trafik lokal dan internasional melalui address list dengan metode queue tree merupakan salah satu teknik management bandwidth dalam fitur mikrotik yang lebih detail sehingga mampu memaksimalkan alokasi bandwidth, sehingga akan meningkatkan kualitas pelayanan jaringan (Quality of Service)

Bagaimana cara melakukan pemisahan queue untuk trafik internet internasional dan trafik ke internet Indonesia (OpenIXP dan IIX).

Pada artikel ini, diasumsikan bahwa:

1. Router Mikrotik melakukan Masquerading / src-nat untuk client. Client menggunakan IP privat.
2. Gateway yang digunakan hanya satu, baik untuk trafik internasional maupun IIX.
3. Bisa menggunakan web-proxy internal ataupun tanpa web-proxy. Jika menggunakan web-proxy, maka ada beberapa tambahan rule yang perlu dilakukan. Perhatikan bagian NAT dan MANGLE pada contoh.

Jika ada parameter di atas yang berbeda dengan kondisi di lapangan, maka konfigurasi yang ada di artikel ini harus dimodifikasi sesuai dengan konfigurasi network yang ada.

Lanjut Bagian-2

Read More

Brosur SMP An-Nur 2022/2023

Penerimaan Peserta Didik Baru di SMP An-Nur Bululawang

Read More

Setting Port PPPoE dan Hotspot Dalam 1 Router D-Link DIR-612

Berikut hasil browsing tentang spesifikasi Router D-Link DIR-612 :

DIR-612 menciptakan jaringan nirkabel rumah berkecepatan tinggi hingga 300 Mbps untuk memenuhi kebutuhan transfer data, web surfing dan game online tanpa gangguan. Antena eksternal meningkatkan jangkauan jaringan nirkabel Anda sehingga Anda dapat menghindari dead spot dan mendapatkan koneksi yang handal di seluruh bagian rumah Anda. DIR-612 juga memiliki fitur Repeater, yang dapat memperluas jangkauan jaringan nirkabel yang ada untuk mencapai sudut terjauh dari rumah atau kantor kecil.

Konektivitas yang fleksibel untuk semua perangkat Anda DIR-612 menjamin koneksi Anda, tidak peduli apakah Anda menggunakan desktop atau laptop PC, smartphone, atau tablet. Empat port Ethernet 10/100 menyediakan konektivitas yang cepat dan handal untuk perangkat kabel Anda, sementara Wireless N300 memungkinkan Anda menghubungkan semua perangkat nirkabel Anda di rumahmu. Anda dapat bermain online dengan game console, melihat video online pada smartphone Anda secara bersamaan Wireless N300 Router memungkinkan Anda mengakses internet dengan semua perangkat Anda. Konektivitas Port Internet dengan kecepatan 10/100 untuk koneksi broadband Internet dengan kecepatan tinggi Empat port LAN 10/100 dapat menghubungkan perangkat melalui kabel Ethernet untuk aktivitas berkecepatan tinggi Teknologi Wireless N untuk meningkatkan kecepatan dan jangkauan, ditambah dengan fitur Repeater Mode untuk memperluas jangkauan wireless Anda

Sistem Keamanan Firewall NAT untuk mengatur lalu lintas data dan menghindari intrusi dari luar Wi-Fi Protected Setup (WPS) memudahkan Anda menambah perangkat ke jaringan Anda secara aman Enkripsi WPA/WPA2 mengamankan jaringan wireless Anda Mudah digunakan Pengaturan melalui web browser

Hanya saja di pasaran ada 2 macam D-Link DIR-612, yang mana saya pribadi juga tidak tahu kenapa ada 2 macam.

Berikut penampakannya pada saat Browsing di mbah google.com

Yang pertama adalah D-Link DIR-612 dengan cat Glossy (kilap), tampak DEPAN & BELAKANG beserta tampilan Web Settingnya

Yang kedua adalah D-Link DIR-612 dengan cat DOFF (buram), tampak DEPAN & BELAKANG beserta tampilan Web Settingnya

Untuk pembahasan Setting Port PPPoE dan Hotspot Dalam 1 Router D-Link DIR-612 yang digunakan adalah D-Link DIR-612 cat DOFF.

Dimana router server menggunakan Mikrotik RB450GX4

Berikut tampilan settingnya dalam bentuk gambar secara umum.

Read More

Setting PPPoE Server di MikroTik

PPPoE itu singkatan dari Point-to-Point-Protocol over Ethernet, termasuk bagian fitur PPP yang ada di router MikroTik. PPPoE merupakan fitur koneksi antara server (mikrotik) dan client melalui ethernet dengan tingkat keamanan yang bagus. PPPoE sangat aman dari netcut karena setiap client membentuk koneksi point to point kepada server gateway (mikrotik) secara private tanpa terhubung ke client lain dibawah router mikrotik yang sama.

Pengertian PPPoE

PPPoE adalah metode koneksi langsung point-to-point antara dua perangkat jaringan melalui ethernet secara tunnel dan bersifat pribadi,  sehingga layanan pppoe dapat menyediakan otenkasi (client butuh login, butuh dial-up ke server untuk mendapatkan koneksi), transmisi data terenkripsi dan terkompresi. Pada sistem layanan PPPoE, setiap koneksi yang terbentuk antara server dan client akan membentuk virtual interface dibawah ethernet pelayan.

Fungsi dan Kegunaan PPPoE

Sistem PPPoE banyak dipakai pada distribusi jaringan WAN atau MAN seperti ISP, mini ISP, RTRW NET, Desa NET. PPPoE begitu banyak dipakai oleh para network engineer. Hal ini disebabkan karena link yang dibangun dengan protokol PPPoE adalah jauh lebih aman dari pada distribusi menggunakan Static IP dan DHCP Server biasa dan juga Hotspot. Kalau saya list kan fungsi dan manfaat pppoe adalah sebagai berikut: 

• Sarana sharing internet alternatif selain hotspot 
• Sarana distribusi jaringan internet dari ISP ke client permanen / client bayar bulanan, kalau hotspot untuk client yang beli voucher harian, per jam, atau perminggu 
• Mendukung lalu-lintas data tak terbatas / unlimited transfer rate
• Mudah dalam pembagian bandwidth per user 
• Sangat aman dari netcut dan aman dari tools hacking tanpa pusing dengan rule firewall 
• PPPoE tidak membutuh DHCP server, namun boleh pakai ip-pool kalau Anda ingin client mendapatkan ip dinamis melalui profiles, atau client akan mendapat ip static dengan menentukan local address dan remote address (baca bagian setting dibawah ini), dan lain-lain

Cara Membuat PPPoE Server di MikroTik

Langkah pertama, buatlah pppoe server Mikrotik pada interface yang mengarah ke client. Misalnya menggunakan interface ether5. Lakukan konfigurasi via Winbox seperti berikut :

• Klik PPP
• Kemudian klik +
• Service Name : pppoe
• interface: pilih ethernet yg dipakai hotspot server, contoh:  ether5
• centang pada One Session Per Host
• simpan dengan klik Apply dan OK

    Langkah kedua, membuat profiles ppp : 

•     klik tab profiles
•     klik +
•     pada General isi kolom Name : paket 1Mbps atau paket 2Mbps

    pada tab protocol, use compression: yes, use encription : yes, sisanya default saja.

    selanjutnya klik tab Limits :

•     tentukan Rate Limit (rx/tx), rx adalah upload, tx adalah download, 
•     satuannya k untuk Kbps, dan M untuk Mbps.
•     Only one pilih yes untuk limit session. 
•     Klik Apply dan OK

Langkah ketiga, tentukan user dan password untuk client yang ingin terhubung ke Mikrotik menggunakan pppoe. 

Masuk tab Secrets pada menu PPP kemudian anda tentukan user name, password, pilih profile yang udah dibuat, sebaiknya tiap user dibuat berbeda local address dan remote addressnya

Jika client sudah berhasil terhubung / login pppoe sukses, Anda bisa lihat status client di winbox pada menu PPP ➔ Active Connections 

Apabila sudah client berhasil dial-up ke server, maka tinggal bikin NAT, caranya :
klik menu IP ➔ Firewall ➔ NAT
klik +
Tab General
  - chain = srcnat
  - src. address = 50.10.5.0/24
Tab Action
  - action = masquerade

Read More

Setting HOTSPOT Untuk Pemula

Router Mikrotik memiliki banyak fitur, salah satu fitur yang cukup populer dan banyak digunakan adalah Hotspot. Yang sering kita jumpai adalah ketika menemukan sinyal internet wifi yang di password dan jika ingin mengakses wifi tersebut harus tahu password-nya terlebih dahulu.

Namun berbeda dengan Hotspot, kebanyakan wifi hotspot tidak di password dan semua user bisa connect dan akan diarahkan ke halaman login di Web Browser. Tiap user bisa login dengan username dan password yang berbeda-beda. Metode semacam inilah yang sering kita temukan di Hotel, Kampus, Cafe, Sekolah, Kantor, maupun area publik lainnya.

Sebenarnya hotspot tidak hanya bisa diaplikasikan untuk jaringan wireless saja, namun juga bisa untuk jaringan kabel. Kelebihan Hotspot adalah kita dapat mengkonfigurasi jaringan yang hanya bisa digunakan dengan username dan password tertentu. Kita juga dapat melakukan manajemen terhadap user-user tersebut. Misalnya, mengatur durasi total penggunaan hotspot per user, membatasi berapa besar data yang dapat di download tiap user, mengatur konten apa saja yang boleh diakses user, dll.

Hotspot merupakan fitur gabungan dari berbagai service yang ada di Mikrotik, antara lain :

• ·         DHCP server, digunakan untuk memberi layanan IP otomatis ke user
• ·         Firewall NAT, untuk mentranslasi IP user ke IP yang bisa dikenali ke internet
• ·         Firewall filter, untuk memblock user yang belum melakukan login
• ·         Proxy, untuk memberikan tampilan halaman login
• ·         dan sebagainya

(Sumber : https://citraweb.com/artikel_lihat.php?id=125)

Berikut cara setting Koneksi Hotspot di Mikrotik (situasi dan kondisi bisa berbeda di setiap lokasi dan hardware yang digunakan)

Buka di menu IP > Hotspot > Hotspot Setup.

Dengan menekan tombol Hotspot Setup, wizard Hotspot akan menuntun kita untuk melakukan setting dengan menampilkan kotak-kotak dialog pada setiap langkah nya.

Langkah pertama, kita diminta untuk menentukan interface mana Hotspot akan diaktifkan. Pada kasus kali ini, Hotspot diaktifkan pada wlan1, dimana wlan1 sudah kita set sebagai access point (ap-bridge). Selanjutnya klik Next.

Jika di interface wlan1 sudah terdapat IP, maka pada langkah kedua ini, secara otomatis terisi IP Address yang ada di wlan1. Tetapi jika belum terpasang IP, maka kita bisa menentukan IP nya di langkah ini. Kemudian Klik Next.

Langkah ketiga, tentukan range IP Address yang akan diberikan ke user (DHCP Server). Secara default, router otomatis memberikan range IP sesuai dengan prefix/subnet IP yang ada di interface. Tetapi kita bisa merubahnya jika dibutuhkan. Lalu klik Next.

Langkah selanjutnya, menentukan SSL Certificate jika kita akan menggunakan HTTPS untuk halaman loginnya. Tetapi jika kita tidak memiliki sertifikat SSL, kita pilihl none, kemudian klik Next

Jika diperlukan SMTP Server khusus untuk server hotspot bisa ditentukan, sehingga setiap request SMTP client diredirect ke SMTP yang kita tentukan. Karena tidak disediakan smtp server, IP 0.0.0.0 kami biarkan default. Kemudian klik Next.

Di langkah ini, kita meentukan alamat DNS Server. Anda bisa isi dengan DNS yang diberikan oleh ISP atau dengan open DNS. Sebagai contoh, kita menggunakan DNS Server Google. Lalu klik Next.

Selanjutnya kita diminta memasukkan nama DNS untuk local hotspot server. Jika diisikan, nantinya setiap user yang belum melakukan login dan akan akses ke internet, maka browser akan dibelokkan ke halaman login ini. Disini DNS name sebaiknya menggunakan format FQDN yang benar. Jika tidak diisikan maka di halaman login akan menggunakan url IP address dari wlan1. Pada kasus ini, nama DNS-nya diisi "hotspot.mikrotik.co.id". Lalu klik Next.

Langkah terakhir, tentukan username dan pasword untuk login ke jaringan hotspot Anda. Ini adalah username yang akan kita gunakan untuk mencoba jaringan hotspot kita.

Sampai pada langkah ini, jika di klik Next maka akan muncul pesan yang menyatakan bahwa setting Hotspot telah selesai.

Selanjutnya kita akan mencoba mengkoneksikan laptop ke wifi hotspot yang sudah kita buat. Kemudian buka browser dan akses web sembarang (pastikan Anda mengakses web yang menggunakan protokol http, karena hotspot mikrotik belum mendukung untuk redirect web yang menggunakan https), maka Anda akan dialihkan ke halaman login hotspot seperti pada gambar berikut ini:

Untuk mencobanya, silahkan coba login dengan username dan password yang telah Anda buat pada langkah sebelumnya. Jika berhasil login maka akan membuka halaman web yang diminta dan membuka popup halaman status Hotspot.

Koneksi bisa dilakukan melalaui wifi menggunakan smartphone, laptop maupun PC yg terkoneksi dengan kabel LAN.

Untuk smartphone dengan OS Android terbaru kadang akan bermasalah jika MAC Address Acak diaktifkan. Solusinya bisa klik disini

Read More

Tentang robots.txt

Robots.txt terkait sangat erat dengan suksesnya sebuah strategi SEO. Dengan menggunakan file robots.txt, bot mesin pencari dapat berinteraksi secara lebih baik dengan website yang Anda kelola. Untuk memahami apa dan bagaimana robots.txt, kita akan membahasnya satu persatu pada artikel ini.

Apa itu robots.txt?

Secara sederhana robots.txt adalah rangkaian file berbentuk text yang berisi instruksi kepada mesin pencari seperti Google. Dengan memberikan robots.txt pada website maka website akan memberikan tanda kepada Google ke mana saja akses yang harus dilakukan dan halaman mana saja yang perlu diindeks.

Oleh karena itu, robots.txt akan membuat artikel website lebih mudah dan lebih cepat diindeks di mesin pencari seperti Google. Sehingga, peringkat halaman artikel Anda akan lebih cepat naik di halaman hasil pencarian Google. Robots.txt juga dapat memisahkan halaman yang tidak ingin Anda tampilkan di dalam mesin pencari. Fungsi lain dari file ini juga untuk menghalangi beberapa mesin pencari melakukan crawl ke website Anda sehingga beban website akan tetap terjaga.

File robots.txt terletak di dalam folder root server penyimpanan situs yang biasa disebut sebagai folder public_html. Namun file ini adalah file virtual yang tidak dapat diakses ataupun diganti melalui direktori manapun. Sehingga, ketika Anda ingin memperbarui file ini, Anda harus membuat sendiri file robots.txt yang diletakan di dalam folder public_html dan memasukan skrip konfigurasi secara manual.

Konfigurasi robots.txt

Konfigurasi robots.txt termasuk cukup sederhana karena hanya berisi beberapa instruksi saja. Berikut ini adalah contoh konfigurasi file robots.txt.

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

User-agent: Bingbot

Diasallow: /

Kode robot.txt diawali dengan teks user-agent: * dan diikuti oleh kode dari bot yang akan menunjukan dan menerapkan pengaturan website. Tanda bintang (*) setelah teks user_agent dapat diartikan sebagai pengaturan universal

Misalkan Anda ingin menambahkan atau mengizinkan beberapa mesin pencari untuk melakukan crawl, Anda cukup menambahkan beberapa baris skrip seperti di bawah ini.

User-agent: Mediapartners-Google

Allow: /

User-agent: Adsbot-Google

Allow: /

User-agent: Googlebot-Mobile

Allow: /

Sitemap: www.area27b.net/sitemap.xml

User-agent adalah instruksi yang digunakan untuk mendeskripsikan rule jenis/nama robot. Allow untuk menambahkan bagian mana yang dapat diakses oleh robot, dan disallow untuk mendeskripsikan bagian yang tidak boleh diakses oleh robot. Jika tidak terdapat skrip disallow: maka mesin pencari dapat memindai keseluruhan isi website.

Dengan menggunakan skrip diatas, Anda akan mengarahkan mesin pencari untuk memindai isi dari sebuah website. Sebagai contoh, jika website yang Anda kelola memiliki beberapa image yang tidak ingin terbaca oleh Google maka Anda dapat membuat skrip disallow: /images/ (disallow folder images) untuk memberikan instruksi kepada Google agar tidak memindai gambar tersebut.

• Disallow: [Setidaknya satu atau beberapa entri Disallow atau Allow per aturan] Direktori atau halaman, yang terkait dengan domain root, yang tidak ingin di-crawl agen pengguna. Jika aturan mengacu pada halaman, nama tersebut harus berupa nama halaman lengkap seperti yang ditampilkan di browser; jika merujuk ke direktori, seharusnya diakhiri dengan tanda /.
• Allow: [Minimal satu atau beberapa entri Disallow atau Allow per aturan] Direktori atau halaman, yang terkait dengan domain root, yang mungkin di-crawl oleh agen pengguna sebagaimana disebutkan di artikel bantuan ini. Ini digunakan untuk mengganti perintah Disallow guna mengizinkan crawling subdirektori atau halaman dalam direktori yang tidak diizinkan. Untuk satu halaman, nama halaman lengkap seperti yang ditampilkan di browser harus ditentukan. Untuk direktori, aturan harus diakhiri dengan tanda /.
• Sitemap: [Opsional, nol atau lebih per file] Lokasi peta situs untuk situs ini. URL peta situs harus berupa URL yang sepenuhnya memenuhi syarat; Google tidak menganggap atau memeriksa alternatif http/https/www.non-www. Peta situs adalah cara yang tepat untuk menunjukkan konten mana yang boleh di-crawl oleh Google, bukan konten mana yang dapat atau tidak dapat di-crawl. Contoh:

Sitemap: https://example.com/sitemap.xml

Sitemap: http://www.example.com/sitemap.xml

Semua perintah, kecuali sitemap, mendukung karakter pengganti * untuk awalan jalur akhiran, atau string secara keseluruhan.

Baris yang tidak cocok dengan perintah ini akan diabaikan.

Contoh file lainnya

File robots.txt terdiri dari satu atau beberapa grup, yang masing-masing diawali dengan baris User-agent yang menentukan target dari grup tersebut. Berikut adalah sebuah file dengan dua grup; komentar inline menjelaskan setiap grup:

# Block googlebot from example.com/directory1/... and example.com/directory2/...

# but allow access to directory2/subdirectory1/...

# All other directories on the site are allowed by default.

User-agent: googlebot

Disallow: /directory1/

Disallow: /directory2/

Allow: /directory2/subdirectory1/

# Block the entire site from anothercrawler.

User-agent: anothercrawler

Disallow: /

Harap baca seluruh dokumentasi tersebut karena ada beberapa hal rumit dan penting untuk dipelajari pada sintaksis robots.txt.

 

Read More

Protected Page pada Halaman Blog

Suatu halaman pada situs blogspot yang kita buat bisa dibuka/dibaca dengan syarat mengisi Password atau Kata Kunci yang dalam bahasa Inggris disebut "Protected Page". Artinya, halaman atau postingan diberikan pengamanan berupa password (kata sandi), sehingga hanya pengunjung tertentu yang bisa mengakses atau membukanya.

Caranya dapat dicoba sebagai berikut :

1. Buat halamannya: klik menu Pages > New Page
2. Silakan isi dulu halamannya, hingga selesai.
3. Klik mode "HTML"
4. Copas kode berikut ini di dalamnya, di bagian paling bawah atau paling atas (sebelum atau sesudah isi halaman).
5. Ganti tulisan warna MERAH dengan password yang anda inginkan

<script language="JavaScript">

var password;

var pass1="PASSWORD";

 

Read More