1. Home
  2. Forums Index
  3. Server Side / Apache Web Server 4:20 pm May 22, 2026

Forum Moderators: phranque

Message Too Old, No Replies

.htaccess blocklist

         

Scooter24

11:28 am on Jan 2, 2008 (gmt 0)

10+ Year Member Top Contributors Of The Month



I'd like to update the "blocklist" of my .htaccess file. This is designed to block email harvesting tools, site download tools and other bad bots. I set up the list a couple of years ago and would like to know which of the below entries is no longer necessary:

SetEnvIf User-Agent ^DA getout
SetEnvIf User-Agent ^User-Agent getout
SetEnvIf User-Agent iCab getout
SetEnvIfNoCase Referer iaea\.org getout
SetEnvIfNoCase User-Agent Frontpage getout
SetEnvIfNoCase User-Agent "China Local Browse" getout
SetEnvIfNoCase User-Agent "Educate Search" getout
SetEnvIfNoCase User-Agent "Franklin Locator" getout
SetEnvIfNoCase User-Agent "Full Web Bot" getout
SetEnvIfNoCase User-Agent "IUFW Web" getout
SetEnvIfNoCase User-Agent "Indy Library" getout
SetEnvIfNoCase User-Agent "Mac Finder" getout
SetEnvIfNoCase User-Agent "Missigua Locator" getout
SetEnvIfNoCase User-Agent "^Express WebPictures" getout
SetEnvIfNoCase User-Agent "^Internet Ninja" getout
SetEnvIfNoCase User-Agent "^MFC Foundation" getout
SetEnvIfNoCase User-Agent "^links sql" getout
SetEnvIfNoCase User-Agent "demo bot" getout
SetEnvIfNoCase User-Agent "full web bot" getout
SetEnvIfNoCase User-Agent "production bot" getout
SetEnvIfNoCase User-Agent Alligator getout
SetEnvIfNoCase User-Agent Bandit getout
SetEnvIfNoCase User-Agent Collector getout
SetEnvIfNoCase User-Agent Copier getout
SetEnvIfNoCase User-Agent Download getout
SetEnvIfNoCase User-Agent EasyDL getout
SetEnvIfNoCase User-Agent GetRight getout
SetEnvIfNoCase User-Agent HTTrack getout
SetEnvIfNoCase User-Agent HttpClient getout
SetEnvIfNoCase User-Agent MSIECrawler getout
SetEnvIfNoCase User-Agent Ninja getout
SetEnvIfNoCase User-Agent Offline getout
SetEnvIfNoCase User-Agent Reaper getout
SetEnvIfNoCase User-Agent Stripper getout
SetEnvIfNoCase User-Agent Sucker getout
SetEnvIfNoCase User-Agent TECOMAC getout
SetEnvIfNoCase User-Agent Teleport getout
SetEnvIfNoCase User-Agent WWWOFFLE getout
SetEnvIfNoCase User-Agent WebCapture getout
SetEnvIfNoCase User-Agent Widow getout
SetEnvIfNoCase User-Agent ^.*Demon getout
SetEnvIfNoCase User-Agent ^About getout
SetEnvIfNoCase User-Agent ^Active getout
SetEnvIfNoCase User-Agent ^AnswerChase getout
SetEnvIfNoCase User-Agent ^Ants getout
SetEnvIfNoCase User-Agent ^Atom getout
SetEnvIfNoCase User-Agent ^BatchFTP getout
SetEnvIfNoCase User-Agent ^BlitzBOT getout
SetEnvIfNoCase User-Agent ^Buddy getout
SetEnvIfNoCase User-Agent ^Cartographer getout
SetEnvIfNoCase User-Agent ^CherryPicker getout
SetEnvIfNoCase User-Agent ^ChinaClaw getout
SetEnvIfNoCase User-Agent ^Crawl_Application getout
SetEnvIfNoCase User-Agent ^Crawler getout
SetEnvIfNoCase User-Agent ^Crescent getout
SetEnvIfNoCase User-Agent ^Custo getout
SetEnvIfNoCase User-Agent ^DISCo getout
SetEnvIfNoCase User-Agent ^DLExpert getout
SetEnvIfNoCase User-Agent ^DaviesBot getout
SetEnvIfNoCase User-Agent ^Drip getout
SetEnvIfNoCase User-Agent ^Email getout
SetEnvIfNoCase User-Agent ^Extractor getout
SetEnvIfNoCase User-Agent ^EyeNetIE getout
SetEnvIfNoCase User-Agent ^FileHound getout
SetEnvIfNoCase User-Agent ^FlashGet getout
SetEnvIfNoCase User-Agent ^Genie getout
SetEnvIfNoCase User-Agent ^Get getout
SetEnvIfNoCase User-Agent ^Go!Zilla getout
SetEnvIfNoCase User-Agent ^Go-Ahead-Got-It getout
SetEnvIfNoCase User-Agent ^Grafula getout
SetEnvIfNoCase User-Agent ^HMVie getout
SetEnvIfNoCase User-Agent ^IBrowse getout
SetEnvIfNoCase User-Agent ^IP?Works getout
SetEnvIfNoCase User-Agent ^IncyWincy getout
SetEnvIfNoCase User-Agent ^InterGET getout
SetEnvIfNoCase User-Agent ^Iria getout
SetEnvIfNoCase User-Agent ^JOC getout
SetEnvIfNoCase User-Agent ^Jack getout
SetEnvIfNoCase User-Agent ^Java getout
SetEnvIfNoCase User-Agent ^JetCar getout
SetEnvIfNoCase User-Agent ^JoBo getout
SetEnvIfNoCase User-Agent ^JustView getout
SetEnvIfNoCase User-Agent ^LexiBot getout
SetEnvIfNoCase User-Agent ^Lifeboat getout
SetEnvIfNoCase User-Agent ^Linkbot getout
SetEnvIfNoCase User-Agent ^LncSoft* getout
SetEnvIfNoCase User-Agent ^Lockstep getout
SetEnvIfNoCase User-Agent ^MARS getout
SetEnvIfNoCase User-Agent ^MIDown getout
SetEnvIfNoCase User-Agent ^MIIxpc getout
SetEnvIfNoCase User-Agent ^MOT-CF getout
SetEnvIfNoCase User-Agent ^Magnet getout
SetEnvIfNoCase User-Agent ^Marvin getout
SetEnvIfNoCase User-Agent ^Mass getout
SetEnvIfNoCase User-Agent ^Mata.*Hari.* getout
SetEnvIfNoCase User-Agent ^Memo getout
SetEnvIfNoCase User-Agent ^Microsoft getout
SetEnvIfNoCase User-Agent ^MindSpider getout
SetEnvIfNoCase User-Agent ^Mirror getout
SetEnvIfNoCase User-Agent ^Mister getout
SetEnvIfNoCase User-Agent ^Mozzila/4* getout
SetEnvIfNoCase User-Agent ^NICErsPRO getout
SetEnvIfNoCase User-Agent ^Navman getout
SetEnvIfNoCase User-Agent ^NearSite getout
SetEnvIfNoCase User-Agent ^Net getout
SetEnvIfNoCase User-Agent ^Nitro getout
SetEnvIfNoCase User-Agent ^Octopus getout
SetEnvIfNoCase User-Agent ^Papa getout
SetEnvIfNoCase User-Agent ^PingALink getout
SetEnvIfNoCase User-Agent ^Pockey getout
SetEnvIfNoCase User-Agent ^Pump getout
SetEnvIfNoCase User-Agent ^RMA getout
SetEnvIfNoCase User-Agent ^ReGet getout
SetEnvIfNoCase User-Agent ^Recorder getout
SetEnvIfNoCase User-Agent ^RepoMonke getout
SetEnvIfNoCase User-Agent ^Siphon getout
SetEnvIfNoCase User-Agent ^SlySearch getout
SetEnvIfNoCase User-Agent ^Smart getout
SetEnvIfNoCase User-Agent ^Snagger getout
SetEnvIfNoCase User-Agent ^Snake getout
SetEnvIfNoCase User-Agent ^SpaceBison getout
SetEnvIfNoCase User-Agent ^Sqworm getout
SetEnvIfNoCase User-Agent ^SuperBot getout
SetEnvIfNoCase User-Agent ^SuperHTTP getout
SetEnvIfNoCase User-Agent ^Surfairy getout
SetEnvIfNoCase User-Agent ^Surfbot getout
SetEnvIfNoCase User-Agent ^Szukacz getout
SetEnvIfNoCase User-Agent ^Tateji getout
SetEnvIfNoCase User-Agent ^Tcl getout
SetEnvIfNoCase User-Agent ^Telesoft getout
SetEnvIfNoCase User-Agent ^Vacuum getout
SetEnvIfNoCase User-Agent ^VoidEYE getout
SetEnvIfNoCase User-Agent ^WPF getout
SetEnvIfNoCase User-Agent ^Web getout
SetEnvIfNoCase User-Agent ^Wget getout
SetEnvIfNoCase User-Agent ^Whacker getout
SetEnvIfNoCase User-Agent ^Xaldon getout
SetEnvIfNoCase User-Agent ^ZBot getout
SetEnvIfNoCase User-Agent ^Zeus getout
SetEnvIfNoCase User-Agent ^attach getout
SetEnvIfNoCase User-Agent ^back getout
SetEnvIfNoCase User-Agent ^bloodhound getout
SetEnvIfNoCase User-Agent ^brain getout
SetEnvIfNoCase User-Agent ^clickgarden getout
SetEnvIfNoCase User-Agent ^cosmos getout
SetEnvIfNoCase User-Agent ^curl getout
SetEnvIfNoCase User-Agent ^dnloadmage getout
SetEnvIfNoCase User-Agent ^eCatch getout
SetEnvIfNoCase User-Agent ^flashsite getout
SetEnvIfNoCase User-Agent ^flunky getout
SetEnvIfNoCase User-Agent ^gazz getout
SetEnvIfNoCase User-Agent ^gotit getout
SetEnvIfNoCase User-Agent ^gues getout
SetEnvIfNoCase User-Agent ^htdig getout
SetEnvIfNoCase User-Agent ^ia_archiver getout
SetEnvIfNoCase User-Agent ^ineta getout
SetEnvIfNoCase User-Agent ^infoGIST getout
SetEnvIfNoCase User-Agent ^iseeker getout
SetEnvIfNoCase User-Agent ^larbin getout
SetEnvIfNoCase User-Agent ^leech getout
SetEnvIfNoCase User-Agent ^lftp getout
SetEnvIfNoCase User-Agent ^libW getout
SetEnvIfNoCase User-Agent ^likse getout
SetEnvIfNoCase User-Agent ^lwp getout
SetEnvIfNoCase User-Agent ^ms-catapult getout
SetEnvIfNoCase User-Agent ^msproxy getout
SetEnvIfNoCase User-Agent ^nabot getout
SetEnvIfNoCase User-Agent ^navroad getout
SetEnvIfNoCase User-Agent ^oBot getout
SetEnvIfNoCase User-Agent ^pc getout
SetEnvIfNoCase User-Agent ^psbot getout
SetEnvIfNoCase User-Agent ^site getout
SetEnvIfNoCase User-Agent ^spiderbot getout
SetEnvIfNoCase User-Agent ^stamina getout
SetEnvIfNoCase User-Agent ^suzuran getout
SetEnvIfNoCase User-Agent ^tAkeOut getout
SetEnvIfNoCase User-Agent ^templeton getout
SetEnvIfNoCase User-Agent ^test getout
SetEnvIfNoCase User-Agent ^utopy getout
SetEnvIfNoCase User-Agent ^wwwhoosh getout
SetEnvIfNoCase User-Agent ^xget getout
SetEnvIfNoCase User-Agent anarchie getout
SetEnvIfNoCase User-Agent dloader getout
SetEnvIfNoCase User-Agent grab getout
SetEnvIfNoCase User-Agent hloader getout
SetEnvIfNoCase User-Agent htmlgobble getout
SetEnvIfNoCase User-Agent nameprotect getout
SetEnvIfNoCase User-Agent naviscope getout
SetEnvIfNoCase User-Agent npbot getout
SetEnvIfNoCase User-Agent peakjet getout
SetEnvIfNoCase User-Agent potbot getout
SetEnvIfNoCase User-Agent prozilla getout
SetEnvIfNoCase User-Agent rapidcache getout
SetEnvIfNoCase User-Agent realdownload getout
SetEnvIfNoCase User-Agent robofox getout
SetEnvIfNoCase User-Agent saver getout
SetEnvIfNoCase User-Agent silentsurf getout
SetEnvIfNoCase User-Agent tarspider getout
SetEnvIfNoCase User-Agent thumbnavigator getout
SetEnvIfNoCase User-Agent transsoft getout
SetEnvIfNoCase User-Agent turnitinbot getout
SetEnvIfNoCase User-Agent udmsearch getout
SetEnvIfNoCase User-Agent utilmind getout
SetEnvIfNoCase User-Agent w3mir getout
SetEnvIfNoCase User-Agent weazel getout
SetEnvIfNoCase User-Agent www4mail getout

<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=getout
</Limit>

jdMorgan

3:24 pm on Jan 2, 2008 (gmt 0)

WebmasterWorld Senior Member 10+ Year Member



These days, many (if not most) of the bad guys are using standard browser user-agent strings. So instead of asking here, where each Webmaster's site may get a different mix of these user-agents --or none at all-- I'd suggest you search your own server logs for each of these UAs, and keep the ones that block user-agents that are truly a problem for you.

The only ones on your list that are significant for my sites are curl, java, Microsoft\ URL, and Wget. A few of my troublemakers that aren't on your list are:

^Jakarta\ Commons-HttpClient/
^libcurl-agent/
^Mozilla/[0-9.]+\ \(compatible\ ;\ MSIE
^POE-Component-Client-HTTP/

But as stated, every site is different. It's no use checking for user-agents that never bother your site, and remember that this entire list is processed for each and every page, image, and external CSS stylesheet or JavaScript file requested from your server.

If you put your very-long list in alphabetic order with pattern-anchoring as a second sort criteria, it may be very helpful both to your long-term maintenance efforts and to getting replies on forums like this one... :)

Jim

wilderness

4:15 pm on Jan 2, 2008 (gmt 0)

WebmasterWorld Senior Member 10+ Year Member Top Contributors Of The Month



If you put your very-long list in alphabetic order with pattern-anchoring as a second sort criteria

Why go through all that effort for lists copied from multiple sources ;)

jdMorgan

4:46 pm on Jan 2, 2008 (gmt 0)

WebmasterWorld Senior Member 10+ Year Member



So it's easier to see the redundant entries, for one good reason... :)

Jim

wilderness

5:29 pm on Jan 2, 2008 (gmt 0)

WebmasterWorld Senior Member 10+ Year Member Top Contributors Of The Month



So it's easier to see the redundant entries, for one good reason... happy!

me tinks this barrage of newbies has overworked your natural appreciation to see things on a lighter side (tongue-in-cheek)

santapaws

10:30 pm on Apr 21, 2008 (gmt 0)

10+ Year Member



when i add this

SetEnvIfNoCase User-Agent ^Jakarta\ Commons-HttpClient/ getout

i get this error
.htaccess: SetEnvIfNoCase regex could not be compiled

im not sure what i did wrong there.

jdMorgan

10:36 pm on Apr 21, 2008 (gmt 0)

WebmasterWorld Senior Member 10+ Year Member



Try quoting the string: 

SetEnvIfNoCase User-Agent "^Jakarta\ Commons-HttpClient/" getout

Jim

santapaws

7:56 am on Apr 22, 2008 (gmt 0)

10+ Year Member



yep, that did the trick. Thanks.
 

Join The Conversation

Moderators and Top Contributors

Hot Threads This Week

  1. Home
  2. Forums Index
  3. Server Side / Apache Web Server 4:20 pm May 22, 2026