તમારી વેબસાઇટની રુટમાં સંગ્રહિત એક robots.txt ફાઇલ વેબ રોબોટ્સને શોધ એન્જિન સ્પાઈડર જેવા કે જે ડિરેક્ટરીઓ અને ફાઇલોને ક્રોલ કરવાની અનુમતિ આપે છે તે જણાવશે Robots.txt ફાઇલનો ઉપયોગ કરવાનું સરળ છે, પરંતુ કેટલીક વસ્તુઓ છે જે તમારે યાદ રાખવી જોઈએ:
- બ્લેક ટોપી વેબ રોબોટ્સ તમારી robots.txt ફાઇલને અવગણશે. સૌથી સામાન્ય પ્રકાર મૉલવેર બૉટ્સ અને રોબોટ્સ છે જે લણણી માટે ઇમેઇલ સરનામાંની શોધ કરે છે.
- કેટલાક નવા પ્રોગ્રામરો રોબોટ્સ લખશે કે જે robots.txt ફાઇલને અવગણશે. આ સામાન્ય રીતે ભૂલથી થાય છે.
- કોઈપણ તમારી robots.txt ફાઇલ જોઈ શકે છે. તેઓ હંમેશા robots.txt તરીકે ઓળખાય છે અને હંમેશા વેબસાઇટની રૂટ પર સંગ્રહિત થાય છે.
- છેલ્લે, જો કોઈ વ્યક્તિ ફાઇલ અથવા ડિરેક્ટરી સાથે લિંક કરે છે કે જે તમારી robots.txt ફાઇલ દ્વારા પૃષ્ઠથી બાકાત છે જે તેની robots.txt ફાઇલ દ્વારા બાકાત નથી, તો સર્ચ એન્જિન તેને કોઈપણ રીતે શોધી શકે છે.
મહત્વપૂર્ણ કંઈપણ છુપાવવા માટે robots.txt ફાઇલોનો ઉપયોગ કરશો નહીં. તેના બદલે, તમારે સલામત પાસવર્ડ્સની પાછળની મહત્વની માહિતી રાખવી જોઈએ અથવા તેને સંપૂર્ણપણે વેબ પર છોડવી જોઈએ
આ નમૂના ફાઈલો કેવી રીતે વાપરવી
નમૂનામાંથી ટેક્સ્ટને કૉપિ કરો જે તમે કરવા માંગો છો તે સૌથી નજીક છે અને તેને તમારી robots.txt ફાઇલમાં પેસ્ટ કરો. તમારી પસંદીદા રૂપરેખાંકનને મેચ કરવા માટે રોબોટ, ડાયરેક્ટરી, અને ફાઇલ નામો બદલો.
બે મૂળભૂત રોબોટ્સ. Txt ફાઈલો
વપરાશકર્તા એજન્ટ: *
નામંજૂર કરો: /
આ ફાઇલ કહે છે કે કોઈપણ રોબોટ (વપરાશકર્તા-એજન્ટ: *) તે ઍક્સેસ કરે છે તે સાઇટ પરના દરેક પૃષ્ઠને અવગણવા જોઈએ (નામંજૂર: /)
વપરાશકર્તા એજન્ટ: *
નામંજૂર કરો:
આ ફાઇલ કહે છે કે કોઈપણ રોબોટ (વપરાશકર્તા-એજન્ટ: *) તે ઍક્સેસ કરે છે તે સાઇટ પર દરેક પૃષ્ઠને જોવાની મંજૂરી છે (નામંજૂર કરો:).
તમે તમારી સાઇટ પરની તમારી સાઇટ પર ખાલી robots.txt ફાઇલને છોડીને ન પણ કરી શકો છો.
રોબોટ્સ પ્રતિ ચોક્કસ ડિરેક્ટરીઓ સુરક્ષિત
વપરાશકર્તા એજન્ટ: *
નામંજૂર કરો: / cgi-bin /
નામંજૂર કરો: / temp /
આ ફાઇલ કહે છે કે કોઈપણ રોબોટ (વપરાશકર્તા-એજન્ટ: *) તે ઍક્સેસ કરે છે તે ડિરેક્ટરીઓ / cgi-bin / અને / temp / (નામંજૂર: / cgi-bin / Disallow: / temp /) ને અવગણવા જોઈએ.
રોબોટ્સ પ્રતિ ચોક્કસ પાના સુરક્ષિત
વપરાશકર્તા એજન્ટ: *
નામંજૂર કરો: /jenns-stuff.htm
નામંજૂર કરો: /private.php
આ ફાઇલ કહે છે કે કોઈપણ રોબોટ (વપરાશકર્તા-એજન્ટ: *) તે ઍક્સેસ કરે છે તે ફાઇલોને / jenns -stuff.htm અને /private.php (નામંજૂર: /jenns -stuff.htm નામંજૂર / / privacy.php) ને અવગણવા જોઈએ.
તમારી સાઇટ ઍક્સેસ એક ચોક્કસ રોબોટ અટકાવવા
વપરાશકર્તા એજન્ટ: લાઇકોસ / xx
નામંજૂર કરો: /
આ ફાઇલ કહે છે કે Lycos bot (વપરાશકર્તા-એજન્ટ: લાઇકોસ / xx) ને સાઇટ પર ગમે ત્યાં ઍક્સેસની મંજૂરી નથી (નામંજૂર: /).
ફક્ત એક ચોક્કસ રોબોટ ઍક્સેસની મંજૂરી આપો
વપરાશકર્તા એજન્ટ: *
નામંજૂર કરો: /
વપરાશકર્તા એજન્ટ: Googlebot
નામંજૂર કરો:
આ ફાઇલ સૌ પ્રથમ અમે જેમ જેમ કર્યું તે બધા રોબોટ્સને નામંજૂર કરે છે, અને પછી સ્પષ્ટપણે Googlebot (વપરાશકર્તા-એજન્ટ: Googlebot) ને દરેક વસ્તુની ઍક્સેસ છે (નામંજૂર કરો:).
મલ્ટીપલ લાઇન્સને ભેગું કરવા માટે તમે ઇચ્છો છો તે બહિષ્કોણ મેળવો
જ્યારે વપરાશકર્તા-એજન્ટ જેવી ખૂબ જ વ્યાપક વપરાશકર્તા-એજન્ટ રેખાનો ઉપયોગ કરવો વધુ સારું છે: *, તમે ગમે તેટલું ચોક્કસ હોઈ શકો છો. યાદ રાખો કે રોબોટ્સ ફાઇલને ક્રમમાં વાંચે છે. તેથી જો પ્રથમ રેખાઓ કહે છે કે બધા રોબોટ્સ બધુંથી અવરોધિત છે, અને પછી ફાઇલમાં તે કહે છે કે બધા રોબોટ્સને દરેક વસ્તુની ઍક્સેસની મંજૂરી છે, રોબોટ્સને દરેક વસ્તુની ઍક્સેસ હશે
જો તમને ખાતરી ન હોય કે તમે તમારી robots.txt ફાઇલને યોગ્ય રીતે લખી છે કે નહીં, તો તમે તમારી robots.txt ફાઇલ તપાસવા અથવા એક નવું લખવા માટે Google ના વેબમાસ્ટર સાધનોનો ઉપયોગ કરી શકો છો.