индексация поисковыми системами

[SoapMaker]

Сообщение от Kati

Но не стоит. ))
(http://www.searchengines.ru/articles/004603.html ) )

там ваш тезис о том чот на каждое ключевое слово по боту (crawler)
не подтверждается, что не удивительно ибо бессмысленная трата вычислительных ресурсов

[Kati-Gusta]

Сообщение от SoapMaker

ключевое слово по боту

= Вначале было слово,
и в конце будет слово,
а перевод в машинный
фомат и машинный поиск
-- промежуточный этап.
Продвинется развитие техники --
изменится и метод шифрования
и технология поика.
Но! Ключевые слова были и останутся,
ибо из них состоит человеческий язык,
и запрос (заказ) на поиск даётся на
человеческом языке, а потом уже
переводится на "ботный" и обратно.

[Kati-Gusta]

Сообщение от SoapMaker

на каждое ключевое слово по боту (crawler)

= Это -- детали,
один бот , наверное, может запускаться
и на несколько сот слов в соответствии
с классификацией информации в данной
поисковой системе.
Факт, что одновременно шерстят по форуму
несколько ботов, и каждый, очевидно, собирает
своё "ключевое", а не сканирует всё подряд, тянет домой,
а там другие сортируют улов.
Или не так? )
***А Вы можете глянуть, что они
там в мешки к себе запихивают?

[SoapMaker]

Сообщение от Kati

Факт, что одновременно шерстят по форуму
несколько ботов, и каждый, очевидно, собирает
своё "ключевое

нет это не так

если бы вы были знакомы с програмированием то поняли бы что по предложенной вами схеме затраты
вычислительных ресурсов и траффика много выше

[SoapMaker]

Сообщение от Kati

Вначале было слово,
и в конце будет слово,
а перевод в машинный
фомат и машинный поиск
-- промежуточный этап.
Продвинется развитие техники --
изменится и метод шифрования
и технология поика.
Но! Ключевые слова были и останутся,
ибо из них состоит человеческий язык,
и запрос (заказ) на поиск даётся на
человеческом языке, а потом уже
переводится на "ботный" и обратно.

К чему весь это спич ?

[SoapMaker]

Сообщение от Kati

Факт, что одновременно шерстят по форуму
несколько ботов, и каждый, очевидно, собирает
своё "ключевое",

а если его слова ключего там не будет, зря старался ?

вы занимались кодингом ?

[Kati-Gusta]

Сообщение от SoapMaker

вы занимались кодингом ?

= Нет.

Сообщение от SoapMaker

а если его слова ключего там не будет, зря старался ?

= Да.

Сообщение от SoapMaker

нет это не так

= А как?
С чего начинается поиск.
Или что и кто ищет по форумам?
***Может, всё это "ключевое"
вынести из "Животных" ?
А там определимся, о чём же
всё-таки мы говорим, не понимая
друг друга.

[Kati-Gusta]

Сообщение от SoapMaker

К чему весь это спич ?

= О самом принципе поиска информации,
а не его техническом исполнении -- ручном
или машинном.
Так четыре действия арифметики
составляют суть работы ЭВМ разных
поколений.
Или мытьё посуды -- ручное
и машинное. ))
***Я говорю об общем,
Вы -- о частном. )

[SoapMaker]

Сообщение от Kati

а если его слова ключего там не будет, зря старался ?
= Да.

выгонят тогда такого кодера

ибо 99.999% машинных ресурсов и трафика будет расходоватсья в пустую

-----

Сообщение от Kati

= О самом принципе поиска информации,
а не его техническом исполнении -- ручном
или машинном.

насчет одного бота на одно слово - это именно техническое исполнение ну даже если принцип вы неверно его укказали
----

Сообщение от Kati

Так четыре действия арифметики
составляют суть работы ЭВМ разных
поколений.

это неверно, на самом деле основа всех эвм - логические операции

not, and, or, xor

[Kati-Gusta]

SoapMaker,
= Снесите эту нашу
"перекличку" с этой ветки
куда в уголок.
Животных забиваем без
лицензии.

[Kati-Gusta]

индексация поисковыми системами

= Во! Точно о разном
думали и говорили. ))
Согласна, поговорим о разных
системах индексациях информации
и её поиске в разных хранилищах (БД)
текстов, словосочетаний и слов.

[zz-tOp]

Сообщение от SoapMaker

это неверно, на самом деле основа всех эвм - логические операции

not, and, or, xor

Это неверно.
Основа цифровых автоматов, коими являются ЭВМ или компьютеры, являются бинарные операции.
Например операция сдвига регистра не относится к логическим.

[zz-tOp]

Сообщение от Kati-Gusta

= Во! Точно о разном
думали и говорили. ))
Согласна, поговорим о разных
системах индексациях информации
и её поиске в разных хранилищах (БД)
текстов, словосочетаний и слов.

Реляционные модели данных, первичные ключи, пять форм реляционных моделей, структуированный язык запросов SQL.. короче, жуткая муть, которая лишь добавит морщин на лице.
ПРавда, Гугль хранит индексы совсем в другом виде, используя очень эффективный принцип, позволяющий сжать инфу весьма неплохо ( всего 16 бит на весовые данные слова) и может очень хорошо ранжировать ресусы сети.
Зачем?
Хватит того понимания, думаю, что топовые поисковые машины в непрерывном режиме в иечение дня индексируют сотни миллионов страниц веба и обрабатывают пару десятков мильонов запросов за день.Поисковик засылает своего спайдера (паука) для краулинга - построения и фиксации списка полезных слов. Сначала паук лезет на найболее крупные сайты и серваки мира, индексирует все слова там, а затем по ссылкам с него переходит на другие сервера, охватывая краулингом все большие куски вэб-пространства.
Например Гугль начинает поиск, выпуская сначала трех пауков, каждый из которых одноременно может следить за 300 ресурсами. В пике это дает скорость обработки около 100 страниц в секунду (или около 600 кБ\сек)

Короче, это долго и нудно рассказывать.. Релевантность, дата, пропуск междометий, поиск самых популярных слов, поиск самых хешных ( распространенных по букве) слов, теги из HTML-языка, на которые в первую очередь обращает внимание паук и собственно само построение индекса.. Чушь полная, на самом деле..

[Kati-Gusta]

Сообщение от zz-tOp

Релевантность, дата, пропуск междометий, поиск самых популярных слов,

= Спасибо.
Вы подтвердили правильность
моего тезиса: ищут по ключевым
словам (понятиям) от Ноева потопа
и до наших дней, меняется только
технология поиска информации,
но не формулирование задачи.

[alexantf]

Сообщение от zz-tOp

лишь добавит морщин на лице.

Лукавите,
Зизи-джан,
не на лице,а на мозге

Сообщение от Kati-Gusta

= Спасибо.
Вы подтвердили правильность
моего тезиса: ищут по ключевым
словам (понятиям) от Ноева потопа
и до наших дней,

Верно,но не полно,
ибо и АйТишнеги правы в том,
что отбор поиска производит не
спайдер-бот,который только предуготовляет технологическую цепочку
обработку инфы

Сообщение от Kati-Gusta

Факт, что одновременно шерстят по форуму
несколько ботов, и каждый, очевидно, собирает
своё "ключевое", а не сканирует всё подряд, тянет домой,
Или не так? )

Именно первичное пережёвывание,
с тем ,чтобы по запросу
-быть востребованным
уже интересантом,
коим могедбыть
как юзер
так и аналитическая машина

а там другие сортируют улов.

[SoapMaker]

Сообщение от Kati-Gusta

= Спасибо.
Вы подтвердили правильность
моего тезиса: ищут по ключевым
словам (понятиям) от Ноева потопа
и до наших дней, меняется только

тоесть вы утверждаете что каждый "бот" ищет какое то конкретное слово (набор слов)

даже если на сайте его нет ?

[SoapMaker]

Сообщение от zz-tOp

Релевантность, дата, пропуск междометий, поиск самых популярных слов, поиск самых хешных ( распространенных по букве) слов, теги из HTML-языка, на которые в первую очередь обращает внимание паук и собственно само построение индекса.. Чушь полная, на самом деле..

я несколько неверно назвал ветку не индексация а сбор информациии поисковыми системами

они гребут всю информацию подрят (просто Кати утверждала что далеко не всю а только целевую из определенного "словаря")

[Kati-Gusta]

Сообщение от SoapMaker

тоесть вы утверждаете что каждый "бот" ищет какое то конкретное слово (набор слов)

= Я не могу утверждать, что каждый бот
ищет одну лексическую единицу -- это
расточительно.
Но допускаю, что поиск ведётся
по его парадигме вкупе с парадигмами
синонимического ряда.
Возможна и схема поиска
по принципу УДК.

Сообщение от SoapMaker

даже если на сайте его нет ?

= А это должен, предполагаю,
определять оператор -- где
и что искать.
Кстати, Вы помните тьму ботов,
когда Вы поменяли площадку?
Как мне кажется, то и был чёс-разведка.
Нас пробовали на зуб и определяли
частотность наших интересов и по
какие "слова-ягоды" запускать в
дальнейшем поиск.
***А Вы можете определить, что
выбирают боты с наших страниц?
Что уносят с собой?

[Мриша]

Сообщение от Kati-Gusta

по его парадигме вкупе с парадигмами
синонимического ряда.
Возможна и схема поиска
по принципу УДК.

Снимаю шляпу...

[SoapMaker]

Сообщение от Kati-Gusta

Но допускаю, что поиск ведётся
по его парадигме вкупе с парадигмами
синонимического ряда.

поиск или сбор ?

боты не ищут информацию, они ее собирают

[SoapMaker]

Сообщение от zz-tOp

Основа цифровых автоматов, коими являются ЭВМ или компьютеры, являются бинарные операции.
Например операция сдвига регистра не относится к логическим.
__________________

сам процессор же из логических элементов состоит (из огромного их количества)

[Kati-Gusta]

Сообщение от alexantf

что отбор поиска производит не
спайдер-бот,который только предуготовляет технологическую цепочку
обработку инфы

= Понимать надо -- поле поиска?
Да, не бот, а человек должен
выбирать, где и что искать.
Но предварительно прочёсываются
с помощью ботов все доступные сайты.
Например, "чёрножопый" можно найти и
на политическом сайте и на порносайте,
а вот "бандеровцев" и "белополяков" --
только на политических и исторических...

[Logik P-ur]

Сообщение от Kati-Gusta

Да, не бот, а человек должен
выбирать, где и что искать.

Упаси госсидя.

[Kati-Gusta]

Сообщение от Logik P-ur

Упаси госсидя.

= Разверни. )

[Logik P-ur]

Брт собирает всю инфу, а отдельная утилита обрабатывает, индексирует и сжимает контент. Без участия чуловека саффсем.

[Kati-Gusta]

Сообщение от Logik P-ur

Брт собирает всю инфу, а отдельная утилита обрабатывает, индексирует и сжимает контент. Без участия чуловека саффсем.

= Обычными словами для непосвящённых
можешь?
===========
И! Какую информацию собирает
робот? По каким признакам идёт
отбор?
Кто задаёт поиск, т.е. вносит эти
признаки в задачу для робота?
И что, робот гребёт с сайта всё подряд,
тянет это нечто на рабочее место домой,
а там сидит робот-сортировщик и отбирает
зёрна от плевел?
***Даже если и так -- через затылок
чесать ухо, то это не отменяет моего
тезиса, что запросом, постановкой задачи
на машинный (и любой) поиск и отбором
принесённой информации на релевантность
должен на входе-выходе заниматься человек,
сведущий в теме запроса.
( И это не отменяет первоначального моего тезиса,
что вначале было Слово и им, Словом, и человеком
всё и завершается. ) )
Хочу донести до разума ближних
сермяжную истину: техника -- только
инструмент, орудие для труда рук и
головы человека.
А принципы труда рук и головы
человека не меняются никак, да. ))

[Kati-Gusta]

Сообщение от SoapMaker

я несколько неверно назвал ветку не индексация а сбор информациии поисковыми системами

= Так добавьте и "сбор".
Индексация -- тоже интересная тема.
До эры машинизации, полагаю, информация
тоже ж как-то кодировалась, как-то хранилась и
находилась.
Как? Какие кто знает системы?
Как ориентировались архивисты
или хранители Александрийской
и Британской библиотек в океанах
информации?
Подозреваю, что те системы индексации
информационных носителей и информации
сохранились и по сей день, ибо невозможно
в одночасье перевести все фонды на иную,
машинную индексацию...
Как, допустим, найти нужное в международном
или отечественном патентном фонде?

[SoapMaker]

Kati-Gusta,

не знаю как вас переубедить

агрессивное невежество
просто

хотите забится на 100 $

что мой тезис верен (то что бот грабит всю текстовую информацию со страницы)
а ваш тезис неверен (что избирательно грабит ключевые слова только одно или несколько)

[Kati-Gusta]

Сообщение от SoapMaker

Kati-Gusta,

не знаю как вас переубедить

агрессивное невежество
просто

хотите забится на 100 $

что мой тезис верен (то что бот грабит всю текстовую информацию со страницы)
а ваш тезис неверен (что избирательно грабит ключевые слова только одно или несколько)

= Вы меня рассмешили. )
Не обидели.
Вы просто не поняли о
чём я говорю, зациклившись
на технологической частности
процесса поиска.
Я говорю о круге, а Вы о точке
внутри этого круга (это образно!
образное сравнение! ).

[SoapMaker]

Kati-Gusta,

ну так обозначьте четко свой тезис

а то наводите туман в стиле Либова

[zz-tOp]

Чтобы предоставить полезные данные, поисковики сохраняют не только информацию из слова и его URL адрес, но и могут сохранить данные о количестве (частоте) упоминаний слова на странице, присвоить слову "вес", .
Это далее поможет выдавать поисковые листинги (результаты) на основе весового ранжирования по данному слову, с учетом его местонахождения (в ссылках, мета тегах, титуле страницы и т.п.).
У каждого коммерческого поисковика есть своя формула для вычисления "веса" ключевых слов при индексации.
Это одна из причин, почему по одному и тому же поисковому запросу поисковики выдают совсем разные результаты (Гугль и Яндекс, например)

[Kati-Gusta]

SoapMaker,

Сообщение от zz-tOp

Чтобы предоставить полезные данные, поисковики сохраняют не только информацию из слова и его URL адрес, но и могут сохранить данные о количестве (частоте) упоминаний слова на странице, присвоить слову "вес", . У каждого коммерческого поисковика есть своя формула для вычисления "веса" ключевых слов при индексации.

= А я умываю руки.

[SoapMaker]

Kati-Gusta,

я тут 3 дня назад придумал слово

ghjeznslkl

и разместил его на еноте

http://moemnenie.info/forum/showthread.php?t=9712

сегодня оно уже в гугле

http://www.google.ru/search?hl=ru&q=...e&lr=&aq=f&oq=

что доказывает верность моего тезиса

то что бот грабит всю текстовую инфу с сайта.


и абсолютную неверность вашего

Сообщение от Kati-Gusta

= Просто надо объяснить,
что на каждое ключевое
слово -- свой бот-искатель.
И запускают их по графику
и по сайтам из БД поисковых
систем. А уж как Енот попал в
БД Яхи или Яди -- другой вопрос.
Всех делов.

--
непонимаю просто к чеу такая упертость

и отказ признать свою неправоту по такому безобидному вопросу ?

[Kati-Gusta]

Сообщение от SoapMaker

я тут 3 дня назад придумал слово

ghjeznslkl

и разместил его на еноте
сегодня оно уже в гугле

= Отличное познание методом
"втыка" (вполне серьёзно!).
Резюме:
Гугль тралит всё подряд,
без всяких запросов и вскидок
на релевантность.
Сбрасывает всё в трюмы.
Вопрос: это каких объёмов
должен быть БД и когда
его чистят, и чистят ли от
всякого хлама?
И ещё: в какую ячейку и под каким
шифром занесли Вашу кракозяблу?
С чем её состыковать?
Понятно. Гугль иформацию не
классифицирует по смыслу.
Классификация графическая,
не семантическая.
Не жильцы! ))
А что Яндекс?
А частные поисковики,
работающие по запросам?
Тоже гребут всё подряд?
А насколько это
экономично?
***Мыловар!
Очень интересно, спасибо!
"Буду думать" (с)
***Мой тезис пока не отвергнут:
Потом к нему вернёмся.
(спасибо за затравку!)

[SoapMaker]

Сообщение от Kati-Gusta

А что Яндекс?
А частные поисковики,
работающие по запросам?
Тоже гребут всё подряд?

да

Сообщение от Kati-Gusta

А насколько это
экономично?

это на несколько порядков экономичнее чем не тралить все подряд.

--
дисковое пространстово счас относительно недорогое

а так конечно объемы гугловских баз это многие петабайты данных

[Kati-Gusta]

Сообщение от SoapMaker

это на несколько порядков экономичнее чем не тралить все подряд.

--
дисковое пространстово счас относительно недорогое

а так конечно объемы гугловских баз это многие петабайты данных

= Понятно.
Но! Как из всей это мегакучи
выбрать нужное?
По каким признакам?
(Сбор и хранение -- дёшево,
а выборка?)