Антиспамерский фильтр BayesIt

Итак, что же собой представляет этот фильтр?

Это плагин к почтовой программе The Bat! В The Bat! 1.63 Beta 7 появилась возможность подключать к нему внешние антиспамерские фильтры. Поначалу эти возможности были, увы, весьма ограничены. Однако с выходом The Bat! 2.00 эти возможности были расширены, что позволило прямо в The Bat! выполнять через фильтры операции, которые ранее приходилось выносить в отдельное приложение.
BayesIt! является одним из таких фильтров, позволяющий отфильтровывать нежелательную корреспонденцию (спам).

Приступим к установке.
Фильтр может быть автоматически установлен при установке самого The Bat! Если Вы подтвердите желание установить этот фильтр, то он установится автоматически.
Если на начальном этапе установки The Bat! вы проигнорировали возможность установить антиспам-фильтр, то позднее вы можете установить его вручную. Для этого вы можете либо скачать последнюю версию плагина с сайта, либо разыскать папку BayesIt внутри папки Program Files\The Bat!. Запустите The Bat! и через главное меню "Свойства" зайдите в диалог настроек программы. Там выберите в левой части окна пункт "Защита от спама" в разделе "Предупреждения" и нажмите кнопку "Добавить". Найдите в открывшемся окне проводника файл bayesit.tbp и дважды кликните на нём мышью. В результате вы увидите сообщение об установке фильтра. Закрыв окно с сообщением вы увидите установленный плагин в окне The Bat!

После установки плагина установите следующие параметры в окне "Защита от спама":
° поставьте галочку "Перемещать в папку для спама, если рейтинг более" - и оставьте там значение по умолчанию (60).
° поставьте галочку "помечать спам как прочитанное".
° поставьте галочку "перемещать сообщения, помеченные как спам, в папку для спама".
На этом ручная установка плагина завершена.

Теперь настроим плагин.
Первым делом желательно (или необходимо) русифицировать интерфейс плагина. Нажав в меню настроек кнопку "Do you speak..." вы можете заставить плагин говорить по-русски. Учтите, что для этого необходим файл с переводом интерфейса на русский язык bayesit.lng. Подобно The Bat! BayesIt умеет работать с интернациональными пакетами локализаций, и поэтому вы можете найти файл, содержащий в себе переводы интерфейса BayesIt сразу на несколько языков. Однако если вас не интересуют другие языки, здесь вы можете скачать файл, содержащий только русскоязычный перевод. Положите этот файл в папку, где лежит bayesit.tbp и нажмите в настройках плагина кнопку "Do you speak..." Выберите в открывшемся окне файл с переводом, а затем укажите в выпадающем списке русский язык.
Нажмите в меню выбора языка кнопку "OK", после чего выйдите из меню настроек, нажав в нижней части диалога кнопку "Close", а затем заново зайдите в настройки, выбрав плагин в списке и нажав кнопку "настроить". Вы увидите, что интерфейс программы стал русскоязычным.
Если вы поместите файл с русскоязычным переводом bayesit.lng в папку с файлом плагина bayesit.tbp до установки плагина, то последний сразу будет установлен на русском языке. Также, для версии плагина 0.5.5 и старше имеется русскоязычный вариант дистрибутива, который изначально включает все необходимые настройки для работы на русском языке. Скачать русскоязычную версию 0.5.5 можно здесь.
Настройка основных параметров фильтра
Кнопкой "параметры" вызывается окно редактирования основных настроек фильтра.
Рабочая папка фильтра - это место, где хранится фактическая статистическая информация, по которой фильтр ведёт оценку писем. По умолчанию эта папка создаётся как подпапка BayesIt в папке The Bat!, которую при установке последнего вы выбрали как папку для почты по умолчанию.
Файл журнала - это текстовый файл, в который фильтр будет записывать отчёт о своей работе по фильтрации писем, а также различные диагностические сообщения. По умолчанию журналирование в фильтре выключено, а сам файл создаётся в рабочей папке фильтра (в версии 0.5.5 журналирование по умолчанию включено).
Число оценочных токенов - это число условных "слов" из письма, которые непосредственно будут участвовать в вычислении оценки писем. Рекомендованное значение - 15, и менять его, как правило, не требуется.
"Расширенная оценка" - позволяет в определённых ситуациях игнорировать жёстко заданное число оценочных токенов и брать для оценки столько токенов, сколько требуется. "Расширенная" оценка не требует дополнительных затрат ресурсов или процессорного времени, однако позволяет несколько улучшить качество распознавания спама в спорных ситуациях.
"Белый список" заголовков - позволяет указать имена некоторых технических заголовков письма, которые будут полностью игнонироваться при обработке. (например, почта Яндекса может добавлять к письмам, определённым службой Яндекса "Спамооборона" как спам собственный заголовок "X-Oborona-Spam-Flag", который содержит слово "Yes". Если вы хотите исключить влияние подобных заголовков на оценку фильтра, вы можете внести заголовок "x-oborona-spam-flag" в "белый список", и таким образом избавиться от влияния данного заголовка). Помимо целых заголовков вы можете добавлять названия отдельных их частей, заменяя остаток слова троеточием (например, "x-spam..." позволит игнорировать все заголовки, названия которых начинаются с x-spam, такие как "x-spam-mark" или "x-spammer").
Опция "показывать заставку" позволит BayesIt показывать окна с диагностическими сообщениями в случае использования функций программы, которые потенциально могут работать длительное время без взаимодействия с пользователем и тем самым создать впечатление о том, что программа "зависла".
Опция "Вести журнал работы" позволяет настроить сообщения, которые фильтр будет записывать в журнал работы. "Общий отчёт" включает диагностические сообщения о загрузке/выгрузке плагина, а также диагностические сообщения переобучения базы. "Отчёт от текущем письме" записывает для каждого оцененного письма его Message-ID (по которому само письмо можно найти в The Bat!), а также оценку, которую фильтр присвоил этому письму. "Оценочные токены и значения" позволит фильтру записывать в журнал для каждого письма список токенов, на основании которого была вычислена фактическая оценка письма. Количество токенов для каждого письма соответствует параметру "число оценочных токенов", или может быть большим, если включён флажок "расширенная оценка".
На вкладке "Локальный алфавит" вы можете настроить правила для декодирования частично транслитерированных слов - т.е. таких русских слов, у которых часть букв заменена на похожие по начертанию английские, например, "paccылku" (в этом слове реально русскими являются лишь буквы "ы" и "л" - проверьте!).
Если вся ваша почта приходит на английском языке, вы можете просто отметить в диалоге пункт "Да, вся моя почта на английском" и завершить настройку фильтра.
В противном случае нажимаем кнопку "Нет, я получаю почту на родном языке, не на английском". В случае с русским интерфейсом плагин спросит, желаете ли Вы использовать готовые настройки для русского языка. Простым нажатием на кнопку "Да" в этом окне вся частичная транслитерация будет успешно настроена!
Также вы можете ввести все настройки вручную. Для этого сначала необходимо задать алфавит.
Вводим в поле "алфавит" национальный алфавит, в обоих регистрах (заглавные и прописные). Здесь можно просто впечатать что-нибудь вроде "АБВГДЕЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯ абвгдежзийклмнопрстуфхцчшщъыьэюя", а можно ввести текущую локаль (для России это "Russian_Russia") и нажать кнопку "Создать ^ ". Первые несколько символов - это буквы кириллического, но нерусского алфавита. Их нужно просто удалить. Затем переходим к таблице транслитерации.
Здесь вводится таблица соответствия английских букв русским. В списке находится английский алфавит, а также различные вспомогательные символы, которые также могут пригодиться (например, иногда встречается подмена буквы "А" цифрой "4"). Двойной щелчок на элементе списка мышью вызывает его для редактирования. Вам нужно лишь дописать в конце соответствующую русскую букву и нажать кнопку "Добавить". Удаление элементов производится путём ввода в поле соответствующей английской буквы (без всяких дополнительных знаков) и нажатия кнопки "Добавить".

Теперь приступаем к обучению фильтра. Начальное обучение позволяет фильтру немедленно начать работу за счёт принудительного "кормления" его информацией, необходимой для создания статистических правил фильтрации. Вы можете просто помечать как спам те приходящие письма, которые, по вашему мнению, являются таковыми, и фильтр довольно быстро "усвоит" ваше мнение и начнёт фильтровать почту так же, как это делали бы вы самостоятельно. Однако если на момент установки фильтра у вас уже есть достаточное количество писем, которое вы бы могли предоставить фильтру для обучения, то вам, возможно, хотелось бы обучить фильтр сразу по этим письмам. Для этого вам достаточно просто пометить их как не-спам или спам.

По мере того как у Вас соберется некоторая база спама фильтр начнет сам помечать спам. Например, у меня уже после десятого спам-письма плагин начал работать.

Что хочется отметить. Фильтр очень простой в работе. Вам необходимо только помечать письма как спам или как не-спам и он сам постепенно научится, как сортировать письма. После накоплении большой базы спама BayesIt будет безошибочно определить ненужные письма в Вашей корреспонденции.
Что плохо, так это то, что приходится скачивать все письма, а уже после приема их фильтр определяет спам это или нет. Но это скорее ограничение самой почтовой программы, а не фильтра. Но если Вам приходит сравнительно немного спама, то этот недостаток не должен Вас остановить. Меня он не остановил и я не жалею.

Русскоязычную версию плагина можно скачать здесь - http://www.ritlabs.com/download/bayesit/bayesit055ru.rar.

Предыдущая версия фильтра, позволяющая работать с бета-версиями The Bat! 1.63 находится здесь - http://klirik.narod.ru/usefuls/bayesitold.htm.