SpamAssassinコミュのSpamAssassin の情報

勝手ながら、トピックがないので作成しました。
もし不適切であれば処理の方宜しくお願いします。＞管理人様

AWL (Auto White List) って、 trusted_networks を設定しないといけないんですって。
知りませんでした。
SA-users ML で赤っ恥かいちゃいました。
http://article.gmane.org/gmane.mail.spam.spamassassin.general/72509

9/14 にリリースされた SpamAssassin 3.1.0 のリリースノートの訳文を
http://www.flcl.org/~yoh/diary/20050928.html
に記しました。

最近になってようやく X-Spam-Untrusted というものの存在に気付きました。
きっかけは HELO_DYNAMIC_YAHOOBB というルールです。
20_fake_helo_tests.cf にて、

header HELO_DYNAMIC_YAHOOBB X-Spam-Relays-Untrusted =~ /^[^\]]+helo=YahooBB[^\]]+ auth= /i

と記されています。
spamassassin wiki に詳細が記されています。

http://wiki.apache.org/spamassassin/TrustedRelays

MTA 毎に異なる Received: 行を標準化させる目的でしょうか、 Received: 行を解析した結果、内部変数として「仮想ヘッダ」を作成し、それに対する正規表現によるマッチングを行っています。
この「仮想ヘッダ」は、デバッグモードにて見ることが出来ます。

$ spamassassin -d <spam.txt|spamassassin -t -D 2>&1|lv

こんな感じです。

[23584] dbg: metadata: X-Spam-Relays-Untrusted: [ ip=220.34.168.105 rdns=YahooBB220034168105.bbtec.net helo=YahooBB220034168105.bbtec.net by=mxg507.nifty.com ident= envfrom= intl=0 id=jAU3SYsE017022 auth= ] [ ip=202.147.58.141 rdns=circuitous helo=cafeteria.codomain.com by=force.com ident= envfrom= intl=0 id=77056738600994 auth= ]

調べたところ、この機能は 3.0.2 以降から実装済だった模様です。

# もっと早くから気付いていれば(ry

SpamCop の spam レポートを自動化する perl スクリプトを書きました。

http://groups.google.co.jp/group/jlug.ml.users/browse_thread/thread/5b26e9d6a4ac3f7c/342a517efa53750b?hl=ja#342a517efa53750b
http://www.flcl.org/~yoh/diary/20051216.html

mimeマルチパートメイルのヘッダを捕捉する mimeheader ルールですが、 "=~" と世紀表現マッチングルールの記述の間にスペースを入れる必要があります。
http://marc.theaimsgroup.com/?l=spamassassin-users&m=113573696512066&w=2
このバグは次期バージョンで修正される、とのことです。
http://marc.theaimsgroup.com/?l=spamassassin-users&m=113583784301193&w=2

本家 dev-ml にて、(株)サードウェアの久保元治さんがベイズエンジンの日本語対応 patch の採用に動いて下さってます。
http://marc.theaimsgroup.com/?t=113674015900001&r=1&w=2
http://marc.theaimsgroup.com/?t=112959172800003&r=1&w=2
一応私も dev-ml に subscribe してはみましたが、正直まだ話に付いて行けてません。
是非、 dev-ml に subscribe して、久保さんを応援してあげて下さい。

久保さんが「日本SpamAssassinユーザ会」設立を呼びかけています。
http://mm.apache.jp/pipermail/spamassassin-jp/2006-February/000042.html
是非、意見等の表明をお願いします。

日本SpamAssassinユーザ会(仮称)の準備サイトが、
http://spamassassin.jp/ にてアクセスできます。

3/18の12時から、「オープンソースカンファレンス2006 Tokyo/Spring」にて、日本SpamAssassinユーザ会(仮称)の発足ミーティングが行われます。
http://mm.apache.jp/pipermail/spamassassin-jp/2006-March/000098.html

ITmediaに日本SpamAssassinユーザ会の記事が掲載されています。
http://www.itmedia.co.jp/enterprise/articles/0603/24/news009.html

僭越ながら、拙作 user_prefs のルールを紹介しています。
http://spamassassin.jp/modules/xhnewbb/viewtopic.php?topic_id=9

滝澤さんが SA 3.1.1 用日本語対応patchの試作版をリリースされました。
http://mm.apache.jp/pipermail/spamassassin-jp/2006-April/000216.html
このpatchの最大の目玉は、 user_prefs 中に日本語をUTF-8で直接書き込むことが出来る 「ルール nbody」の実装です。
それと、ベイズも日本語対応になっています。
恐らく、これが日本語patchの本命になると思います。

3.1.2 のリリース直前の投稿です。リリース間近です。
http://marc.theaimsgroup.com/?l=spamassassin-devel&m=114850457808205&w=2

3.1.2がリリースされました。

DKIMサポートが目玉機能です。送信側の準備もしようと思って調べてみたら、Postfixはまだみたいです。

滝澤さんが SA 3.1.2用日本語対応パッチ案をリリースされました。
http://mm.apache.jp/pipermail/spamassassin-jp/2006-May/000259.html

基本的には3.1.1対応パッチのバグ修正と調整ですが、わかち書きの前に全角空白文字を(半角)スペースに置き換えるなど、細かい調整などが入ってきています。

3.1.3ならびに3.0.6がリリースされました。

spamdにセキュリティホールが見つかったので、その対策というのがメインのようです。

リリースのアナウンスより抜粋

3.1.3 fixes a remote code execution vulnerability if spamd is run with the
"--vpopmail" and "-P" options. If either/both of those options are not
used, there is no vulnerability. There was also a fix for the userstate
directory and prefs file not being created.

3.1.4がリリースされました。

数多くのバグ修正が行われているようです。アナウンスから引用しておきます。

3.1.4 includes a large number of bug fixes and documentation updates.
Here is an abbreviated changelog (since 3.1.3) for major updates (see
the Changes file for a complete list):

- bug 4941: if the first sa-update run failed and wasn't re-run to successful
completion, the local state directory would exist, and therefore SA sees no
rules. now, wait as long as possible to create the directory, and try to
remove it on failure.
- bug 4997: increase module version requirements for Archive::Tar to 1.23 and
IO::Zlib to 1.04
- bug 4966: fix major BSMTP bug, which rendered SA unusable with exim4 when
BSMTP is used.
- bug 4899: Windows had issues with single quotes around filenames so certain
things like pyzor, etc, wouldn't function.
- bug 4958: sa-update should work on Windows
- bug 4908: gtube.t test failed in non-english locales
- bug 4488: deal with potential memory leak due to Bayes and BayesStore
circular references
- bug 4862: update macro values in update channels (ie: @@CONTACT_ADDRESS@@)

3.1.5がリリースされました。メンテナンスリリースという位置づけです。アナウンスを引用しておきます。

3.1.5 includes a large number of bug fixes and documentation updates.
Here is an abbreviated changelog (since 3.1.4) for major updates (see
the Changes file for a complete list):

- bug 4952: set a default value for DEF_RULES_DIR, LOCAL_RULES_DIR,
and LOCAL_STATE_DIR. This allows third-party code which hasn't been
updated to deal with LOCAL_STATE_DIR to still use updates.
- bug 5065: implement DomainKeys whitelisting (whitelist_from_dk)
- bug 5034: fix endless loop in Mail::SpamAssassin::Client, possible
from bad input or network error
- bug 4843: skip text/calendar parts when generating body text for processing
- bug 5022: recognize Received header from a local command line call to sendmail
- bug 5018: update RegistrarBoundaries with new list of 2TLDs
- bug 4981: remove urirhssub support for regexp subrule from URIDNSBL plugin
- bug 5049: handle comments and extra whitespace in sa-update config files.
also, fix an error during channel name validation.
- bug 5030: sa-update couldn't run GPG if the path to the binary had a space in it
- bug 4737: when rewriting headers, strip out leading spaces to better allow
filtering by some MUAs
- bug 4848: fix Pyzor, DCC, and SpamCop plugins to properly have a
configuration pointer for things like their 'dont_report_to_...' option
- bug 4492: the parameters to bayes_ignore_header were treated case sensitively
- license text changed in source files, in accordance with new ASF policy:
http://www.apache.org/legal/src-headers.html
- a bunch of documentation updates and fixes

ダウンロードは
http://spamassassin.apache.org/downloads.cgi?update=200608300000

3.1.6 がリリースされました。メンテナンスリリースという位置づけです。
http://www.nabble.com/ANNOUNCE%3A-Apache-SpamAssassin-3.1.6-available%21-tf2390652.html

3.1.6 includes a large number of bug fixes and documentation updates.
Here is an abbreviated changelog (since 3.1.5) for major updates (see
the Changes file for a complete list):

- bug 4940: fixes to bug in date handling affecting DATE_IN_FUTURE_*
and DATE_IN_PAST_* rules when more than one Resent-Date header is
present
- bug 5044: include local site config in sa-update lint checks
- bug 5081: fix race condition in spamd preforking code that sometimes
left one child process running after SIGHUPing spamd
- bug 5076: unescape hash characters in the config
- bug 5077: fix false SPF_SOFTFAIL's when SPF queries timeout
- bug 5080: update RCVD_ILLEGAL_IP evaltest to properly deal with 127/8
- bug 5089: enable adding headers with single digit zero value
- bug 5098: add support for ecelerity Received headers
- bug 5101: fix a bug, introduced in 3.1.5, in mbx code
- bug 5105: M::SA::Client doesn't always catch failed connection to
spamd, fixed

ダウンロードは
http://spamassassin.apache.org/downloads.cgi?update=200610050918

3.1.7 がリリースされました。メンテナンスリリースという位置づけです。
http://www.nabble.com/ANNOUNCE%3A-Apache-SpamAssassin-3.1.7-available%21-tf2415849.html

3.1.7 is a "quick-fix" release; it contains only a fix for one bug,
introduced accidentally in 3.1.6:

- bug 5119: if admins had set rule scores in the site configuration in
/etc, sa-update would fail. Back out this change

ダウンロードは
http://spamassassin.apache.org/downloads.cgi?update=200610100328

本家dev-MLでは3.2.0の話題が出ています。
いつリリースされるのか、ちょっと楽しみでもあります。
http://mail-archives.apache.org/mod_mbox/spamassassin-dev/200701.mbox/%3c20070102203301.0A7F332CDD@radish.jmason.org%3e

3.1.8 がリリースされました。メンテナンス及びセキュリティ面のリリースという位置づけです。
http://www.nabble.com/ANNOUNCE%3A-Apache-SpamAssassin-3.1.8-available%21-tf3230655.html

3.1.8 is a major bug-fix release, including a potential DoS. The major
highlights are:

- bug 5318: fix for CVE-2007-0451: possible DoS due to incredibly
long URIs found in the message content.
- bug 5240: disable perl module usage in update channels unless
--allowplugins is specified
- bug 5288: files with names starting/ending in whitespace weren't usable
- bug 5056: remove Text::Wrap related code due to upstream issues
- bug 5145: update spamassassin and sa-learn to better deal with STDIN
- bug 5140 and 5179: improvements and bug fixes related to DomainKeys
and DKIM support
- several updates for Received header parsing
- several documentation updates and random taint-variable related issues

A more detailed change log can be read here:

http://svn.apache.org/repos/asf/spamassassin/branches/3.1/Changes

3.2.0がリリースされました。
3.1系とは動作に違いがあるようです。
バージョンアップは慎重にすべきかと思います。
暫くは users ML を注視するのが良いでしょう。

http://www.nabble.com/ANNOUNCE%3A-Apache-SpamAssassin-3.2.0-available-tf3680367.html

Apache SpamAssassin 3.2.0 is now available! This is the official release,
and contains a significant number of changes and major enhancements --
please use it!

Downloads are available from:
http://spamassassin.apache.org/downloads.cgi?update=200705021400

md5sum of archive files:
6840e3be132e2c3cbf66298b0227e880 Mail-SpamAssassin-3.2.0.tar.bz2
aed988bb6cf463afc868a64d4cd771a3 Mail-SpamAssassin-3.2.0.tar.gz
484045c69499b2fa59f024179f1f49c2 Mail-SpamAssassin-3.2.0.zip

sha1sum of archive files:
2fb864f01fc1c287e6f6e62fab8338f32cd20fb1 Mail-SpamAssassin-3.2.0.tar.bz2
af3941ab4f9548107d06966780ba71f751ab0216 Mail-SpamAssassin-3.2.0.tar.gz
bf785d7088371ad3beafe6084bf296ee3434038c Mail-SpamAssassin-3.2.0.zip

The release files also have a .asc accompanying them. The file serves
as an external GPG signature for the given release file. The signing
key is available via the wwwkeys.pgp.net key server, as well as
http://spamassassin.apache.org/released/GPG-SIGNING-KEY

The key information is:

pub 1024D/265FA05B 2003-06-09 SpamAssassin Signing Key <release@...>
Key fingerprint = 26C9 00A4 6DD4 0CD5 AD24 F6D7 DEE0 1987 265F A05B

See the INSTALL and UPGRADE files in the distribution for important
installation notes.

Summary of major changes since 3.1.8
------------------------------------

Changes to the core code:

* new behavior for trusted_networks/internal_networks: the 127.* network is now always considered trusted and internal, regardless of configuration.

* bug 3109: short-circuiting of 'definite ham' or 'definite spam' messages based on individual short-circuit rules using the 'shortcircuit' setting, by Dallas Engelken <dallase /at/ uribl.com>.

* bug 5305: implement 'msa_networks', for ISPs to specify their Mail Submission Agents, and extend network trust accordingly.

* bug 4636: Add support for charset normalization, so rules can be written in UTF-8 to match text in other charsets.

* sa-compile: compilation of SpamAssassin rules into a fast parallel-matching DFA, implemented in native code.

* "tflags multiple": allow writing of rules that count multiple hits in a single message.

* bug 4363: if a message uses CRLF for line endings, we should use it as well, otherwise stay with LF as usual; important for Windows users.

* bug 4515: content preview was omitting first paragraph when no Subject: header was present.

* The third-party modules used by sa-update are now required by the SpamAssassin package, instead of being optional.

* Bug 5165: 'sa-update --checkonly' added to check for updates without applying them; thanks to <anomie /at/ users.sourceforge.net>

* Bugs 4606, 4609: Adjust MIME parsing limits for nested multipart/* and message/rfc822 MIME parts.

* bug 5295: add 'whitelist_auth', to whitelist addresses that send mail using sender-authorization systems like SPF, Domain Keys, and DKIM

* Removed dependency on Text::Wrap CPAN module.

* Received header parsing updates/fixes/additions.

Spamc / spamd:

* bug 4603: Mail::SpamAssassin::Spamd::Apache2 -- mod_perl2 module, implementing spamd as a mod_perl module, contributed as a Google Summer of Code project by Radoslaw Zielinski.

* bug 3991: spamd can now listen on UNIX domain, TCP, and SSL sockets simultaneously. Command-line semantics extended slightly, although fully backwards compatibly; add the --ssl-port switch to allow TCP and SSL listening at the same time.

* bug 3466: do Bayes expiration, if required, after results have been passed back to the client from spamd; this helps avoid client timeouts.

* more complete IPv6 support.

* spamc: Add '-K' switch, to ping spamd.

* spamc: add '-z' switch, which compresses mails to be scanned using zlib compression; very useful for long-distance use of spamc over the internet.

* bug 5296: spamc '--headers' switch, which scans messages and transmits back just rewritten headers. This is more bandwidth-efficient than the normal mode of scanning, but only works for 'report_safe 0'.

* Bump spamd's protocol version to 1.4, to reflect new HEADERS verb used for '--headers'.

Mail::SpamAssassin modules and API:

* bug 4589: allow M::SA::Message to use IO::File objects to read in message (same as GLOB).

* bug 4517: rule instrumentation plugin hooks, to measure performance, from John Gardiner Myers <jgmyers /at/ proofpoint.com>.

* add two features to core rule-parsing code; 1. optional behaviour to recurse through subdirs looking for .cf/.pre's, to support rules compilers working on rulesrc dir. 2. call back into invoking code on lint failure, so rule compiler can detect which rules exactly fail the lint check.

* bug 5206: detect duplicate rules, and silently merge them internally for greater efficiency.

* bug 5243: add Plugin::register_method_priority() API, allowing plugins to control the relative ordering of plugin callbacks relative to other plugins' implementations.

* Reduced memory footprint.

Plugins:

* bug 5236: Support Mail::SPF replacement for Mail::SPF::Query.

* bug 5127: allow mimeheader :raw rules to match newlines and folded-header whitespace in MIME header strings.

* bug 4770: add ASN.pm plugin, contributed by Matthias Leisi <matthias at leisi.net>

* bug 5271: move ImageInfo ruleset into 3.2.0 core rules, thanks to Dallas Engelken <dallase /at/ uribl.com>.

* VBounce ruleset and plugin: detect spurious bounce messages sent by broken mail systems in response to spam or viruses. (Based on Tim Jackson's "bogus-virus-warnings.cf" ruleset.)

* DomainKeys/DKIM: Mail::DKIM is now preferred over Mail::DomainKeys, since the latter module is no longer actively maintained, and Mail::DKIM can handle both DomainKeys and DKIM signatures.

* DKIM: separate signature verification from fetching a policy: can save a DNS lookup for each unverified message by setting score to 0 for all policy-related rules (DKIM_POLICY_SIGNALL, DKIM_POLICY_SIGNSOME, and DKIM_POLICY_TESTING). (thanks to Mark Martinec)

* DKIM: support testing flags in the public key, as well as in the policy record. (thanks to Mark Martinec)

* DKIM: skip fetching a policy (SSP) if a signature does verify, according to draft-allman-dkim-ssp-02 (thanks to Mark Martinec)

* Move rule functionality and checking into separate Check plugin, allowing third parties to implement alternative scanner core algorithms.

* core EvalTests code moved into various plugins.

* Plus lots of miscellaneous bug fixes.


A more detailed change log can be read here:

http://svn.apache.org/repos/asf/spamassassin/tags/spamassassin_release_3_2_0/Changes

ちょっと遅れてしまいましたが、

SA日本語メイリングリストをウォッチしている方はご存知と思いますが、SA日本語パッチの作者の滝澤さんが、SA 3.2.3 向けの日本語対応パッチを作成されました。
http://mm.apache.jp/pipermail/spamassassin-jp/2007-December/000617.html
3.2 系は 3.1 系とは仕様が異なっている部分があり、一部のルールは互換性が失われています。
しかし、それを補って余りある性能向上がある、とのことです。
http://mm.apache.jp/pipermail/spamassassin-jp/2007-December/000623.html

# 私も対応しなければなりません。
# でも、ルールの大幅な見直しとか、結構大変な作業になりそうな予感(泣

すっかり見落としてしまっていました。
1/7に、 SpamAssassin 3.2.4 がリリースされました。

http://www.nabble.com/ANNOUNCE%3A-Apache-SpamAssassin-3.2.4-available-to14671152.html

主にバグフィクスのメンテナンスリリースであるとアナウンスされています。
一方で、 3.2.3 以前と比べて動作が軽くなった、とのレポートもあります。

http://www.nabble.com/Re%3A-Apache-SpamAssassin-3.2.4-p14774104.html

こんにちは。
先日このコミュニティーに参加させて頂きました、川田です。

「はじめまして」トピックでのご挨拶もそこそこに質問で恐縮なのですが、
現在利用しているSpamAssassin（3.002004※）にて困った問題を抱えています。
※perl -MCPAN -e shell
i Mail::SpamAssassin
にて表示される「INST_VERSION」のバージョン番号です。

SpamAssassinにはブラックリスト／ホワイトリストの機能がありますが、
ブラックリストに登録しているアドレスであるにも関わらず、
チェックをすり抜けているかのようにSPAMが届いてしまいます。
もちろん全部が全部という訳ではなく、
割合的にはブラックリストに登録しているメールアドレス全体の
15%程度からその後も届いているという状況です。
同様の問題は他でもあるだろうと思い調べてもみたのですが、
上記のような話は目にすることが出来ませんでしたので、
こちらで質問させて頂くことにしました。

「これこれこのような条件のもとではすり抜けることがある」
「ブラックリストそのもの以外にここの設定を確認すべき」
といったことをご存知の方がいらっしゃいましたらよろしくお願い致します。

> SpamAssassinにはブラックリスト／ホワイトリストの機能がありますが、

それはどの機能を指しているのでしょうか。
DNSBLですか、それともSubject:ですか、それとも From: メイルアドレスでしょうか。

> ブラックリストに登録しているアドレスであるにも関わらず、

IPアドレスでしょうか、メイルアドレスでしょうか。

ホワイトリストと記していることから、メイルアドレスと仮定してお話しますと、

From: メイルアドレスや、エンベロープFromのメイルアドレスは、いずれも詐称可能です。
そのようなものを登録してもあまり意味はないと、個人的には思っています。

それと、

> チェックをすり抜けているかのようにSPAMが届いてしまいます。
> もちろん全部が全部という訳ではなく、
> 割合的にはブラックリストに登録しているメールアドレス全体の
> 15%程度からその後も届いているという状況です。

数を数えてもあまり意味はありません。
それよりも、どのルールでひっかかり、どのルールですり抜けたのかを調べることが重要です。
$ spamassassin -d target_mail|spamassassin -t -D 2>&1|lv
等、デバッグ出力を見なければ話は始まりません。

http://mm.apache.jp/pipermail/spamassassin-jp/2009-June/000704.html
日本SpamAssassin　MLには投稿しましたが、こちらでもお知らせします。

SORBS が7月20日になくなってしまう可能性が極めて高い、との情報です。

http://mail-archives.apache.org/mod_mbox/spamassassin-users/200906.mbox/%3C1245666467.7031.103.camel@rubikscube%3E

サーバ移転先が見つからないと廃止だそうです。
要求スペックがかなり高く、移転はきわめて難しい、とのことです。
SURBLをお使いの方はご注意ください。

なお、拙作 user_prefs は近日中に対応する予定です。

次期メジャーバージョンアップのアルファバージョンとして、SA 3.3.0-alpha1 がリリースされました。
http://mail-archives.apache.org/mod_mbox/spamassassin-users/200907.mbox/%3C6c399e450907021522k1678f0ffn454a1e670f064b40@mail.gmail.com%3E
3.2.6との相違点すら書かれていませんが、ちょっと前に Justin Mason が
「もう perl 5.6.x サポートしなくてもいいよね?」と同意を求めていたので、恐らく perl 5.6.x 以前のサポートを外したんじゃないかと思います。
http://mail-archives.apache.org/mod_mbox/spamassassin-users/200906.mbox/%3C6c399e450906250144i22518b66nab020ba94596a5af@mail.gmail.com%3E
SAユーザの方はご利用の perl のバージョンにご注意ください。

今般、「第09回 まっちゃ445勉強会」という会合で、spamフィルタリングに関する勉強会が行われます。
SA日本語化の滝澤隆史さんを始めとする、「spamといえばこの人」みたいな方々がかき集められました。
僭越ながら私も末席を汚すこととなりました。
参加費用は1000円です。
定員は70名ですが、人気の勉強会らしく、早々に埋まってしまうらしいので、ご興味のある方はお早めにどうぞ。
http://matcha445.techtalk.jp/saturday-workshop/9th-workshop

発表から二週間も経ってしまいましたが、漸く当日のスライドを使用して私が発表したかったことを文章に起こしました。御参考になれば幸いです。
http://spamassassin.jp/modules/xhnewbb/viewtopic.php?viewmode=flat&topic_id=64&forum=1

本日日本時間午後12時、SpamAssassin 3.3.0-beta1 がリリースされました。
http://old.nabble.com/ANNOUNCE%3A-Apache-SpamAssassin-3.3.0-beta1-available-td26671864.html

# 注意: まだβ版です。正式リリースではありません。

明けましておめでとうございます。

新年早々、本家ルール「FH_DATE_PAST_20XX」に致命的バグが顕在化し、hamがspamと誤判定されてしまう、という事故が続出しています。

具体的には、以下の文書を御覧下さい。
http://jvnrss.ise.chuo-u.ac.jp/csn/index.cgi?p=SpamAssassin%A4%CEFH_DATE_PAST_20XX
http://www.apache.jp/pipermail/spamassassin-jp/2010-January/000719.html
取り敢えず、拙作 user_prefs は今しがた FH_DATE_PAST_20XX を無効化しました。

sa-update しても改善されませんので、SAをデフォルトで運用されている方、或は独自ルールで運用されている方は、 FH_DATE_PAST_20XX を無効化することを強くお薦めします。

そろそろ3.3.0がリリースされそうです。
http://buildbot.spamassassin.org/staging/website/

先程、本家MLにて SA 3.3.0 のリリースアナウンスがありました。
http://marc.info/?l=spamassassin-users&m=126452364222352&w=2