<?xml version="1.0" encoding="UTF-8" ?>
<rss version='2.0'>
<channel>
<title>ZTMS掲示板</title>
<description>新着投稿一覧</description>
<link>http://ztms.bbs.fc2.com/</link>
<ttl>60</ttl>
<copyright>FC2, inc</copyright>
<item>
<title>Re: Re: Amazon のページタイトルが取得できない</title>
<author>ZTMS(管理人)</author>
<link>http://ztms.bbs.fc2.com/?act=reply&amp;tid=13483860</link>
<description><![CDATA[齊藤さん

ありがとうございます。なるほど・・
そういえばボット検出技術はCloudflareやGoogleがそれぞれ独自に先行してるイメージで
AWSはあまり聞いたことがなかったですが、なにか機能があるのかもしれません。

ボット検出と似ていますがフィンガープリント技術というものも聞いたことがあり、
たしかにサーバー側でがんばればかなりいろいろわかるみたいですね。。
JCBookmarkは古いOpenSSLのままですし。。

Turnstileはヘッドレスブラウザもボット検出してしまうようなので、
ElectronやTauriを利用してJCBookmarkを作り直せば回避]]></description>
<pubDate>Sun, 01 Mar 2026 09:19:21 +0900</pubDate>
</item>
<item>
<title>Re: Amazon のページタイトルが取得できない</title>
<author>齊藤</author>
<link>http://ztms.bbs.fc2.com/?act=reply&amp;tid=13483860</link>
<description><![CDATA[3.4 から改修版にしてみて、今までリンクチェックで OK だったのが 403 になったサイトがいくつかあります。
レスポンスヘッダを観察してみると cloudfront とか aws とか言った名前が見えるので Turnstile に類する取り組みなのかもしれません。
参考のため当該サイトの URL を列挙します。
https://novelup.plus/
https://ch.dlsite.com/pommu/
https://websearch.excite.co.jp/
https://www.gov-online.go.jp/
https://www.sbcr.jp/
https://www.digital-archives.pref.fukui.lg.jp/

具体的に何を検知しているかというよりも総合的な BO]]></description>
<pubDate>Fri, 27 Feb 2026 15:55:24 +0900</pubDate>
</item>
<item>
<title>Re: Amazon のページタイトルが取得できない</title>
<author>ZTMS(管理人)</author>
<link>http://ztms.bbs.fc2.com/?act=reply&amp;tid=13483860</link>
<description><![CDATA[齊藤さん

ご確認ありがとうございました。

&amp;gt; Firefox の UA を設定して curl でアクセスしてみたりして試してたんですが特に問題がある (title タグを取得できない) ような返答はこない

なるほど・・！
私も試したところ、たしかにUser-Agentだけが条件ではないようです。

リクエストヘッダの Accept-Language と Accept-Encoding をつけたところ今回の問題が発生しました。
JCBookmarkもこのヘッダを送っています。

$ curl -H &amp;quot;Accept-Language: ja,en&amp;quot; -H &amp;quot;Accept-Encoding: gzip,deflate&amp;quot; -A &amp;quot;Mozilla/5.0 (Windows NT 10.0; Win6]]></description>
<pubDate>Fri, 27 Feb 2026 02:52:13 +0900</pubDate>
</item>
<item>
<title>Re: Amazon のページタイトルが取得できない</title>
<author>齊藤</author>
<link>http://ztms.bbs.fc2.com/?act=reply&amp;tid=13483860</link>
<description><![CDATA[ありがとうございます。 タイトルの取得は期待通りに出来ているようです。
Firefox の UA を設定して curl でアクセスしてみたりして試してたんですが特に問題がある (title タグを取得できない) ような返答はこないので JCBookmark で取得できないというのがよくわからないですね。]]></description>
<pubDate>Thu, 26 Feb 2026 19:49:25 +0900</pubDate>
</item>
<item>
<title>Re: Amazon のページタイトルが取得できない</title>
<author>ZTMS(管理人)</author>
<link>http://ztms.bbs.fc2.com/?act=reply&amp;tid=13483860</link>
<description><![CDATA[齊藤さん

お待たせしました。
Amazonの正確な仕様は謎ですが、ひとまずJCBookmarkからリクエストする時のUser-Agentを
「Mozilla/5.0 (Windows NT) JCBookmark」にしたところ、Firefoxでもタイトルを取得できました。

この改修を入れたバージョン（JCBookmark.exeファイルのみ）をこちらに置きました。

&amp;gt;&amp;gt;&amp;gt; https://ztmsdf.appspot.com/jcbookmark/JCBookmark-v3.4.20260223.exe.zip

このバージョンで問題が改善するかどうか？ご確認いただけると助かります。
上記zipファイルをダウンロード後、JCBookmarkを終了して、JCBookmark.exe]]></description>
<pubDate>Mon, 23 Feb 2026 22:55:23 +0900</pubDate>
</item>
<item>
<title>Re: Amazon のページタイトルが取得できない</title>
<author>ZTMS(管理人)</author>
<link>http://ztms.bbs.fc2.com/?act=reply&amp;tid=13483860</link>
<description><![CDATA[齊藤さん

ログのご提供ありがとうございます！
私もFirefoxで試したところ問題が再現しました！なるほど・・

Firefoxだとなぜか必ずダメなようです。。
Chromeだと、タイムアウトにならなければ問題なく動作するようです。
Chromeでは次のようなログになりました。

02:00:07.502 [0:1056]接続:::1
02:00:07.502 [0]受信:POST /:analyze HTTP/1.1  Host: localhost:60080  Connection: keep-alive  Content-Length: 40  Cache-Control: max-age=0  sec-ch-ua-platform: &amp;quot;Windows&amp;quot;  sec-ch-ua: &amp;quot;Not(A:Brand&amp;quot;;v=&amp;quot;8&amp;quot;, &amp;quot;Chromium&amp;quot;;v=&amp;quot;144&amp;quot;, &amp;quot;]]></description>
<pubDate>Fri, 20 Feb 2026 02:30:50 +0900</pubDate>
</item>
<item>
<title>Re: Amazon のページタイトルが取得できない</title>
<author>齊藤</author>
<link>http://ztms.bbs.fc2.com/?act=reply&amp;tid=13483860</link>
<description><![CDATA[私の環境ではかならず失敗します。
ただ、タイムアウトではなく通信自体は成功しているように見えますし五秒も待たずに結果が出ているのは間違いないです。
たとえば https://www.amazon.co.jp/dp/B01AHWOCQ8 に対してタイトル/アイコンを取得するときのログは以下のようなものでした。

15:30:44.004 [0:2404]接続:127.0.0.1
15:30:44.004 [0]受信:POST /:analyze HTTP/1.1  Host: localhost:60080  User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:147.0) Gecko/20100101 Firefox/147.0  Accept: */*  Accept-Language: ja,en-US;q=0.9,en;q=0.8  Accept-Encoding: gzip, deflate, br, zstd  Content-Type: application/x-www-form-urlencoded; charset=UTF-8  If-Modified-Since: Thu, 01 Jun 1970 00:00:00 GMT  X-Requested-With: XMLHttpRequest  Content-Length: 40  Origin: ]]></description>
<pubDate>Thu, 19 Feb 2026 15:36:39 +0900</pubDate>
</item>
<item>
<title>Re: Amazon のページタイトルが取得できない</title>
<author>ZTMS(管理人)</author>
<link>http://ztms.bbs.fc2.com/?act=reply&amp;tid=13483860</link>
<description><![CDATA[齊藤さん

ご利用ありがとうございます。
私の環境で動作確認したところ、「取得できる時とできない時がある」ようです。
齊藤さんの環境では「取得できることはなく、必ずダメ」という状況でしょうか？

原因はおそらくタイムアウトではないかと思います。
JCBookmarkがブックマークURLに接続する時のタイムアウトが5秒ほどと割と短めの実装になっており、
タイムアウトしてしまった場合はページタイトルを取得できず終わってしまうと思われます。

5秒でHTMLが返ってこないサイトはずいぶん遅いとは思いますが、
10秒待てばHTMLが返って]]></description>
<pubDate>Wed, 18 Feb 2026 23:38:21 +0900</pubDate>
</item>
<item>
<title>Amazon のページタイトルが取得できない</title>
<author>齊藤</author>
<link>http://ztms.bbs.fc2.com/?act=reply&amp;tid=13483860</link>
<description><![CDATA[以前は出来ていた Amazon のページタイトルの取得ができなくなっているようです。
「タイトル/アイコンを取得」を実行するとタイトルには Amazon.co.jp とだけ出てきます。
このときリンク切れ調査では 200 OK が返ってきているので通信自体は成功しているのだと思います。
title タグが現れる箇所が頭から 48KB くらいの位置と、だいぶん後ろ寄りなのが関係しているでしょうか？]]></description>
<pubDate>Mon, 16 Feb 2026 09:45:18 +0900</pubDate>
</item>
<item>
<title>Re: Cloudflare Turnstile</title>
<author>ZTMS(管理人)</author>
<link>http://ztms.bbs.fc2.com/?act=reply&amp;tid=13482856</link>
<description><![CDATA[齊藤さん

ご利用ありがとうございます！

Cloudflare Turnstile は名前を聞いたことはありました。
少し前に「Google reCAPTCHA から Turnstile に乗り換える」といった話題があったため
キャプチャ機能かと思っていたのですが、少し違ってサイトの閲覧自体もロボットは禁止する
ような機能だったのですね。。

Turnstile の仕組みや回避方法なども少し調べてみましたが、厳しい現実が待っていました。
JCBookmarkがタイトルを自動取得したりリンク切れ調査を行う時のプログラムによるサイト
へのアクセスは、Turnstileが拒否したい相手そ]]></description>
<pubDate>Fri, 06 Feb 2026 01:37:40 +0900</pubDate>
</item>
</channel>
</rss>
