各RIRデータの取得のタイミングとデータ日付の時差
当サイトは日本時間(UTC+9:Asia/Tokyo)にて運用しています。
アクセスが少ない時間帯に定期的な自動更新処理を行う為、未明を更新処理の時間帯としています。
世界5拠点にある5-RIR(AFRINIC, APNIC, ARIN, LACNIC, RIPE NCC)では、
それぞれ現地時間による運用が行われており、日本時間とは時差が発生します。
その為、取得する時間帯によっては日付が異なるデータを取り込む結果になり注意が必要です。
目次
5-RIR(AFRINIC, APNIC, ARIN, LACNIC, RIPE NCC)データの提供仕様
日本時間で日付が変更された時点では、多くの各国ではまだ前日日付による運用が行われています。
最新ファイルのURL
データの取得元としている公開データは以下URLから取得しています。
ftp://ftp.apnic.net/pub/stats/apnic/delegated-apnic-extended-latest
ftp://ftp.afrinic.net/pub/stats/afrinic/delegated-afrinic-extended-latest
ftp://ftp.lacnic.net/pub/stats/lacnic/delegated-lacnic-extended-latest
ftp://ftp.ripe.net/pub/stats/ripencc/delegated-ripencc-extended-latest
ftp://ftp.arin.net/pub/stats/arin/delegated-arin-extended-latest
アーカイブデータの提供
各URLのデータはその時点の最新データが動的にデータベースから取得される仕組みになっています。
同じディレクトリ内に別途提供されているファイルには、
ファイル名に日付付きのアーカイブデータが提供されています。
例)ftp://ftp.apnic.net/pub/stats/apnic/2018/delegated-apnic-extended-20180701.gz
※「2018/」のサブディレクトリの有無はRIRによって異なります。
アーカイブファイルはそれぞれのRIRが、
概ね午前中(9~10:00 現地営業時間)に、
作成される運用(ディレクトリ表示で確認できる日付)であるようですが、
UTC+9時点で最新のデータを取得した場合、現地時間の最新データが取得できます。
※ファイルサイズは「0B(バイト)」表示ですが自動的に最新データが返されます。
各ディレクトリからファイルを選択してダウンロードするには、
以下リンクからファイルを選択できます。
ftp://ftp.apnic.net/pub/stats/apnic/
ftp://ftp.afrinic.net/pub/stats/afrinic/
ftp://ftp.lacnic.net/pub/stats/lacnic/
ftp://ftp.ripe.net/pub/stats/ripencc/
ftp://ftp.arin.net/pub/stats/arin/
日本時間(UTC+9)未明取得時の例
上記のように最新データとアーカイブデータにアクセスが可能な、
5-RIR(AFRINIC, APNIC, ARIN, LACNIC, RIPE NCC)のデータですが、
UTC+9の「6/30 0:00」にデータを取得した場合、
UTC-4では、前日「6/29 11:00」前後の時間帯という事になります。
アメリカ(ARIN)では6/29のデータが公開され、
6/29のデータがアーカイブされたタイミングの後となります。
他のRIRはまだ前日データが足並み揃って公開されている時間帯になります。
ARINのデータをこのタイミングで取得した場合のURLはそれぞれ以下のようになりますが、
これは全く同一バージョンのファイルが返されてきます。
※ARINでは日付と日付無し両方で最新情報にアクセス可能です。
ftp://ftp.arin.net/pub/stats/arin/delegated-arin-extended-latest
ftp://ftp.arin.net/pub/stats/arin/delegated-arin-extended-20180629
しかし、APINICでは最新ファイルおよび、アーカイブファイルは既に6/30が最新になっています。
ftp://ftp.apnic.net/pub/stats/apnic/delegated-apnic-extended-latest
ftp://ftp.apnic.net/pub/stats/apnic/delegated-apnic-extended-20180630
データの日付にズレが発生する事になります。
これをどうしても避けたい場合には全拠点で日付が同じタイミングで取得するしかありません。
5-RIR(AFRINIC, APNIC, ARIN, LACNIC, RIPE NCC)の拠点とタイムゾーン
明確に5-RIR(AFRINIC, APNIC, ARIN, LACNIC, RIPE NCC)の拠点(タイムゾーン)が、
公開されている訳ではありませんが、
各サイトのポストアドレス(住所)を確認すると、以下のようになっています。
RIR | Post Address(Office) | CC | 国名 | TimeZone(PHP) | UTC時差 |
---|---|---|---|---|---|
AfriNIC
|
11th Floor, Standard Chartered Tower 19, Cybercity Ebène Republic of Mauritius | MU | モーリシャス | Indian/Mauritius | UTC +4.0 (追記あり) |
APNIC
|
6 Cordelia Street,South Brisbane,QLD 4101,Australia | AU | オーストラリア | Australia/Brisbane | UTC +10.0 |
ARIN
|
PO Box 232290 Centreville, VA 20120 USA | US | アメリカ合衆国 | America/New_York | UTC -4.0 |
LACNIC
|
Rambla República de México 6125, 11400 Montevideo | UY | ウルグアイ | America/Montevideo | UTC -3.0 |
RIPE NCC
|
Stationsplein 11 1012 AB Amsterdam The Netherlands | NL | オランダ | Europe/Amsterdam | UTC +2.0 |
※VAはバージニア州を示す。
追記
RIRから提供されるデータのヘッダ部分には、UTCoffset
の値が付加されており、
以下のようになっています。(ヘッダーの一例です)
RIR | FTPデータヘッダ情報 |
---|---|
afrinic
|
2|afrinic|20180704|8293|00000000|20180704|00000 |
apnic
|
2.3|apnic|20180704|108819||20180703|+1000 |
arin
|
2.3|arin|1530680424414|140864|19700101|20180704|-0400 |
lacnic
|
2.3|lacnic|20180703|55506|19870101|20180703|-0300 |
ripencc
|
2|ripencc|1530655199|183312|19830705|20180703|+0200 |
※ヘッダー情報のフォーマットは以下になります。
4.2 File header/The version line: version|registry|serial|records|startdate|enddate|UTCoffset
これによれば、AfrinicのUTCオフセットは「0:00(UTC±0)」となります。
5-RIR(AFRINIC, APNIC, ARIN, LACNIC, RIPE NCC)間のタイムゾーンは、
UTC -4.0 ~ UTC +10.0 の範囲で分布しています。
このことから、1日24時間のうち、10時間は全拠点が同じ日付タイミングになることが分かります。
一番遅く日付が変わるLACNICが日付が変わったタイミング(午前0時)で、
UTC+10のAPINICは、午後2時という事です。
日本時間ではUTC+9.0ですので、午後1時に当たります。
日本時間で5-RIR(AFRINIC, APNIC, ARIN, LACNIC, RIPE NCC)が同じ日付のデータを参照する場合、
「13:00~22:59」の間であれば問題がないという事が分かります。
ただ、あまり負荷の高い処理をこうした日本時間の日中に、
日本の共用レンタルサーバーで実施する事は、他の方に迷惑になるので採用はしていません。
余談ですが、PHPでタイムゾーンを選択する際に利用できる文字列と、
UTC時差を一覧にしたものを以下でご紹介しています。
目的の都市がなく、同じ時差のエリアを選びたい場合にご活用ください。
(今回の調査だけの為に作成したとか・・・)
各RIRデータの取得のタイミングとデータ日付の時差
このような日付変更線と時差の問題で、
データの取得処理の時間によってデータのヘッダーに記載の日付にズレが発生します。
アーカイブデータが提供されていますので、
実際のところ、ここで敢えてAPINICのみ、
前日アーカイブのデータを参照するという選択も可能なのですが、
各RIRが最新としているデータに対して、APNICのみ前日データとする事には、
仮に各データベースが同期処理が行われているとする場合、
APNICのデータのみ古いデータを取得しかねないリスクも発生すると考えます。
このような理由を踏まえて当サイトでは、
APNICのみ「データ日付が1日進んだ状態」で取得処理を行っています。
意識するほどの事ではないとは思いますが、書き添えさせて頂きます。
データ取得の結果表示にて、取得時間と現地時間(参考)の表示を行っています。
5-RIR・データ取込件数とIPアドレス総数集計表(状況)
当サイトではRIRからのデータ取り込みを日次で自動処理によって行っています。
以下が各RIRからの取り込みを行った際の日時情報になります。
最終確認日のみが直近で、取り込み処理を実施していない場合は、
データ元であるRIRデータに差異がなかった(バージョンが同じ)事を示します。
バージョンが異なる場合のみ、取込の処理を実施しています。
RIR | 行数(サマリ行) | 格納行数 | 行差異 | 集計IP数 | gIP割合(%) | 最終チェック日時 | 取込日時 | 現地時刻(参考) | header行 | データversion | データサマリ行 | タイプ | 取込時点データ |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
afrinic |
5521 | 5521 | 0 -OK! | 121250304 | 3.2750 % | 2024-10-07 22:16:14 | 2024-10-07 22:16:14 - timezone: Asia/Tokyo(UTC+9) | 2024-10-07 17:16:14 - timezone: Indian/Mauritius(UTC+4) | 2|afrinic|20241007|16684|00000000|20241007|00000 | 20241007 | afrinic|*|ipv4|*|5521|summary | ipv4 | delegated-afrinic-extended-latest(size: 0.85 MB) |
apnic |
55355 | 55355 | 0 -OK! | 889645824 | 24.0298 % | 2024-10-07 22:08:21 | 2024-10-07 22:08:21 - timezone: Asia/Tokyo(UTC+9) | 2024-10-07 23:08:21 - timezone: Australia/Brisbane(UTC+10) | 2.3|apnic|20241007|172422||20241005|+1000 | 20241007 | apnic|*|ipv4|*|55355|summary | ipv4 | delegated-apnic-extended-latest(size: 8.35 MB) |
arin |
76490 | 76490 | 0 -OK! | 1660219136 | 44.8434 % | 2024-10-07 22:00:32 | 2024-10-07 22:00:32 - timezone: Asia/Tokyo(UTC+9) | 2024-10-07 09:00:32 - timezone: America/New_York(UTC-4) | 2.3|arin|1728219652553|189336|19700101|20241006|-0400 | 1728219652553 | arin|*|ipv4|*|76490|summary | ipv4 | delegated-arin-extended-latest(size: 12.03 MB) |
lacnic |
19885 | 19885 | 0 -OK! | 190077696 | 5.1341 % | 2024-10-07 22:12:13 | 2024-10-07 22:12:13 - timezone: Asia/Tokyo(UTC+9) | 2024-10-07 10:12:13 - timezone: America/Montevideo(UTC-3) | 2.3|lacnic|20241006|90858|19870101|20241004|-0300 | 20241006 | lacnic|*|ipv4|*|19885|summary | ipv4 | delegated-lacnic-extended-latest(size: 4.28 MB) |
ripencc |
94748 | 94748 | 0 -OK! | 841064960 | 22.7176 % | 2024-10-07 22:04:31 | 2024-10-07 22:04:31 - timezone: Asia/Tokyo(UTC+9) | 2024-10-07 15:04:31 - timezone: Europe/Amsterdam(UTC+2) | 2|ripencc|1728251999|250623|19700101|20241006|+0200 | 1728251999 | ripencc|*|ipv4|*|94748|summary | ipv4 | delegated-ripencc-extended-latest(size: 17.35 MB) |
グローバルIP理論総数 | 不足IP数 | IP合計 | 全IP割合(%) | ||||||||||
3,702,258,432 | 512 | 3,702,257,920 | 100.0000 % |
code:sc12
上記表示の「不足IP数」列に表示されているIP数の差異については、
以下の状況ページにてご説明をしています。
更新履歴情報
Ver. | 更新日 | 更新内容 |
---|---|---|
1.0.5 | 2019/04/30 | 日次更新処理の自動スケジュールの変更を実施しました。 これまで 0:01(UTC+9)より更新処理の実行を行ってまいりましたが、 APNICデータが1日早い状態で更新され差異が発生しやすい状態にありましたので、 2019/5/1以降、22:01(UTC+9)からの更新へと変更いたします。 これによって5/1 0:01~の更新は行わず、5/1 22:01~の更新へと遅延させる対応となります。 以後、日時更新は常に22:01~定期更新を実施します。 |
1.0.4 | 2018/07/08 | 「取込状況」一覧の取り込み日時表示がデータの取り込み有無に関わらず、 自動更新されている症状を訂正。 データ取り込み時のみ更新を行うよう修正。翌7/9処理以降、データ表示に反映予定。 |
1.0.3 | 2018/07/05 | 5-RIR(AFRINIC, APNIC, ARIN, LACNIC, RIPE NCC)間のデータにおいて、 重複データの表示テーブルに対して、重複状態と原因データを表示し、 元データを確認する為のリンクを追加しました。 RIR割当てIPアドレス内の「非グローバルIP/重複」データ一覧 |
1.0.2 | 2018/07/04 | 日次更新処理の自動実行の動作確認が取れました。 翌2018/07/05以降は自動的に処理されます。 データの整合性チェックも概ね、現在状況(データ不整合等)を適切に監視できていますので、 当面はこのままβ公開を継続します。詳細は以下リンク先をご確認ください。 RIRデータ処理結果(状況) |
1.0.1 | 2018/07/02 | β公開。 IPアドレス国割り当てデータの公開を開始しましたが、 日次データの自動取得に関して現在は手動実行です。 極力、日次更新を心掛けますが厳密には試験運用中の位置づけです。 |
本サイトで公開しているツールについては、
十分にテストは行っておりますが個人で作成している為、
潜在的なバグがないとは言い切れません。
その為、ツールを用いた結果については十分検証の上ご利用ください。
当サイトおよび、管理人は如何なる損害もその責を負いません。
当サイト内のコンテンツおよび画像において、
出典・引用の外部著作権者の明記がないものは、
すべて管理人による著作物です。
当サイトでご紹介しておりますコンテンツの著作権の放棄は致しません。
サイト内コンテンツを引用される際にはご連絡は不要です。
ただし、出典元として当サイト(個別記事)へのリンクをお願いいたします。
申し訳ございませんが、無断転載、複製をお断りさせて頂いております。
コンテンツを有益であると感じていただけましたら非常に光栄です。
ありがとうございます。
公開日:
最終更新日:2019/06/20