IPアドレス・ネットマスクの変換・チェック・統合・除外、国判定を簡単に。

こんな機能欲しいけど、自分で作るの面倒くさい!みたいな思いつきを
是非Twitterで意見投げてみてください。
時間は掛かるかもしれませんがコツコツ頑張るかも!?
Twitterリンクは下部)

IPアドレスから地理的位置情報(GeoIPLocation)の検索機能を公開しました。

Google or AdMax Promotion (ipvtop)

各RIRデータの取得のタイミングとデータ日付の時差

当サイトは日本時間(UTC+9:Asia/Tokyo)にて運用しています。
アクセスが少ない時間帯に定期的な自動更新処理を行う為、未明を更新処理の時間帯としています。
世界5拠点にある5-RIR(AFRINIC, APNIC, ARIN, LACNIC, RIPE NCC)では、
それぞれ現地時間による運用が行われており、日本時間とは時差が発生します。
その為、取得する時間帯によっては日付が異なるデータを取り込む結果になり注意が必要です。

5-RIR(AFRINIC, APNIC, ARIN, LACNIC, RIPE NCC)データの提供仕様

プロモーション

Google or AdMax Promotion (ipvpos)

日本時間で日付が変更された時点では、多くの各国ではまだ前日日付による運用が行われています。

最新ファイルのURL

データの取得元としている公開データは以下URLから取得しています。

ftp://ftp.apnic.net/pub/stats/apnic/delegated-apnic-extended-latest
ftp://ftp.afrinic.net/pub/stats/afrinic/delegated-afrinic-extended-latest
ftp://ftp.lacnic.net/pub/stats/lacnic/delegated-lacnic-extended-latest
ftp://ftp.ripe.net/pub/stats/ripencc/delegated-ripencc-extended-latest
ftp://ftp.arin.net/pub/stats/arin/delegated-arin-extended-latest

 

アーカイブデータの提供

各URLのデータはその時点の最新データが動的にデータベースから取得される仕組みになっています。
同じディレクトリ内に別途提供されているファイルには、
ファイル名に日付付きのアーカイブデータが提供されています。

例)ftp://ftp.apnic.net/pub/stats/apnic/2018/delegated-apnic-extended-20180701.gz
※「2018/」のサブディレクトリの有無はRIRによって異なります。

アーカイブファイルはそれぞれのRIRが、
概ね午前中(9~10:00 現地営業時間)に、
作成される運用(ディレクトリ表示で確認できる日付)であるようですが、

UTC+9時点で最新のデータを取得した場合、現地時間の最新データが取得できます。
※ファイルサイズは「0B(バイト)」表示ですが自動的に最新データが返されます。

各ディレクトリからファイルを選択してダウンロードするには、
以下リンクからファイルを選択できます。

ftp://ftp.apnic.net/pub/stats/apnic/
ftp://ftp.afrinic.net/pub/stats/afrinic/
ftp://ftp.lacnic.net/pub/stats/lacnic/
ftp://ftp.ripe.net/pub/stats/ripencc/
ftp://ftp.arin.net/pub/stats/arin/

 

日本時間(UTC+9)未明取得時の例

上記のように最新データとアーカイブデータにアクセスが可能な、
5-RIR(AFRINIC, APNIC, ARIN, LACNIC, RIPE NCC)のデータですが、

UTC+9の「6/30 0:00」にデータを取得した場合、
UTC-4では、前日「6/29 11:00」前後の時間帯という事になります。

アメリカ(ARIN)では6/29のデータが公開され、
6/29のデータがアーカイブされたタイミングの後となります。
他のRIRはまだ前日データが足並み揃って公開されている時間帯になります。

ARINのデータをこのタイミングで取得した場合のURLはそれぞれ以下のようになりますが、
これは全く同一バージョンのファイルが返されてきます。
※ARINでは日付と日付無し両方で最新情報にアクセス可能です。

ftp://ftp.arin.net/pub/stats/arin/delegated-arin-extended-latest
ftp://ftp.arin.net/pub/stats/arin/delegated-arin-extended-20180629

しかし、APINICでは最新ファイルおよび、アーカイブファイルは既に6/30が最新になっています。

ftp://ftp.apnic.net/pub/stats/apnic/delegated-apnic-extended-latest
ftp://ftp.apnic.net/pub/stats/apnic/delegated-apnic-extended-20180630

データの日付にズレが発生する事になります。

これをどうしても避けたい場合には全拠点で日付が同じタイミングで取得するしかありません。

 

5-RIR(AFRINIC, APNIC, ARIN, LACNIC, RIPE NCC)の拠点とタイムゾーン

明確に5-RIR(AFRINIC, APNIC, ARIN, LACNIC, RIPE NCC)の拠点(タイムゾーン)が、
公開されている訳ではありませんが、
各サイトのポストアドレス(住所)を確認すると、以下のようになっています。

RIR Post Address(Office) CC 国名 TimeZone(PHP) UTC時差
AfriNIC
11th Floor, Standard Chartered Tower 19, Cybercity Ebène Republic of Mauritius MU モーリシャス Indian/Mauritius UTC +4.0
(追記あり)
APNIC
6 Cordelia Street,South Brisbane,QLD 4101,Australia AU オーストラリア Australia/Brisbane UTC +10.0
ARIN
PO Box 232290 Centreville, VA 20120 USA US アメリカ合衆国 America/New_York UTC -4.0
LACNIC
Rambla República de México 6125, 11400 Montevideo UY ウルグアイ America/Montevideo UTC -3.0
RIPE NCC
Stationsplein 11 1012 AB Amsterdam The Netherlands NL オランダ Europe/Amsterdam UTC +2.0

※VAはバージニア州を示す。

追記

RIRから提供されるデータのヘッダ部分には、UTCoffsetの値が付加されており、
以下のようになっています。(ヘッダーの一例です)

RIR FTPデータヘッダ情報
afrinic
2|afrinic|20180704|8293|00000000|20180704|00000
apnic
2.3|apnic|20180704|108819||20180703|+1000
arin
2.3|arin|1530680424414|140864|19700101|20180704|-0400
lacnic
2.3|lacnic|20180703|55506|19870101|20180703|-0300
ripencc
2|ripencc|1530655199|183312|19830705|20180703|+0200

※ヘッダー情報のフォーマットは以下になります。
4.2 File header/The version lineversion|registry|serial|records|startdate|enddate|UTCoffset

これによれば、AfrinicのUTCオフセットは「0:00(UTC±0)」となります。

 

5-RIR(AFRINIC, APNIC, ARIN, LACNIC, RIPE NCC)間のタイムゾーンは、
UTC -4.0 ~ UTC +10.0 の範囲で分布しています。

このことから、1日24時間のうち、10時間は全拠点が同じ日付タイミングになることが分かります。

一番遅く日付が変わるLACNICが日付が変わったタイミング(午前0時)で、
UTC+10のAPINICは、午後2時という事です。
日本時間ではUTC+9.0ですので、午後1時に当たります。

日本時間で5-RIR(AFRINIC, APNIC, ARIN, LACNIC, RIPE NCC)が同じ日付のデータを参照する場合、
「13:00~22:59」の間であれば問題がないという事が分かります。

ただ、あまり負荷の高い処理をこうした日本時間の日中に、
日本の共用レンタルサーバーで実施する事は、他の方に迷惑になるので採用はしていません。

 

余談ですが、PHPでタイムゾーンを選択する際に利用できる文字列と、
UTC時差を一覧にしたものを以下でご紹介しています。
目的の都市がなく、同じ時差のエリアを選びたい場合にご活用ください。
(今回の調査だけの為に作成したとか・・・)

 

各RIRデータの取得のタイミングとデータ日付の時差

このような日付変更線と時差の問題で、
データの取得処理の時間によってデータのヘッダーに記載の日付にズレが発生します。

アーカイブデータが提供されていますので、
実際のところ、ここで敢えてAPINICのみ、
前日アーカイブのデータを参照するという選択も可能なのですが、

各RIRが最新としているデータに対して、APNICのみ前日データとする事には、
仮に各データベースが同期処理が行われているとする場合、
APNICのデータのみ古いデータを取得しかねないリスクも発生すると考えます。

 

このような理由を踏まえて当サイトでは、
APNICのみ「データ日付が1日進んだ状態」で取得処理を行っています。

意識するほどの事ではないとは思いますが、書き添えさせて頂きます。

 

データ取得の結果表示にて、取得時間と現地時間(参考)の表示を行っています。

5-RIR・データ取込件数とIPアドレス総数集計表(状況)

当サイトではRIRからのデータ取り込みを日次で自動処理によって行っています。
以下が各RIRからの取り込みを行った際の日時情報になります。

最終確認日のみが直近で、取り込み処理を実施していない場合は、
データ元であるRIRデータに差異がなかった(バージョンが同じ)事を示します。
バージョンが異なる場合のみ、取込の処理を実施しています。

RIR 行数(サマリ行) 格納行数 行差異 集計IP数 gIP割合(%) 最終チェック日時 取込日時 現地時刻(参考) header行 データversion データサマリ行 タイプ 取込時点データ
afrinic
4288 4288 0 -OK! 121250304 3.2750 % 2020-10-31 22:16:11 2020-10-31 22:16:11 - timezone: Asia/Tokyo(UTC+9) 2020-10-31 17:16:11 - timezone: Indian/Mauritius(UTC+4) 2|afrinic|20201031|11707|00000000|20201031|00000 20201031 afrinic|*|ipv4|*|4288|summary ipv4 delegated-afrinic-extended-latest(size: 0.60 MB)
apnic
47083 47083 0 -OK! 891552000 24.0813 % 2020-10-31 22:08:17 2020-10-31 22:08:17 - timezone: Asia/Tokyo(UTC+9) 2020-10-31 23:08:17 - timezone: Australia/Brisbane(UTC+10) 2.3|apnic|20201031|136132||20201030|+1000 20201031 apnic|*|ipv4|*|47083|summary ipv4 delegated-apnic-extended-latest(size: 6.64 MB)
arin
66632 66632 0 -OK! 1673839616 45.2113 % 2020-10-31 22:00:26 2020-10-31 22:00:26 - timezone: Asia/Tokyo(UTC+9) 2020-10-31 09:00:26 - timezone: America/New_York(UTC-4) 2.3|arin|1604066413376|157123|19700101|20201030|-0400 1604066413376 arin|*|ipv4|*|66632|summary ipv4 delegated-arin-extended-latest(size: 10.16 MB)
lacnic
18958 18958 0 -OK! 190767872 5.1527 % 2020-10-31 22:12:13 2020-10-31 22:12:13 - timezone: Asia/Tokyo(UTC+9) 2020-10-31 10:12:13 - timezone: America/Montevideo(UTC-3) 2.3|lacnic|20201030|77586|19870101|20201030|-0300 20201030 lacnic|*|ipv4|*|18958|summary ipv4 delegated-lacnic-extended-latest(size: 3.70 MB)
ripencc
83710 83710 0 -OK! 824847872 22.2796 % 2020-10-31 22:04:24 2020-10-31 22:04:24 - timezone: Asia/Tokyo(UTC+9) 2020-10-31 14:04:24 - timezone: Europe/Amsterdam(UTC+1) 2|ripencc|1604098799|219293|19830705|20201030|+0100 1604098799 ripencc|*|ipv4|*|83710|summary ipv4 delegated-ripencc-extended-latest(size: 15.23 MB)
グローバルIP理論総数不足IP数IP合計全IP割合(%)
3,702,258,4327683,702,257,664100.0000 %

code:sc12

上記表示の「不足IP数」列に表示されているIP数の差異については、
以下の状況ページにてご説明をしています。

 

更新履歴情報

Ver. 更新日 更新内容
1.0.5 2019/04/30 日次更新処理の自動スケジュールの変更を実施しました。
これまで 0:01(UTC+9)より更新処理の実行を行ってまいりましたが、
APNICデータが1日早い状態で更新され差異が発生しやすい状態にありましたので、
2019/5/1以降、22:01(UTC+9)からの更新へと変更いたします。
これによって5/1 0:01~の更新は行わず、5/1 22:01~の更新へと遅延させる対応となります。
以後、日時更新は常に22:01~定期更新を実施します。
1.0.4 2018/07/08 「取込状況」一覧の取り込み日時表示がデータの取り込み有無に関わらず、
自動更新されている症状を訂正。
データ取り込み時のみ更新を行うよう修正。翌7/9処理以降、データ表示に反映予定。
1.0.3 2018/07/05 5-RIR(AFRINIC, APNIC, ARIN, LACNIC, RIPE NCC)間のデータにおいて、
重複データの表示テーブルに対して、重複状態と原因データを表示し、
元データを確認する為のリンクを追加しました。
RIR割当てIPアドレス内の「非グローバルIP/重複」データ一覧
1.0.2 2018/07/04 日次更新処理の自動実行の動作確認が取れました。
翌2018/07/05以降は自動的に処理されます。
データの整合性チェックも概ね、現在状況(データ不整合等)を適切に監視できていますので、
当面はこのままβ公開を継続します。詳細は以下リンク先をご確認ください。
RIRデータ処理結果(状況)
1.0.1 2018/07/02 β公開。
IPアドレス国割り当てデータの公開を開始しましたが、
日次データの自動取得に関して現在は手動実行です。
極力、日次更新を心掛けますが厳密には試験運用中の位置づけです。

AdMax Promotion

公開日:
最終更新日:2019/06/20

シェア頂けると新機能開発の励みになります!!

最後までお読みいただきありがとうございました。
便利!と思って頂けたらシェアを是非お願いします。
ご意見・ご批判でも感じた事を気にせずご指摘ください。

アカウント新規作成の為、是非フォローもお願いします。(無言OK)

※このページでこんな情報も一緒に見れたら便利!などの
アイディア・ご意見もお聞かせください。

また弊サイトはすべて広告費と個人の自腹にて運営・開発を行っています。
皆様、お仕事中でお忙しいことと存じますが、
ご興味がおありの広告が目に留まりましたら
広告主様のサイトもご覧いただけますと励みになります。

QRコードからもこのURLを開けます。
リンク先URL: https://ipvx.info/rir/when-to-import-data/


AdMax Promotion

サイト内コンテンツ
すべて展開 | すべて省略

Google or AdMax Promotion (ipvlink)

Message

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください