アラビア語辞書リニューアル手順
title: アラビア語辞書リニューアル手順
date: 1217428080
format: TEXT
category: アラビア語辞書
アラビア語辞書リニューアル手順覚書きメモ2008
1-アラビア語−日本語電子辞書データから最新辞書をダウンロード
2-非ユニコードVer.
3-Tool 辞書の変換 CSV形式に(改行トラブル×)
4-Tool 辞書の変換 1行テキスト形式に(改行トラブル回避○)
5-改行をすべて消去(3-CSVデータは手作業なので回避×)
6-1行テキスト形式の最新辞書をアップロード
7-http://www.arab.jp/level4/display_arabic.phpを開く
8-(参考URL)http://code.cside.com/3rdpage/jp/windows/arabic.html
9-アラビア語をコピーしてポストに投げる
10-投函先URL http://www.arab.jp/level4/post.php
11-http://www.arab.jp/level4/display_japanese.php(日本語は自動収集)
12-出来た変換後をコピーして、日本語とセットにして貼り付けCSVファイル作成
13-MySQL旧データを削除(一応バックアップとってね)
14-MySQLデータに追加
15-動作テスト
16-問題ナッシングなら公開
17-労働時間はプライスレス
課題
1-Unicodeバージョンになったらどうしよう。
2-もっと時間短縮できるかな。
3-差分データのみだと更新が早いかも。
4-単語テストとか細かな機能の追加
Onlineアラビア語辞書
シリアの世界遺産
( カテゴリー :
アラビア語辞書 作成日時 : 2008年07月30日 )
アラビア語辞書リニューアルのお知らせ2008
title: アラビア語辞書リニューアルのお知らせ2008
date: 1217425740
format: TEXT
category: アラビア語辞書
この度、アラビア語辞書データを更新いたしました。
内藤浩二氏が作成されました、
『アラビア語-日本語電子辞書データ』
http://homepage1.nifty.com/A-JDIC/
の「初級辞書(非Unicode版)30.000語収録」
を完全収録いたしました。
長らく更新が途絶えておりまして
大変ご迷惑をおかけいたしましたことをお詫び申し上げます。
今後もOnlineアラビア語辞書ご利用いただければ幸いです。
Onlineアラビア語辞書
シリアの世界遺産に行ってまいりました!
( カテゴリー :
アラビア語辞書 作成日時 : 2008年07月30日 )
( カテゴリー :
アラビア語辞書 作成日時 : 2008年02月21日 )
( カテゴリー :
アラビア語辞書 作成日時 : 2008年02月21日 )
サーバー負荷率の減少
title: サーバー負荷率の減少
date: 1184997480
format: TEXT
category: アラビア語辞書
Onlineアラビア語辞書を開設したときからの問題。
それはサーバー負荷率です。
特に文章をまとめて検索する際、
数十〜数百の単語を3万前後ある辞書の索引数のなかから
検索して表示するというのは
単純に計算しても膨大な負荷がかかることが予想され
実際そうだったのですが、利用者の方が増えるにつれて
この問題が顕在化してきて、利用停止措置がとられる可能性がでてきました。
サーバーの処理能力の高いところに移るには
お金がかかり、無料で運営している以上選択肢としては却下、
かといってこのまま負荷の高いままだと
サーバー会社の方に迷惑をかけることになり、
なんとか解決しなければいけない。。
と考えながらほぼ2年半。(笑)
放置していたと考えられても反論できないのですが、
実はもっと凄いOnlineアラビア語辞書が生まれると考えていました。
実際に、数年前から慶應大学で予算を組んで
「アラビヤ語形態素解析エンジンの開発と学習者向け辞書システムへの応用」の研究もなされていたようですが、
その研究がいずれオープンになれば利用者の方は
そちらを利用されるだろうと思って開発を進めませんでした。
資金&頭脳&人材と
すべてにおいて慶應大学の方が有利な状況でしたので、
(提供サービスとしては一応ライバルになるかもしれないけど、)
その研究結果を心待ちにしていました。
しかしながら、なかなか研究結果がでてこないため、
しかも昨今のアラビア語の重要性が増した状況もあって
当サイトの利用者の方が少しづつ増え続け
利用停止措置に近い負荷率が続きました。
そこでようやく重い腰を上げて
先週の台風の3連休に開発に着手し、新しいシステムに切り替えました。
結果以上のような負荷率に落ち着きました。
これからもご利用のほどよろしくお願いいたします。
以上の3書籍のお陰で開発効率が格段に早まりました。
関係者の皆様、この場を借りてお礼申し上げます!
( カテゴリー :
アラビア語辞書 作成日時 : 2007年07月21日 )
Onlineアラビア語辞書の技術背景(2007年Ver)
title: Onlineアラビア語辞書の技術背景(2007年Ver)
date: 1184505720
format: TEXT
category: アラビア語辞書
(*前回エントリーの続きです。)
それで、2年くらいは全く改善せずにおりましたが、
ご利用の皆さまには大変ご迷惑をおかけいたしました。
いろいろ改善したいと思っておりましたが、
なかなか忙しくて手が回りませんでした。
今回3連休なのに台風が来たので、
時間をとってリニューアルとなりました。
ほんとうに3-4日でできるのです。(笑)
それで今回は前回作成時より、2年半も経っており
その間にWebの技術というのはものすごく進化しました。
「ムーアの法則」、もしくは「ドッグイヤー」と言われるのを
ご存知だと思いますが、Webの世界で2年半といえば
10年一昔といった感じです。
個人的にWebの技術のトレンドを追うのが好きでしたので
その間にいろんな言語に手を出し、技術的な蓄積も
ある程度できたので、その技術を使って
見た目にはほとんど変わっておりませんが
中で動いている新しいプログラムは全く違うものになっております。
今回新たにPHP言語で作成し、
単語データの検索にデータベースソフトを導入しました。
表示や通信にAjaxを活用し、今トレンドの
(そして今年で忘れ去られそうな・・・)
「Web2.0」っぽいOnlineアラビア語辞書ができあがりました。
といろいろ書きましたが、これらの技術はすべて
オープンソースと呼ばれている無料で使えるソフトであり、
このOnlineアラビア語辞書作成にも
人件費と資料代以外はまったくお金がかかっておりません。
梅田望夫さんが「Web進化論」でおっしゃってた
「チープ革命」とはまさにこのことです。
今回たくさん利用させていただいた
オープンソースを開発されている方に
この場を借りてお礼申し上げます。多謝!
( カテゴリー :
アラビア語辞書 作成日時 : 2007年07月15日 )
Onlineアラビア語辞書の技術背景(2005年Ver)
title: Onlineアラビア語辞書の技術背景(2005年Ver)
date: 1184504940
format: TEXT
category: アラビア語辞書
Onlineアラビア語辞書が最初にできたのは2年半ほど前の
2005年2月ごろだったと思います。
最初にこの辞書を作ったときのプログラムは
Perl言語で作成しました。
(arab.jpが動いているレンタルサーバーのOSはLinuxです。)
-----------------------------------------------------
1- 日本語とアラビア語の辞書データを用意。
-----------------------------------------------------
これが一番問題でして、日本語だとたまたま
http://homepage1.nifty.com/A-JDIC/
の内藤氏が作られたWebサイトでデータを公開されておりましたので、
実現できました。逆に申し上げますと、公開されていたので、
onlineアラビア語辞書があれば便利かなーと思って作りました。
-----------------------------------------------------
2-辞書データをCSVファイルに変換。
-----------------------------------------------------
公開されているデータをプログラムで検索しやすくするために
CSVファイルにします。ただ、ここで文字コード(=文字化け)などの
問題が発生し、日本語とアラビア語を共存させるのに
相当苦労しました。
多言語表示で必須の文字コード、「UTF-8」でうまくいくはずですが
なぜか文字化けしたので、SJISで無理やり全データを変換しました。
-----------------------------------------------------
3- 検索プログラムを作成。
-----------------------------------------------------
2005年に最初に作った際、CGI(Perl)言語で実現しましたが、
検索機能とWeb表示ができる言語でしたら、得意な言語で
問題ないと思います。ただ、マッチングの精度を上げるために
(例えば文字の最初にあるthe「アル」は無視するなど)
正規表現とアラビア語の語形変化の知識はあったほうが
いい辞書が作れます。
ご自分で辞書を使われるときに
3語根を拾い出す作業をそのままプログラムするイメージです。
この作業は結構面白かったです。
ただ、もうアラビア語文法の知識はほとんどないので
動詞のマッチングが良くないと思います。今後の改善課題です。
といった手順で作成した記憶があります。
もうかなり昔のことなので、あまり良く覚えてません。。
以前作り方を聞かれたことがありましたので、
他にも作りたいと思っておられる方が
もしいらっしゃいましたら、ご参考ください。
辞書データを作るのが一番大変だと思います。
それをクリアできれば、アラビア語とWebアプリケーションの言語(Perl,PHPなど)の
知識さえあれば、実は結構簡単にできるものでして、
基礎の検索システムは3-4日で作った記憶があります。
*このブログシステムは下記の資料をベースに作りました。
( カテゴリー :
アラビア語辞書 作成日時 : 2007年07月15日 )
アラビア語辞書リニューアルのお知らせ
title: アラビア語辞書リニューアルのお知らせ
date: 1184504580
format: TEXT
category: アラビア語辞書
ご利用のみなさま、初めまして。
平素はご利用いただき誠にありがとうございます。
今年2007年になりましてから、
このOnlineアラビア語辞書が設置されている
サーバーの負荷が高まり、利用停止の措置が
とられる可能性もございましたので
このたび新しいソフトウエアを幾つか導入いたしまして
リニューアルいたしました。
以前とお変わりなくお使いいただけるかと思いますが
利用できなくなった方がいらっしゃいましたら、
ご意見・ご感想コーナーでご連絡くださいませ。
可能な限り改善させていただきます。
なお、ご利用いただける環境は確認できているところで
OS:WindowsXP
ブラウザ:IE6、FireFox
といったところです。
OPERAは動作いたしませんでした。(*改善不可能です。申し訳ございません。)
今後は、辞書データの内容を更新する予定です。
またアラビア語を勉強する方より、
日本語を勉強するアラビア語圏の方のほうが
明らかに多い気がしますので、
今までは日本の方向けに作成しておりましたが、
日本語→アラビア語の文章の辞書変換も
追加できればと考えております。(*多分できそうです。。)
これからもご利用いただければ幸いです。
どうぞよろしくお願いいたします。
http://www.arab.jp/(別ウインドウ)
( カテゴリー :
アラビア語辞書 作成日時 : 2007年07月15日 )