XNUMX 年にわたる XNUMX つの小さなプロジェクトの物語 (BIRMA.NET については初めて、率直に言って直接話しました)

このプロジェクトの誕生は、2007 年末のどこかで私に思いついた小さなアイデアと考えることができます。最終的な形が見つかるのはわずか 12 年後です（もちろん、この時点では、現在の実装によると、著者にとって、非常に満足です）。

すべては、図書館で当時の公務を遂行する過程で、書籍（および音楽）出版物の目次のスキャンされたテキストから既存のデータベースにデータを入力するプロセスが、明らかに、記事の著者の名前（記事のコレクションについて話している場合）、記事のタイトルなど、入力に必要なすべてのデータの順序性と再現性の特性を利用して、大幅に簡素化および自動化できるようです。記事 (または目次に反映されるサブタイトル) と現在の目次項目のページ番号。 最初、私は、このタスクを実行するのに適したシステムはインターネットで簡単に見つかるものだと実際に確信していました。 そのようなプロジェクトが見つからなかったという事実に驚きが生じたとき、私は自分でそれを実行してみることにしました。

かなり短い時間の後、最初のプロトタイプが動作し始めました。私はすぐにそれを日常の活動で使用し始め、同時に手元にあるすべてのサンプルでデバッグしました。 幸いなことに、私は決してプログラマーではなかったいつもの職場で、仕事中に目に見える「ダウンタイム」を免れました。その間、私は自分の発案を集中的にデバッグしていました。これは現在の現実ではほとんど考えられないことです。日中に行われた作業に関する日次レポート。 プログラムを磨き上げるプロセスには合計で約 8 年以上かかりましたが、その後でも、その結果は完全に成功したとは言いがたいです。最初にあまりにも多くの異なる概念が設定され、実装が完全に明確ではありませんでした。スキップされる。 要素の前方表示 (前の要素を検索結果に置き換える目的)。 正規表現のようなもの (独自の構文を持つ) を実装しようとする私たち自身の試みも同様です。 言わなければなりませんが、これまで私はプログラミングを少し（それ以上ではないとしても約 XNUMX 年間）諦めていたので、興味深く必要なタスクに自分のスキルを適用する新しい機会に完全に私の注意を引きつけました。 私の側でその設計に明確なアプローチがなかったために、結果として得られたソース コードが、すぐに C++ の要素とビジュアル プログラミングの側面を備えた C 言語の異種部分の想像を絶するごちゃ混ぜになったのは驚くべきことではありません (最初はBorland C++ Builder (「ほぼ Delphi、ただし C で)」などの設計システムを使用することが決定されました。 しかし、これらすべてが最終的には図書館の日常業務を自動化するという形で実を結びました。

同時に、万が一に備えて、プロのソフトウェア開発者を育成するコースを受講することにしました。 そこでゼロから「プログラマーになる」ことを学ぶことが実際に可能かどうかはわかりませんが、その時点ですでに持っていたスキルを考慮すると、その時点でより適切な技術をある程度習得することができました。 C#、.NET での開発用の Visual Studio、および Java、HTML、SQL に関連するいくつかのテクノロジなど。 トレーニング全体には合計 XNUMX 年かかり、私の別のプロジェクトの出発点となり、最終的には数年に及んだのですが、これについては別の出版物で取り上げます。 ここで、必要な機能を実装する本格的なウィンドウ アプリケーションを C# と WinForms で作成し、それを今後の卒業証書プロジェクト。
時間が経つにつれて、このアイデアは、「LIBKOM」や「CRIMEA」などのさまざまな図書館の代表者が参加する年次会議で表明する価値があると私には思えるようになりました。 そのアイデアは確かにありましたが、当時の私はそれを実装していませんでした。 それから、誰かがもっと有能なアプローチを使ってそれを書き直してくれるかもしれないと期待していました。 いずれにせよ、私は 2013 年までに自分の準備作業に関する報告書を書き、会議参加のための助成金の申請書とともに会議組織委員会に送ることにしました。 やや驚いたことに、私の申請は承認され、カンファレンスでの発表に備えてプロジェクトにいくつかの改良を加え始めました。

その時までに、プロジェクトはすでに BIRMA という新しい名前を付けられており、さまざまな追加機能 (完全に実装されているわけではなく、むしろ想定されている機能) を獲得していました。 すべての詳細は私のレポートに記載されています.

正直に言うと、BIRMA 2013 を完全なものと呼ぶのは困難でした。 率直に言って、それは急いで作られた非常にハックな作品でした。 コードに関しては、パーサー用にある種の統一構文を作成するという無力な試みを除いて、実際には特別な革新はまったくありませんでした。見た目は IRBIS 64 フォーマット言語 (実際には ISIS システムでもありました) を彷彿とさせます。括弧は循環構造として使用されます。当時、これがかなりクールに見えると思ったのはなぜでしょうか)。 パーサーは、絶望的に、これらの適切なタイプのかっこの円に遭遇しました (かっこは別の役割も果たしているため、つまり、かっこは解析中にスキップできるオプションの構造をマークするためです)。 当時は想像するのが困難で不当だった BIRMA の構文について詳しく知りたい人は、もう一度、当時の私のレポートを参照してください。

一般に、独自のパーサーで苦労していることを除けば、このバージョンのコードに関してこれ以上言うことはありません。.NET コードのいくつかの典型的な機能を維持しながら、既存のソースを C++ に逆変換することを除いて (正直に言うと、理解するのは難しいですが、私がすべてを元に戻した正確な動機は何でしょうか。おそらく、ソース コードを秘密にしておくのが、コカ・コーラの秘密のレシピに相当するものであるかのように、愚かな恐怖だったのでしょう)。

おそらく、この愚かな決定は、電子カタログにデータを入力するために、結果として得られる DLL ライブラリを自作ワークステーションの既存のインターフェイスと組み合わせることが難しい理由でもあります (はい、もう 64 つの重要な事実については触れませんでした。これからは、すべてのBIRMA「エンジン」のコードは予想どおりであり、インターフェイス部分から分離され、適切な DLL にパッケージ化されています。 これらの目的のためになぜ別個のワークステーションを作成する必要があったのか、それはとにかく、その外観とユーザーとの対話方法において、IRBIS XNUMX システムの同じワークステーション「Catalogizer」を恥知らずにもコピーしたものですが、これは別の質問です。 要するに、それは私の卒業プロジェクトの開発に必要な堅牢性を与えてくれました (そうでなければ、消化しにくいパーサー エンジンだけではどういうわけか十分ではありませんでした)。 さらに、C++ と C# の両方で実装された独自のモジュールを使用してカタロガ ワークステーションのインターフェイスを実装し、エンジンに直接アクセスする際にいくつかの困難に遭遇しました。

一般に、奇妙なことに、今後 XNUMX 年間私の「主力」となる運命にあったのは、将来の BIRMA.NET のこのかなり不格好なプロトタイプでした。 この間、私は少なくとも長年のアイデアを新たに、より完全に実現する方法を見つける努力をしなかったとは言えません。 他のイノベーションの中でも、オプションの要素を含めることができるネストされた循環シーケンスがすでに存在しているはずです。これが、出版物の書誌的説明やその他のさまざまな興味深いもののためのユニバーサル テンプレートのアイデアを実現する方法です。 しかし、当時の私の実践活動では、これらすべてのことはほとんど必要とされておらず、当時の実装は目次を入力するのに十分でした。 さらに、私たちの図書館の発展のベクトルは、博物館アーカイブのデジタル化、レポート、その他私にとってあまり興味のない活動へとどんどん逸れ始め、最終的には私が図書館から離れざるを得なくなり、これからも図書館をやってくれる人たちに道を譲ることになりました。このすべてにもっと満足してください。

逆説的ですが、BIRMA プロジェクトが当時すでに典型的な長期建設プロジェクトの特徴をすべて備えていたのは、これらの劇的な出来事の後で、待望の新しい命を吹き始めたかのように見えました。 無駄なことを考える自由時間が増えたので、同様のものを探して再び World Wide Web をくまなく調べ始めました (幸いなことに、今では、これらすべてをどこでも探すのではなく、GitHub 上で探すことができるとすでに推測できました)。今年の初め、私はついに、有名な Salesforce 会社からの、取るに足らない名前の対応する製品を見つけました。 ゴープ。 それ自体で、このようなパーサー エンジンに必要なことのほとんどすべてを行うことができます。つまり、任意ではあるが明確に構造化されたテキストから個々のフラグメントをインテリジェントに分離すると同時に、次のような理解可能なエッセンスを含む、エンド ユーザーにとって非常に使いやすいインターフェイスを備えています。パターン、テンプレート、オカレンスを使用し、同時に正規表現の使い慣れた構文を使用します。正規表現は、解析のために指定された意味論的なグループに分割されるため、比較にならないほど読みやすくなります。

総合的にはこれだと決めました ゴープ (この名前は何を意味するのでしょうか? おそらく、ある種の「一般向けの通常のパーサー」でしょうか?) – まさに私が長い間探していたものです。 確かに、私自身のニーズに合わせてすぐに実装するには、このエンジンがソース テキストの構造順序に厳密に従う必要があるという問題がありました。 ログ ファイルなどの一部のレポート (つまり、プロジェクトの使用の明確な例として開発者によって配置されたレポート) の場合、これは非常に適していますが、スキャンされた目次の同じテキストの場合は、そうではありません。 結局のところ、目次のある同じページは、「目次」、「目次」、および意図した分析の結果に含める必要のないその他の予備的な説明で始まる可能性があります (これらは手動で切り取ります)。毎回も不便です）。 さらに、著者の名前、タイトル、ページ番号などの個々の繰り返し要素の間に、ページに一定量のゴミ (たとえば、図やランダムな文字など) が含まれる場合があります。切り落とす。 ただし、最後の側面はまだそれほど重要ではありませんでしたが、最初の側面が原因で、既存の実装はテキスト内の必要な構造を特定の場所から探し始めることができず、単に最初から処理するだけで、そこでパターンを指定して...私の仕事は終了しました。 明らかに、繰り返し構造の間に少なくともある程度のスペースを確保するには、いくつかの調整が必要でした。それで私は作業に戻ることができました。

もう XNUMX つの問題は、プロジェクト自体が Java で実装されていることです。将来、このテクノロジーを、既存のデータベースにデータを入力するための使い慣れたアプリケーション (Irbis の「Cataloguer」など) と接続する何らかの手段を実装することを計画している場合、少なくともこれは C# と .NET で行います。 Java 自体が悪い言語というわけではありません。私はかつて Java を使用して、国産のプログラマブル電卓の機能を実装した興味深いウィンドウ アプリケーションを実装したことがあります (コース プロジェクトの一部として)。 構文の点では、同じ C シャープと非常に似ています。 まあ、これは単なるプラスです。既存のプロジェクトを完成させるのが簡単になります。 しかし、私はこのウィンドウ (というよりはデスクトップ) Java テクノロジのかなり珍しい世界に再び飛び込みたくありませんでした。結局のところ、言語自体がそのような用途に「調整」されておらず、同じことを繰り返すことを全く望んでいませんでした。以前の経験。 おそらくそれは、C# と WinForms の組み合わせが、かつて私たちの多くが使い始めた Delphi に非常に近いからかもしれません。 幸いなことに、必要な解決策はプロジェクトの形ですぐに見つかりました。 IKVM.NETこれにより、既存の Java プログラムをマネージド .NET コードに簡単に変換できます。 確かに、プロジェクト自体はその時までに著者によってすでに放棄されていましたが、その最新の実装により、ソーステキストに必要なアクションを非常にうまく実行することができました。 ゴープ.

そこで、必要な変更をすべて加え、それをすべて適切なタイプの DLL にまとめました。これは、Visual Studio で作成された .NET Framework のプロジェクトで簡単に「選択」できます。 それまでの間、返された結果を簡単に表示できるように別のレイヤーを作成しました。 ゴープ、テーブル ビューで処理するのに便利な、対応するデータ構造の形式です (行と列の両方、ディクショナリ キーと数値インデックスの両方を基礎とします)。 そうですね、結果の処理と表示に必要なユーティリティ自体は非常に迅速に作成されました。

また、目次のスキャンされたテキストの既存のサンプルを解析するように新しいエンジンにテンプレートを適合させるプロセスでは、特別な複雑さは発生しませんでした。 実際、以前のテンプレートを参照する必要さえまったくありませんでした。必要なテンプレートをすべて最初から作成しただけです。 さらに、以前のバージョンのシステムで動作するように設計されたテンプレートが、その助けを借りて正しく解析できるテキストのかなり狭いフレームワークを設定していたとしても、新しいエンジンによって、いくつかの種類のマークアップに適したかなり汎用的なテンプレートを開発できるようになりました。一度。 任意の目次テキストに対して、ある種の包括的なテンプレートを作成しようとさえしました。ただし、もちろん、特に同じネストされた繰り返しシーケンスを実装する能力が限られているなど、あらゆる新しい可能性が開かれているにもかかわらずです。たとえば、複数の著者の姓とイニシャルが連続しているなど）、これはユートピアであることが判明しました。

おそらく将来的には、メタ テンプレートの特定の概念を実装することが可能になるでしょう。これにより、ソース テキストが利用可能な複数のテンプレートに準拠しているかどうかを一度にチェックし、得られた結果に応じて、ある種のインテリジェントなアルゴリズムを使用して、最も適切なものを選択します。 しかし今、私は別の質問の方が気になりました。 のようなパーサー ゴープ多用途性と私が行った変更にもかかわらず、私の自作パーサーが最初のバージョンから実行できていた一見単純なことが XNUMX つ本質的に実行できませんでした。 つまり、彼は、ソース テキストから、適切な場所で使用されているテンプレート内で指定されたマスクに一致するすべてのフラグメントを見つけて抽出する能力を持っていましたが、指定されたテキストのフラグメント間のスペースに何が含まれているかにはまったく興味がありませんでした。 これまでのところ、私は新しいエンジンをわずかに改良しただけで、現在の位置からそのようなマスクの特定のシーケンスの可能なすべての新しい繰り返しを検索できるようにし、テキスト内に完全に変更された任意の文字のセットが存在する可能性を残しています。解析では不明で、検出された繰り返し構造の間に囲まれています。 ただし、これでは、対応するマスクを使用した前のフラグメントの検索結果に関係なく、次のマスクを設定することはできませんでした。記述されたテキスト構造の厳密性により、不規則な文字が恣意的に含まれる余地は依然として残されていませんでした。

そして、私が遭遇した目次の例では、この問題はまだそれほど深刻ではないようですが、Web サイトのコンテンツを解析する同様のタスク (つまり、同じ解析) に新しい解析メカニズムを適用しようとすると、限界はここにあり、それらはすべての明白さとともに現れました。 結局のところ、Web マークアップのフラグメントに必要なマスクを設定するのは非常に簡単で、その間に探している (抽出する必要がある) データが配置されるはずですが、パーサーに即座に次のデータに移動させるにはどうすればよいでしょうか。それらの間のスペースに配置できるすべてのタグと HTML 属性にもかかわらず、同様のフラグメントですか?

少し考えた結果、いくつかのサービスパターンを導入することにしました (%all_before) и (%all_after)これは、ソース テキストに含まれる可能性のあるすべてのものを、それに続くパターン (マスク) の前に確実にスキップするという明白な目的を果たします。 さらに、もし (%all_before) これらの任意の包含をすべて単純に無視した場合、 (%all_after)逆に、前のフラグメントから移動した後、目的のフラグメントに追加することができました。 非常に簡単に思えますが、このコンセプトを実装するには、既に実装されているロジックを壊さないように、gorp ソースを再度調べて必要な変更を加える必要がありました。 最終的に、これを行うことができました (非常にバグが多いとはいえ、非常に最初のパーサーの実装でさえ、さらに高速に、数週間で作成されました)。 このシステムは、最初に機能させる試みから少なくとも 12 年を経て、真に普遍的な形になりました。

もちろん、これで私たちの夢が終わるわけではありません。 無料の文法を実装するために利用可能なライブラリを使用して、C# で gorp テンプレート パーサーを完全に書き直すこともできます。 コードは大幅に簡素化されるべきだと思います。これにより、既存の Java ソースの形でレガシーを取り除くことができます。 しかし、既存のタイプのエンジンを使用すると、さまざまな Web サイトからのさまざまなデータを解析することはもちろん、すでに述べたメタテンプレートを実装する試みなど、さまざまな興味深いことを行うこともかなり可能です (ただし、可能性は排除しません)これには、既存の特殊なソフトウェア ツールの方が適していると考えています。私は、それらを使用する適切な経験をまだ持っていないだけです)。

ちなみにこの夏、Salesforceテクノロジーを利用している企業（オリジナルの開発元）からすでにメールで招待状を受け取りました。 ゴープ）、リガでのその後の仕事のための面接に合格します。 残念ながら、現時点ではそのような再配置の準備ができていません。

この資料に興味があれば、第 XNUMX 部では、Salesforce で使用される実装の例を使用して、テンプレートをコンパイルし、その後解析するためのテクノロジーについてさらに詳しく説明します。 ゴープ (既に説明したいくつかの機能語を除いて、私自身の追加は、テンプレート構文自体に事実上変更を加えていないため、元のシステムのほぼすべてのドキュメントはそのままです) ゴープ 私のバージョンにも適しています)。

出所： habr.com